繼去年發(fā)布并開源VisualGLM-6B和CogVLM之后，智譜AI宣布近期將推出新一代多模態(tài)大模型CogVLM2。這款模型以其19B的參數(shù)量，在性能上接近或超越了GPT-4V。
據(jù)悉，CogVLM2系列模型在多個(gè)關(guān)鍵指標(biāo)上實(shí)現(xiàn)了顯著提升，如在 OCRbench 基準(zhǔn)上性能提升32%，在TextVQA基準(zhǔn)上性能提升21.9%，且模型具備了較強(qiáng)的文檔圖像理解能力(DocVQA)等。此外，CogVLM2支持8K文本長(zhǎng)度和高達(dá)1344*1344的圖像分辨率，同時(shí)提供中英文雙語的開源模型版本。
CogVLM2 繼承并優(yōu)化了上一代模型的經(jīng)典架構(gòu)，采用了一個(gè)擁有50億參數(shù)的強(qiáng)大視覺編碼器，并創(chuàng)新性地在大語言模型中整合了一個(gè)70億參數(shù)的視覺專家模塊。這一模塊通過獨(dú)特的參數(shù)設(shè)置，精細(xì)地建模了視覺與語言序列的交互，確保了在增強(qiáng)視覺理解能力的同時(shí)，不會(huì)削弱模型在語言處理上的原有優(yōu)勢(shì)。這種深度融合的策略，使得視覺模態(tài)與語言模態(tài)能夠更加緊密地結(jié)合。
值得注意的是，盡管CogVLM2的總參數(shù)量為190億，但實(shí)際激活的參數(shù)量?jī)H約120億，這得益于精心設(shè)計(jì)的多專家模塊結(jié)構(gòu)，顯著提高了推理效率。此外，CogVLM2能夠支持高達(dá)1344分辨率的圖像輸入，并引入了專門的降采樣模塊，以提高處理高分辨率圖像的效率。
在多模態(tài)基準(zhǔn)測(cè)試中，CogVLM2的兩個(gè)模型，盡管具有較小的模型尺寸，但在多個(gè)基準(zhǔn)中取得 SOTA性能;而在其他性能上，也能達(dá)到與閉源模型(例如GPT-4V、Gemini Pro等)接近的水平。
開發(fā)者可以通過GitHub、Huggingface、魔搭社區(qū)和始智社區(qū)下載CogVLM2的模型，團(tuán)隊(duì)還透露，GLM新版本會(huì)內(nèi)嵌CogVLM2能力，在智譜清言App和智譜AI大模型MaaS開放平臺(tái)上線。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。 ）
