零一萬物向量數(shù)據(jù)庫新突破！笛卡爾（Descartes）獲六項第一

3月11日消息，在國際權(quán)威評測平臺ANN-Benchmarks離線測試中，零一萬物笛卡爾（Descartes）向量數(shù)據(jù)庫登頂 6份數(shù)據(jù)集評測第一名。

“笛卡爾（Descartes）”是零一萬物研發(fā)出的基于全導(dǎo)航圖的新型向量數(shù)據(jù)庫，是能影響大模型性能表現(xiàn)的基礎(chǔ)設(shè)施；ANN-Benchmarks是當(dāng)下業(yè)界最權(quán)威的向量數(shù)據(jù)庫性能測試工具，它可以展示不同算法在不同真實數(shù)據(jù)集下的表現(xiàn)。

笛卡爾（Descartes）首次亮相ANN-Benchmarks評測榜單即包攬了六項第一，最高領(lǐng)先原榜單第一名286%。

零一萬物表示，笛卡爾向量數(shù)據(jù)庫目前聚焦于高性能向量數(shù)據(jù)庫。笛卡爾向量數(shù)據(jù)庫將用在近期即將正式亮相的AI產(chǎn)品中，未來也將結(jié)合工具提供給開發(fā)者。

六項第一

ANN-Benchmarks公布的6份評測數(shù)據(jù)集涵蓋glove-25-angular、glove-100-angular、sift-128-euclidean、nytimes-256-angular、fashion-mnist-784-euclidean、gist-960-euclidean六大數(shù)據(jù)集。

如下圖，橫坐標(biāo)代表召回、縱坐標(biāo)代表QPS(每秒內(nèi)處理的請求數(shù))，曲線位置越偏右上角意味著算法性能越好，零一萬物笛卡爾向量數(shù)據(jù)庫在6項數(shù)據(jù)集評測中都處于最高位。

圖注：截至3月10日，ANN-Benchmarks6項評測中，零一萬物笛卡爾（Descartes）向量數(shù)據(jù)庫均居第一

“吞吐量 QPS” 是衡量信息檢索系統(tǒng)（例如搜索引擎或數(shù)據(jù)庫）查詢處理能力的重要指標(biāo)。在原榜單TOP1基礎(chǔ)上，零一萬物笛卡爾向量數(shù)據(jù)庫實現(xiàn)了顯著性能提升，部分?jǐn)?shù)據(jù)集上的性能提升超過2倍以上，在gist-960-euclidean數(shù)據(jù)集維度更大幅領(lǐng)先榜單原TOP1 286%。

笛卡爾（Descartes）背后技術(shù)

向量數(shù)據(jù)庫，又被稱為AI時代的信息檢索技術(shù)，是檢索增強(qiáng)生成（Retrieval-Augmented Generation, RAG）內(nèi)核技術(shù)之一。

大模型時代，圖片、視頻、自然語言等多模態(tài)的非結(jié)構(gòu)化數(shù)據(jù)量陡增，區(qū)別于用來處理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)數(shù)據(jù)庫，向量數(shù)據(jù)庫專門用來存儲、管理、查詢和檢索向量化的非結(jié)構(gòu)化數(shù)據(jù)。

因此，對大模型應(yīng)用開發(fā)者來說，向量數(shù)據(jù)庫是非常重要的基礎(chǔ)設(shè)施，在一定程度上影響著大模型的性能表現(xiàn)。

未來各家大模型優(yōu)化到一定程度后，向量數(shù)據(jù)庫的能力可能決定各家大模型的天花板。

此次零一萬物笛卡爾向量數(shù)據(jù)庫展示出優(yōu)異表現(xiàn)，其背后又做了哪些方面的技術(shù)創(chuàng)新呢？

和傳統(tǒng)檢索方法類似，從本質(zhì)上講，RAG向量檢索主要解決兩大問題：

1. 通過建立某種索引結(jié)構(gòu)，減少檢索考察的候選集；

2. 降低單個向量計算的復(fù)雜度。

據(jù)介紹，針對第1個問題，零一萬物團(tuán)隊有兩大殺手锏：

? 全導(dǎo)航圖技術(shù)。目前業(yè)內(nèi)現(xiàn)狀主要通過哈希、KD-Tree、VP-Tree等方式，導(dǎo)航效果不夠精確，裁剪力度不夠，零一萬物研發(fā)的全局多層縮略圖導(dǎo)航技術(shù)，圖上坐標(biāo)系導(dǎo)航，既能保證精度，又能裁剪大量無關(guān)向量。

? 首創(chuàng)自適應(yīng)鄰居選擇策略，填補(bǔ)業(yè)界空白。零一萬物自研的自適應(yīng)鄰居選擇策略，突破了以往僅依賴真實topk或固定邊選擇策略的局限，新策略使每個節(jié)點(diǎn)可以根據(jù)自身及鄰居的分布特征動態(tài)地選取最佳鄰居邊，更快收斂接近目標(biāo)向量，從而讓RAG向量檢索性能提高15%-30%。

針對第2個問題，零一萬物采用了兩級量化方案增強(qiáng)RAG。

零一萬物用兩級量化降低計算復(fù)雜度，同時列式存儲充分利用SIMD的并發(fā)能力，進(jìn)一步發(fā)揮硬件能力，相比傳統(tǒng)PQ查表，性能得到大幅提升到2-3倍。
除此之外，零一萬物還有索引結(jié)構(gòu)優(yōu)化、連通性保障等全棧向量技術(shù)方案提高笛卡爾向量數(shù)據(jù)庫的性能。

作為高性能向量數(shù)據(jù)庫，笛卡爾向量數(shù)據(jù)庫可以輕松應(yīng)對百分之八九十的日常場景，比如幫助企業(yè)客戶構(gòu)建私域知識庫、智能客服系統(tǒng)；在自動駕駛領(lǐng)域，使用高性能向量數(shù)據(jù)庫可來加速自動駕駛模型訓(xùn)練等。

零一萬物表示，笛卡爾向量數(shù)據(jù)庫是團(tuán)隊基于RAG的初步嘗試，將在近期發(fā)布的AI生產(chǎn)力產(chǎn)品中得到有效應(yīng)用。零一萬物后續(xù)會持續(xù)專注研發(fā)和分享，為用戶帶來更好的技術(shù)和體驗。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進(jìn)一步核實，并對任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個人認(rèn)為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。