比Milvus還要快6倍?Zilliz Cloud 掀起向量數(shù)據(jù)庫(kù)性能“龍卷風(fēng)”!

它就是由 Zilliz 原廠(chǎng)打造的可提供全托管的向量數(shù)據(jù)庫(kù)云服務(wù)產(chǎn)品—— Zilliz Cloud。此前,大家已經(jīng)對(duì) Zilliz Cloud 升級(jí)版本的諸多實(shí)用新特性有所了解,例如dynamic schema、partition key、支持更多樣的集群類(lèi)型等。與此同時(shí),Zilliz Cloud 還采用了全新的定價(jià)策略,旨在以更經(jīng)濟(jì)實(shí)惠的價(jià)格提高更高質(zhì)量的服務(wù)。

不過(guò),Zilliz Cloud 最為人稱(chēng)道的還要數(shù)它的性能,其向量檢索速度比 Milvus 要快 3-6 倍。今天,我們將從性能方面全面拆解 Zilliz Cloud。

Zilliz Cloud 有多快?

想要回答這個(gè)問(wèn)題,首先需要明確定義使用場(chǎng)景和參照對(duì)比的產(chǎn)品。

明確完這兩點(diǎn)后,便需要借助工具來(lái)進(jìn)行性能測(cè)試。這里,我們可以用開(kāi)源的向量數(shù)據(jù)庫(kù)性能測(cè)試工具——VectorDBBench來(lái)測(cè)速。VectorDBBench 支持多樣的測(cè)試場(chǎng)景,允許用戶(hù)通過(guò)直觀的前端交互界面測(cè)試許多開(kāi)源向量數(shù)據(jù)庫(kù)或者云服務(wù)(如 Milvus、Zilliz Cloud 等),并通過(guò)直觀的交互界面大大降低了性能測(cè)試的門(mén)檻。

以下是關(guān)于 Zilliz Cloud 的一些性能測(cè)試的對(duì)比結(jié)果:

●比 Milvus 快 6 倍

上圖展示了在 100 萬(wàn) 768 維數(shù)據(jù)集上,使用不同資源配置的 Milvus 和不同 CU 大小的 Zilliz Cloud 的性能表現(xiàn)。從結(jié)果來(lái)看,Zilliz Cloud 的速度是 Milvus 的 3 倍。

現(xiàn)在,我們進(jìn)一步增加數(shù)據(jù)量,采用 1000 萬(wàn) 768 維數(shù)據(jù)集。Zilliz Cloud 同樣展示了強(qiáng)勁的性能,QPS 是 Miluvs 的 6 倍。

●比其他開(kāi)源向量數(shù)據(jù)庫(kù)快 4-191 倍

在與其他主流向量數(shù)據(jù)庫(kù)的對(duì)比中,Zilliz Cloud 的性能也是一騎絕塵。根據(jù)性能測(cè)試結(jié)果,在 100 萬(wàn) 768 維數(shù)據(jù)集的條件下,Zilliz Cloud 的 QPS 是其他產(chǎn)品的 4 - 191 倍。

而在更大的數(shù)據(jù)集下,Zilliz Cloud 的表現(xiàn)同樣亮眼。例如,Zilliz 的 QPS 是 Pinecone 和 Qdrant 的 3 倍左右。

Zilliz Cloud 為什么這么快?

Zilliz Cloud 為什么這么快?接下來(lái)讓我們來(lái)一探究竟。

●強(qiáng)大的向量索引引擎

如大家所知,向量數(shù)據(jù)庫(kù)是一種典型的計(jì)算量很大的應(yīng)用,因此其中負(fù)責(zé)向量計(jì)算的向量檢索算法會(huì)吃走絕大部分資源,并很大程度上決定了一個(gè)向量數(shù)據(jù)庫(kù)的性能。

ANN-Benchmark 是業(yè)內(nèi)最權(quán)威的向量檢索算法性能測(cè)試工具,它可以展示不同算法在不同真實(shí)數(shù)據(jù)集下的表現(xiàn)。而 Milvus 集成的算法庫(kù) Knowhere 和來(lái)自 Zilliz Cloud 的 Glass,最近登頂霸榜了這份榜單。

Glass 是 Zilliz Cloud 在自研索引算法探索中的一個(gè)歷史版本。作為向量數(shù)據(jù)庫(kù)最核心的引擎,它亮眼的表現(xiàn)為 Zilliz Cloud 實(shí)現(xiàn)性能上的飛躍提供了重要支持。

上圖是來(lái)自ANN-Benchmark的最新向量檢索算法性能測(cè)試結(jié)果,測(cè)試結(jié)果基于兩個(gè)不同的數(shù)據(jù)集:

●gist-960-euclidean:100 萬(wàn) 960 維向量數(shù)據(jù),使用歐式距離。

●fashion-mnist-784-euclidean: 6 萬(wàn) 784 維向量,使用歐式距離。

曲線(xiàn)越高意味著每秒算法可處理的查詢(xún)?cè)蕉?。同樣,曲線(xiàn)越向右延展意味著算法的召回率越高。

通過(guò)結(jié)果,我們可以看出,Glass(粉色曲線(xiàn))的 QPS 和召回兩個(gè)指標(biāo)都位列榜首。因此,Zilliz Cloud 閃電般的向量檢索速度,有一大部分可以歸功于 Glass 索引引擎的出色表現(xiàn)。

●代碼結(jié)構(gòu)優(yōu)化

除了強(qiáng)力的索引外,Zilliz Cloud 在之前版本的基礎(chǔ)上進(jìn)行了大量的代碼結(jié)構(gòu)的優(yōu)化,包括對(duì)冗余查詢(xún)鏈路的清理、查詢(xún)合并邏輯的調(diào)度策略?xún)?yōu)化、并發(fā)策略?xún)?yōu)化和引入高效實(shí)現(xiàn)等。這些工作幫助 Zilliz Cloud 最大化地利用了其強(qiáng)大的索引算法能力,減少了開(kāi)支。

同時(shí),新版本的 Zilliz Cloud 還解決了一些出現(xiàn)性能問(wèn)題的場(chǎng)景,比如過(guò)濾搜索等。

●高效的 AutoIndex

在討論系統(tǒng)性能時(shí),召回率是一個(gè)重要且不可忽視的話(huà)題。不夠理想的召回率會(huì)使得檢索結(jié)果無(wú)法滿(mǎn)足需求,進(jìn)而使檢索行為失去其意義。然而,過(guò)高的召回率可能會(huì)極大犧牲性能。穩(wěn)定的召回率能幫我們?cè)谛阅芎蜏?zhǔn)確性之間找到平衡,使得結(jié)果可預(yù)測(cè),從而更好地支持各類(lèi)生產(chǎn)生活場(chǎng)景。

召回率受多種因素影響,包括數(shù)據(jù)集本身、建立索引的參數(shù)、查詢(xún)參數(shù)、數(shù)據(jù)分布,甚至 topK 的大小等。因此,如何控制召回率,是一個(gè)復(fù)雜而重要的問(wèn)題。大部分?jǐn)?shù)據(jù)庫(kù)系統(tǒng)為解決這一問(wèn)題,通常會(huì)采用以下兩種方案:

●讓用戶(hù)提供參數(shù):這種方式靈活但使用門(mén)檻高。

●提供經(jīng)驗(yàn)參數(shù):這種方法易用但靈活性較差,對(duì)于不同的數(shù)據(jù)和 topK 等場(chǎng)景無(wú)法做到精細(xì)控制。

為了解決這個(gè)問(wèn)題,Zilliz Cloud 的 AutoIndex 提供了一個(gè)既簡(jiǎn)便又靈活的解決方案:一方面可以基于模型對(duì)實(shí)際應(yīng)用案例進(jìn)行全方位分析,另一方面能為每次檢索請(qǐng)求定制一套參數(shù)。這樣一來(lái),Zilliz Cloud 不僅能夠?qū)崿F(xiàn)穩(wěn)定的召回率,而且還能確保優(yōu)秀的性能,滿(mǎn)足用戶(hù)在實(shí)際應(yīng)用中的需求。

總體而言,Zilliz Cloud 的升級(jí)版本無(wú)論從功能還是性能來(lái)說(shuō)都有了里程碑式的提高,點(diǎn)擊體驗(yàn)更加便捷高效的的全新向量數(shù)據(jù)庫(kù)。未來(lái),我們也會(huì)持續(xù)提升產(chǎn)品的性能、不斷進(jìn)步,歡迎大家持續(xù)關(guān)注!

(免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 )