3 月 23 日-24 日，聚焦全球開(kāi)發(fā)者精英，由上海市人工智能行業(yè)協(xié)會(huì)(SAIA)主辦的 2024 全球開(kāi)發(fā)者先鋒大會(huì)(2024 GDC)在上海舉辦。Zilliz 作為向量數(shù)據(jù)庫(kù)賽道的領(lǐng)軍者，受邀參與了此次活動(dòng)，不僅在不同形式的活動(dòng)中進(jìn)行了 3 場(chǎng)主題分享，還與百川智能、Dify.AI、Moonshot AI 等公司一同在「大模型展示及研討專(zhuān)區(qū)」的產(chǎn)品互動(dòng)展臺(tái)，與來(lái)自各地的開(kāi)發(fā)者進(jìn)行互動(dòng)。
據(jù)悉，本次大會(huì)由世界人工智能大會(huì)組委會(huì)、上海市經(jīng)濟(jì)和信息化委員會(huì)、上海市徐匯區(qū)人民政府、中國(guó)(上海)自由貿(mào)易試驗(yàn)區(qū)臨港新片區(qū)管理委員會(huì)共同指導(dǎo)，上海市人工智能行業(yè)協(xié)會(huì)聯(lián)合上海人工智能實(shí)驗(yàn)室、上海臨港經(jīng)濟(jì)發(fā)展(集團(tuán))有限公司、開(kāi)放原子開(kāi)源基金會(huì)共同主辦。
全球開(kāi)發(fā)者先鋒大會(huì)(GDC)緣起總.理在達(dá)沃斯世界經(jīng)濟(jì)論壇打 CALL 的世界人工智能大會(huì)(WAIC)，作為 WAIC 聚焦科技和人才力量的重要板塊，GDC 已發(fā)展成為全球開(kāi)發(fā)者的盛大節(jié)日、頂尖技術(shù)趨勢(shì)的風(fēng)向標(biāo)。向量數(shù)據(jù)庫(kù)賽道正是 AIGC 時(shí)代的重要技術(shù)風(fēng)向標(biāo)，Zilliz 在現(xiàn)場(chǎng)向全球的開(kāi)發(fā)者展示了其在頂尖向量數(shù)據(jù)庫(kù)技術(shù)的多重探索。
Zilliz 資深解決方案架構(gòu)師沈亮以《百億級(jí)向量數(shù)據(jù)庫(kù)架構(gòu)創(chuàng)新與優(yōu)化之路》的主題進(jìn)行了分享。他表示，向量數(shù)據(jù)庫(kù)最早誕生于 2019 年，由 Zilliz 公司推出并開(kāi)源了全球首款向量數(shù)據(jù)庫(kù) Milvus。在那個(gè)時(shí)期，向量數(shù)據(jù)庫(kù)的功能相對(duì)比較簡(jiǎn)單，主要是基于向量檢索庫(kù) Faiss 的基礎(chǔ)上，封裝了遠(yuǎn)程過(guò)程調(diào)用(RPC)接口，并支持了基于 Write-Ahead Logging(WAL)的持久化能力。相比于傳統(tǒng)的向量檢索方法，Milvus 1.0 的最大意義在于解耦了業(yè)務(wù)邏輯、模型和數(shù)據(jù)存儲(chǔ)這三者之間的緊密關(guān)聯(lián)。這意味著應(yīng)用開(kāi)發(fā)者不再需要關(guān)注底層基礎(chǔ)設(shè)施的維護(hù)工作，這些工作包括但不限于集群的部署、數(shù)據(jù)的持久化和數(shù)據(jù)的遷移等。因此，Milvus 1.0 為許多用戶(hù)提供了從傳統(tǒng)煙囪式的人工智能開(kāi)發(fā)模式向大模型時(shí)代。
隨著大模型技術(shù)的蓬勃發(fā)展，向量數(shù)據(jù)庫(kù)開(kāi)始進(jìn)入 2.0 時(shí)代，更多的個(gè)人開(kāi)發(fā)者涌入賽道，對(duì)向量數(shù)據(jù)庫(kù)的關(guān)注也逐漸遷移到開(kāi)發(fā)效率、部署簡(jiǎn)單以及面向大模型加強(qiáng)場(chǎng)景的功能需求。向量數(shù)據(jù)庫(kù)絕不僅僅是用來(lái)進(jìn)行簡(jiǎn)單的向量檢索，要想真正提升開(kāi)發(fā)者的開(kāi)發(fā)效率和使用成本，需要系統(tǒng)開(kāi)發(fā)者深入理解硬件、存儲(chǔ)、數(shù)據(jù)庫(kù)、AI、高性能計(jì)算、分布式系統(tǒng)、編譯原理、云原生等，以確保其穩(wěn)定性、性能和易用性。在此基礎(chǔ)上，Zilliz 推出了Zilliz Cloud，可提供全托管的 SaaS 及 BYOC 向量數(shù)據(jù)庫(kù)服務(wù)，具備深度優(yōu)化、開(kāi)箱即用的 Milvus 體驗(yàn)。使用 Zilliz Cloud 可以輕松構(gòu)建百億級(jí)向量數(shù)據(jù)庫(kù)，分鐘級(jí)部署和擴(kuò)展向量搜索服務(wù)，并由全球最專(zhuān)業(yè)的向量數(shù)據(jù)庫(kù)團(tuán)隊(duì)提供運(yùn)維、優(yōu)化、及綜合支持。
Zilliz 開(kāi)發(fā)者生態(tài)及市場(chǎng)運(yùn)營(yíng)負(fù)責(zé)人 Jerry 首先進(jìn)行了主題為《走進(jìn)向量數(shù)據(jù)庫(kù)和 RAG ——讓 LLMs 停止幻覺(jué)》的分享。Jerry 表示，過(guò)去一年，RAG 在技術(shù)層面發(fā)展迅速，為向量數(shù)據(jù)庫(kù)賽道添了一把火。RAG 和向量數(shù)據(jù)庫(kù)的結(jié)合，能夠有效解決幻覺(jué)、時(shí)效性差、專(zhuān)業(yè)領(lǐng)域知識(shí)不足等阻礙大模型應(yīng)用的核心問(wèn)題。
具體來(lái)看，大模型的局限性包括：其一，缺乏領(lǐng)域特定信息：LLM 僅基于公開(kāi)數(shù)據(jù)集訓(xùn)練;缺乏領(lǐng)域特定信息或?qū)Ｓ行畔⒌确枪_(kāi)數(shù)據(jù)。其二，容易產(chǎn)生幻覺(jué)：LLM 只能根據(jù)其現(xiàn)有數(shù)據(jù)提供信息和答案;如果超過(guò)該范圍，LLM 會(huì)提供錯(cuò)誤或捏造的信息。其三，無(wú)法獲取最新信息：LLM 訓(xùn)練成本十分高昂，無(wú)法及時(shí)更新其知識(shí)庫(kù)。其四，不變的預(yù)訓(xùn)練數(shù)據(jù)：LLM 使用的預(yù)訓(xùn)練數(shù)據(jù)可能包含過(guò)時(shí)或不正確的信息，且這些數(shù)據(jù)無(wú)法更正或刪除。
向量數(shù)據(jù)庫(kù)可有效針對(duì)解決上述問(wèn)題，例如針對(duì)缺乏領(lǐng)域特定信息的問(wèn)題，可利用向量數(shù)據(jù)庫(kù)建立知識(shí)庫(kù)，拓展認(rèn)知邊界;針對(duì)無(wú)法獲取最新信息的問(wèn)題，可以利用向量數(shù)據(jù)庫(kù)為大模型建立記憶、及時(shí)更新。
在此基礎(chǔ)上，RAG 技術(shù)棧應(yīng)運(yùn)而生，通過(guò) LLM、向量數(shù)據(jù)庫(kù)和提示詞的相互配合，讓 LLM 停止幻覺(jué)。此外，Jerry 還介紹了向量數(shù)據(jù)庫(kù)的其他應(yīng)用場(chǎng)景，包括圖片搜索、視頻搜索、文本搜索、數(shù)據(jù)去重、跨模態(tài)搜索、推薦系統(tǒng)、問(wèn)答系統(tǒng)、版權(quán)保護(hù)、網(wǎng)絡(luò)安全、AI 制藥等。
在《2024 年，重新再來(lái)說(shuō)說(shuō)關(guān)于向量數(shù)據(jù)庫(kù)的那些事兒》主題分享中，Jerry 回顧了向量數(shù)據(jù)庫(kù)從小眾賽道到爆火的全過(guò)程，并提及了外界對(duì)于向量數(shù)據(jù)庫(kù)和 RAG 的疑問(wèn)。他表示，大模型技術(shù)正在改變世界，但無(wú)法改變世界的運(yùn)行規(guī)律。對(duì)于大模型而言，長(zhǎng)期記憶的重要性也將持續(xù)存在。AI 應(yīng)用的開(kāi)發(fā)者一直在追求查詢(xún)質(zhì)量和成本之間的完美平衡。當(dāng)大型企業(yè)將生成式人工智能投入生產(chǎn)時(shí)，需要在控制成本的同時(shí)保持最佳的響應(yīng)質(zhì)量。在此情況下，RAG 技術(shù)和向量數(shù)據(jù)庫(kù)依然是實(shí)現(xiàn)這一目標(biāo)的重要工具。
最后，Jerry 提到，Zilliz 最近面向 AI 初創(chuàng)企業(yè)推出了一項(xiàng)扶持計(jì)劃，預(yù)計(jì)提供總計(jì) 1000 萬(wàn)元的 Zilliz Cloud 抵扣金，致力于幫助 AI 開(kāi)發(fā)者構(gòu)建高效的非結(jié)構(gòu)化數(shù)據(jù)管理系統(tǒng)，助力打造高質(zhì)量 AI 服務(wù)與運(yùn)用，加速產(chǎn)業(yè)落地。屆時(shí)將為全球的 AI 初創(chuàng)團(tuán)隊(duì)提供資源、技術(shù)、市場(chǎng)推廣、銷(xiāo)售等全方位的支持，符合要求的團(tuán)隊(duì)可獲得獨(dú)家資源與支持。歡迎各位開(kāi)發(fā)者訪問(wèn) Zilliz 中文官網(wǎng)首頁(yè)點(diǎn)擊 Zilliz AI 初創(chuàng)計(jì)劃，與 Zilliz 一起共建 AI 生態(tài)!
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
