百川智能發(fā)布Baichuan2—Turbo系列API，開啟企業(yè)定制化新生態(tài)

12月19日消息，12月19日，百川智能宣布開放基于搜索增強的Baichuan2-Turbo系列API，包含Baichuan2-Turbo-192K 及Baichuan2-Turbo。在支持192K超長上下文窗口的基礎(chǔ)上，還增加了搜索增強知識庫的能力。

即日起，API用戶可上傳文本資料來創(chuàng)建自身專屬知識庫，從而根據(jù)自身業(yè)務(wù)需求打造更完整、高效的智能解決方案。百川智能在引領(lǐng)國內(nèi)大模型開源生態(tài)之后，再次引領(lǐng)行業(yè)開啟了企業(yè)定制化的新生態(tài)。

此外，百川智能還升級了官網(wǎng)模型體驗，目前其官網(wǎng)大模型已支持PDF、Word等多種文本上傳以及URL網(wǎng)址輸入，用戶可通過官網(wǎng)入口體驗搜索增強和長窗口加持后的通用智能。

百川智能認為，搜索增強是大模型落地應(yīng)用的關(guān)鍵，能夠有效解決幻覺、時效性差、專業(yè)領(lǐng)域知識不足等阻礙大模型應(yīng)用的核心問題。一方面，搜索增強技術(shù)能有效提升模型性能，并且使大模型能“外掛硬盤”，實現(xiàn)互聯(lián)網(wǎng)實時信息+企業(yè)完整知識庫的“全知”；另一方面，搜索增強技術(shù)還能讓大模型精準(zhǔn)理解用戶意圖，在互聯(lián)網(wǎng)和專業(yè)/企業(yè)知識庫海量的文檔中找到與用戶意圖最相關(guān)的知識，然后將足夠多的知識加載到上下文窗口，借助長窗口模型對搜索結(jié)果做進一步的總結(jié)和提煉，更充分地發(fā)揮上下文窗口能力，幫助模型生成最優(yōu)結(jié)果，從而實現(xiàn)各技術(shù)模塊之間的聯(lián)動，形成一個閉環(huán)的強大能力網(wǎng)絡(luò)。

大模型+搜索構(gòu)成完整技術(shù)棧，實現(xiàn)了大模型和領(lǐng)域知識、全網(wǎng)知識的全新鏈接

盡管大模型是劃時代的技術(shù)突破，但現(xiàn)階段大模型并不完美，幻覺、時效性差、缺乏專業(yè)領(lǐng)域知識等問題，是其落地千行百業(yè)必須要面對的挑戰(zhàn)。

對此，業(yè)界探索了多種解決方案，包括擴大參數(shù)規(guī)模、擴展上下文窗口長度、為大模型接入外部數(shù)據(jù)庫，使用特定數(shù)據(jù)訓(xùn)練或微調(diào)垂直行業(yè)大模型等。這些路線各有優(yōu)勢，但也都存在自身的局限。

例如，持續(xù)擴大模型參數(shù)雖然能夠不斷提升模型智能，但是需要海量數(shù)據(jù)和算力的支撐，巨額的成本對中小企業(yè)非常不友好，而且完全依靠預(yù)訓(xùn)練也很難解決模型的幻覺、時效性等問題。

業(yè)界亟需找到一條集諸多優(yōu)勢于一體的路徑，將大模型的智能切實轉(zhuǎn)化為產(chǎn)業(yè)價值。在百川智能的技術(shù)思考中，大模型+搜索增強是大模型時代的新計算機，大模型類似于計算機的CPU，通過預(yù)訓(xùn)練將知識內(nèi)化在模型內(nèi)部，然后根據(jù)用戶的Prompt生成結(jié)果；上下文窗口可以看做計算機的內(nèi)存，存儲了當(dāng)下正在處理的文本；互聯(lián)網(wǎng)實時信息與企業(yè)完整知識庫共同構(gòu)成了大模型時代的硬盤。

基于這一技術(shù)理念，百川智能以Baichuan2大模型為核心，將搜索增強技術(shù)與大模型深度融合，結(jié)合此前推出的超長上下文窗口，構(gòu)建了一套大模型+搜索增強的完整技術(shù)棧，實現(xiàn)了大模型和領(lǐng)域知識、全網(wǎng)知識的全新鏈接。

用行業(yè)大模型解決企業(yè)應(yīng)用不是最佳方法，大模型+搜索增強可以解決99%企業(yè)知識庫的定制化需求

企業(yè)自有數(shù)據(jù)/知識庫，是企業(yè)的核心競爭力。大模型如果不能結(jié)合企業(yè)自有數(shù)據(jù)/知識庫，對企業(yè)沒有價值。對此，業(yè)界的傳統(tǒng)做法是做行業(yè)大模型，通過預(yù)訓(xùn)練或者微調(diào)訓(xùn)練大模型。

但是基于特定數(shù)據(jù)預(yù)訓(xùn)練或微調(diào)垂直行業(yè)大模型需要高密度的技術(shù)人才團隊、大量的算力支持，并且每更新一次數(shù)據(jù)都要重新訓(xùn)練或微調(diào)模型，不僅成本高昂、靈活性差，更關(guān)鍵的是不能保證訓(xùn)練的可靠性和應(yīng)用的穩(wěn)定性，多次訓(xùn)練后仍會出現(xiàn)問題。此外，大部分企業(yè)數(shù)據(jù)，都是結(jié)構(gòu)化的數(shù)據(jù)，也不適合SFT，模型無法準(zhǔn)確記憶結(jié)構(gòu)化信息，會帶來幻覺。

為解決傳統(tǒng)方法的缺陷，業(yè)內(nèi)探索了長上下文窗口和向量數(shù)據(jù)庫兩種較好的路徑。在此基礎(chǔ)上，百川智能更進一步，不僅將向量數(shù)據(jù)庫升級為搜索增強知識庫，極大提升了大模型獲取外部知識的能力，并且把搜索增強知識庫和超長上下文窗口結(jié)合，讓模型可以連接全部企業(yè)知識庫以及全網(wǎng)信息，能夠替代絕大部分的企業(yè)個性化微調(diào)，解決99%企業(yè)知識庫的定制化需求，不僅為企業(yè)節(jié)省巨大成本，還能夠更好地實現(xiàn)垂直領(lǐng)域知識的沉淀，讓專有知識庫能夠真正成為企業(yè)不斷增值的資產(chǎn)。

百川智能構(gòu)建的大模型+搜索增強解決方案解決掉幻覺和時效性問題后，有效提升了大模型的可用性，拓展了大模型能夠覆蓋的領(lǐng)域，例如金融、政務(wù)、司法、教育等行業(yè)的智能客服、知識問答、合規(guī)風(fēng)控、營銷顧問等場景。

而搜索增強相比微調(diào)，在提升可用性的同時還顯著降低了應(yīng)用成本，讓更多中小企業(yè)也能夠享受到大模型帶來的變革，特別是在電商行業(yè)可幫助廣大店家提升營銷效率乃至轉(zhuǎn)化率。此外，這種應(yīng)用方式還可以幫助提升企業(yè)各種場景應(yīng)用創(chuàng)新的效率，加速大模型在千行百業(yè)創(chuàng)造實際價值。

突破搜索增強技術(shù)多個難點，稀疏檢索與向量檢索并行召回率提升至 95%

雖然搜索增強能夠有效解決大模型落地應(yīng)用的諸多問題，但在技術(shù)層面構(gòu)建這樣一套系統(tǒng)卻并不容易，需要深厚的搜索和模型研發(fā)經(jīng)驗來發(fā)現(xiàn)并解決各個環(huán)節(jié)的技術(shù)難點與挑戰(zhàn)。

在大語言模型時代，用戶的需求表達不僅口語化、多元化，并且還與上下文強相關(guān)，因此用戶需求（Prompt）與搜索的對齊成為了大模型獲取外部知識過程中最為核心的問題。

為了更精準(zhǔn)地理解用戶意圖，百川智能使用自研大語言模型對用戶意圖理解進行微調(diào)，能夠?qū)⒂脩暨B續(xù)多輪、口語化的Prompt信息轉(zhuǎn)換為更符合傳統(tǒng)搜索引擎理解的關(guān)鍵詞或語義結(jié)構(gòu)。

此外，百川智能還參考Meta的CoVe（Chain-of-Verification Reduces Hallucination in Large Language Models）技術(shù)，將真實場景的用戶復(fù)雜問題拆分成多個獨立可并行檢索的子結(jié)構(gòu)問題，從而讓大模型可以針對每個子問題進行定向的知識庫搜索，提供更加準(zhǔn)確和詳盡的答案。

同時通過自研的TSF(Think Step-Further)技術(shù)，百川智能的知識庫可以推斷出用戶輸入背后深層的問題，更精準(zhǔn)的理解用戶的意圖，進而引導(dǎo)模型回答出更有價值的答案，為用戶提供全面和滿意的輸出結(jié)果。

在精確理解用戶需求的基礎(chǔ)上，想要進一步提升知識獲取的效率和準(zhǔn)確性，還需要借助向量模型解決用戶需求和知識庫的語義匹配問題。為實現(xiàn)更好的向量檢索效果，百川智能自研的向量模型使用了超過 1.5T token 的高質(zhì)量中文數(shù)據(jù)進行預(yù)訓(xùn)練，通過自研的損失函數(shù)解決了對比學(xué)習(xí)對于 batchsize 的依賴，在C-MTEB評測集 6 個任務(wù)（分類、聚類、文本推理、排序、檢索、文本相似度） 中的 5 個任務(wù)上都取得了效果的大幅領(lǐng)先，綜合分數(shù)登上榜首。

雖然當(dāng)下構(gòu)建大模型知識庫的主流方法是向量檢索，但是向量模型的效果過于依賴訓(xùn)練數(shù)據(jù)的覆蓋，在訓(xùn)練數(shù)據(jù)未覆蓋的領(lǐng)域泛化能力會有明顯折扣，并且用戶 prompt 和知識庫中文檔長度的差距也給向量檢索帶來了很大挑戰(zhàn)。

對此，百川智能在向量檢索的基礎(chǔ)上融合了稀疏檢索和 rerank模型。通過稀疏檢索與向量檢索并行的混合檢索方式，將目標(biāo)文檔的召回率提升到了 95%，大幅領(lǐng)先于市面上絕大多數(shù)開源向量模型的80%召回率。

不僅如此，對于大模型在回答過程中由于引用資料不準(zhǔn)確以及與大模型不匹配，導(dǎo)致模型的“幻覺”加重的現(xiàn)象。百川智能還在通用RAG（檢索增強生成）的技術(shù)基礎(chǔ)上首創(chuàng)了Self-Critique大模型自省技術(shù)，該技術(shù)能夠讓大模型基于Prompt對檢索回來的內(nèi)容從相關(guān)性、可用性等角度進行自省，篩選出最優(yōu)質(zhì)、最匹配的候選內(nèi)容，有效提升材料的知識密度和廣度，并降低檢索結(jié)果中的知識噪聲。

5000萬tokens數(shù)據(jù)集測試回答精度95%，長窗口+搜索實現(xiàn)“真·大海撈針”

長上下文窗口雖然可以接收更長的文本信息，但擴展上下文窗口長度會影響模型性能，在當(dāng)前技術(shù)下存在上限。并且長窗口每次回答問題都要將文檔全部重讀一遍，推理效率低、成本高。

百川智能通過長窗口+搜索增強的方式，在192K長上下文窗口的基礎(chǔ)上，將大模型能夠獲取的原本文本規(guī)模提升了兩個數(shù)量級，達到5000萬tokens。通過搜索增強，模型可以先根據(jù)用戶的Prompt在海量的文檔中檢索出最相關(guān)的內(nèi)容，再將這些文檔與Prompt一起放到長窗口中，有效節(jié)省了推理費用和時間成本。

“大海撈針”測試（Needle in the Heystack）是由海外知名AI創(chuàng)業(yè)者兼開發(fā)者 Greg Kamradt 設(shè)計的，業(yè)內(nèi)公認最權(quán)威的大模型長文本準(zhǔn)確度測試方法。

對于192k token以內(nèi)的請求，百川智能可以實現(xiàn)100%回答精度。

而對于192k token以上的文檔數(shù)據(jù)，百川智能結(jié)合搜索系統(tǒng)，將測試集上下文長度擴展到 5000w tokens，分別評測了純向量檢索和稀疏檢索+向量檢索的檢索的效果。測試結(jié)果顯示，稀疏檢索+向量檢索的方式可以實現(xiàn)95%的回答精度，即使在 5000萬tokens的數(shù)據(jù)集中也可以做到接近全域滿分，而單純的向量檢索只能實現(xiàn) 80%的回答精度。

本次測試，百川智能使用中文場景，實驗配置如下：

不僅如此，百川智能搜索增強數(shù)據(jù)庫的表現(xiàn)也十分優(yōu)秀，在博金大模型挑戰(zhàn)賽-金融數(shù)據(jù)集（文檔理解部分）、MultiFieldQA-zh和DuReader三個行業(yè)主流知識庫測試集上的得分均領(lǐng)先GPT-3.5、GPT-4等行業(yè)頭部模型。

據(jù)了解，目前多個行業(yè)的頭部企業(yè)已與百川智能達成合作，同時，基于搜索增強的Baichuan2-Turbo系列API原生支持昇騰AI基礎(chǔ)軟硬件平臺。

百川智能未來也將持續(xù)聯(lián)合華為在技術(shù)層面深度合作，并融合百川智能的長上下文窗口和搜索增強知識庫能力為客戶提供多樣化智能化解決方案。

生成海報

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責(zé)。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏，概不負任何法律責(zé)任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時，應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明，并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關(guān)文章源頭核實，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。