昆侖萬(wàn)維開源數(shù)字智能體研發(fā)工具包AgentStudio

3月29日消息，昆侖萬(wàn)維2050全球研究院、新加坡南洋理工大學(xué)、蘇黎世聯(lián)邦理工學(xué)院研究團(tuán)隊(duì)聯(lián)手開源了數(shù)字智能體全流程研發(fā)工具包AgentStudio，旨在為研究人員和開發(fā)者提供一個(gè)覆蓋智能體完整開發(fā)流程的綜合性平臺(tái)，讓開發(fā)者們能夠輕松、高效、靈活地構(gòu)建專屬數(shù)字智能體。

AgentStudio所提供的工具涵蓋數(shù)字智能體開發(fā)的全部流程，包括智能體觀察與動(dòng)作空間、跨平臺(tái)的在線環(huán)境支持、交互式數(shù)據(jù)收集與評(píng)估、可擴(kuò)展的任務(wù)套件、以及相應(yīng)的圖形界面。此外，研究團(tuán)隊(duì)還評(píng)估了多個(gè)多模態(tài)大模型完成數(shù)字世界任務(wù)的能力。

AgentStudio是一個(gè)完全免費(fèi)的開源項(xiàng)目，項(xiàng)目團(tuán)隊(duì)希望通過(guò)這一開源努力，與人工智能社區(qū)攜手加速智能體技術(shù)發(fā)展，促進(jìn)前沿知識(shí)共享與合作。目前，AgentStudio相關(guān)論文、代碼、數(shù)據(jù)、文檔已全部公開。（鏈接在文末）

AgentStudio工具包的開發(fā)，正是基于當(dāng)前人工智能領(lǐng)域?qū)Ω咝?、可擴(kuò)展智能體開發(fā)工具的迫切需求。該工具包不僅包括了智能體觀察與動(dòng)作空間的定義工具，還提供了跨平臺(tái)的在線環(huán)境支持，使得開發(fā)者可以在不同的平臺(tái)和設(shè)備上進(jìn)行智能體的開發(fā)與測(cè)試。此外，AgentStudio還支持交互式數(shù)據(jù)收集與評(píng)估，以及可擴(kuò)展的任務(wù)套件，極大地增強(qiáng)了其實(shí)用性和靈活性。

圖注：AgentStudio架構(gòu)及環(huán)境介紹

目前，全球有多種數(shù)字智能體開發(fā)工具包，支持不同的開發(fā)環(huán)境和應(yīng)用領(lǐng)域。與現(xiàn)有工具相比，AgentStudio的主要優(yōu)勢(shì)在于：

可復(fù)現(xiàn)、多模態(tài)、跨平臺(tái)的在線環(huán)境：AgentStudio支持通過(guò)Docker、VNC、FastAPI以及虛擬機(jī)等方式便捷地連接包括Windows、MacOS、Linux等各種操作系統(tǒng)與設(shè)備，相比現(xiàn)有環(huán)境更加注重真實(shí)落地場(chǎng)景。

統(tǒng)一的標(biāo)準(zhǔn)化的輸入輸出：為了支持智能體和盡可能多地各種軟件進(jìn)行交互，AgentStudio采用了最為通用的輸入輸出方式，既支持像人一樣通過(guò)觀察電腦屏幕的圖像作為輸入，操作鍵盤鼠標(biāo)和命令行作為輸出，也支持進(jìn)行函數(shù)調(diào)用和使用API，達(dá)到通用計(jì)算機(jī)控制。

全面、可擴(kuò)展、可組合的任務(wù)集：AgentStudio包含了在十余個(gè)應(yīng)用上用于全面評(píng)估AI智能體完成指令的能力，全方位覆蓋各種應(yīng)用軟件，如文檔操作、郵件處理、日歷使用、音樂(lè)播放、視頻編輯器、代碼編輯器等，涵蓋復(fù)雜真實(shí)應(yīng)用場(chǎng)景，同時(shí)包含了范圍從單個(gè)底層操作到跨任務(wù)的組合性任務(wù)的不同難度的多級(jí)任務(wù)。AgentStudio基于該任務(wù)集，公開了相應(yīng)的leaderboard。

完整的智能體數(shù)據(jù)收集與評(píng)估代碼：AgentStudio的功能不僅包含了對(duì)智能體能力的評(píng)估，而且包含了完整開源的數(shù)據(jù)集收集代碼，可用于人工標(biāo)注數(shù)據(jù)集，也可用于智能體自行收集經(jīng)驗(yàn)。

關(guān)注工具創(chuàng)造與使用：在開放域中的工具創(chuàng)造與使用是AI智能體的核心能力之一。以電腦為例，AgentStudio為智能體提供了最通用的三類工具：鍵盤、鼠標(biāo)、與命令行，同時(shí)支持智能體進(jìn)一步在交互過(guò)程中自行創(chuàng)造并復(fù)用新的工具，如用于創(chuàng)建、修改日歷的工具集，實(shí)現(xiàn)智能體的不斷自我提升。

交互式可視化界面: AgentStudio提供用戶友好的輕量化GUI界面，幫助用戶方便快捷地一鍵自動(dòng)化創(chuàng)建任務(wù)并搜集數(shù)據(jù)。以下流程圖將直觀呈現(xiàn)使用AgentStudio創(chuàng)建任務(wù)并收集數(shù)據(jù)的過(guò)程。通過(guò)AgentStudio提供的用戶友好的界面，用戶可以實(shí)現(xiàn)跨平臺(tái)的人工演示的錄制，包括輸入任務(wù)指令、通過(guò)交互界面得到坐標(biāo)、編輯和運(yùn)行代碼、記錄智能體軌跡等一系列功能，這些大幅簡(jiǎn)化了大規(guī)模數(shù)據(jù)收集的難度，為下一代智能體數(shù)據(jù)規(guī)?；峁┝嘶A(chǔ)。

使用AgentStudio創(chuàng)建任務(wù)并收集數(shù)據(jù)以及與環(huán)境交互的過(guò)程

除了搭建工具包外，研究團(tuán)隊(duì)還評(píng)估了多個(gè)多模態(tài)大模型完成數(shù)字世界任務(wù)的能力。為了全面評(píng)估智能體的能力，AgentStudio的結(jié)果從多個(gè)維度入手：

圖形界面grounding數(shù)據(jù)集：任務(wù)僅包含單步動(dòng)作，指令為不需要規(guī)劃的底層操作，主要關(guān)注智能體和圖形界面交互的能力；

日常任務(wù)與組合性任務(wù)集：任務(wù)完成調(diào)用復(fù)雜API，或需要多步動(dòng)作、并常常需要跨軟件交互。該任務(wù)集用于衡量智能體完成日常任務(wù)、以及進(jìn)行復(fù)雜動(dòng)作規(guī)劃的能力。

AgentStudio的評(píng)測(cè)結(jié)果還進(jìn)一步分析了現(xiàn)有多模態(tài)模型在圖形界面grounding數(shù)據(jù)集表現(xiàn)不佳的可能原因和相應(yīng)的改進(jìn)方法，并衡量了模型自我評(píng)估的能力，這些都對(duì)智能體的自我提升和真實(shí)落地至關(guān)重要。根據(jù)評(píng)測(cè)結(jié)果，研究團(tuán)隊(duì)在論文中還討論了若干有前景的研究方向，包括更通用的圖形界面grounding模型和算法、從視頻演示中學(xué)習(xí)等。

從環(huán)境到智能體，從數(shù)據(jù)到評(píng)估，AgentStudio提供了一套完整的解決方案覆蓋了構(gòu)建智能體的全過(guò)程，將極大地加速了智能體的發(fā)展。AgentStudio的建立在研究團(tuán)隊(duì)對(duì)智能體、工具調(diào)用、代碼解釋器的深入理解與積累之上。

目前，研究人員已經(jīng)開源了所有結(jié)果，包括環(huán)境的實(shí)現(xiàn)、智能體數(shù)據(jù)集、算法實(shí)現(xiàn)等，希望幫助人工智能社區(qū)搭建更多能夠完成復(fù)雜任務(wù)的AI智能體。

歡迎感興趣的研究與開發(fā)者們下載使用，并關(guān)注AgentStudio團(tuán)隊(duì)其他相關(guān)項(xiàng)目。

附：

論文標(biāo)題：《AgentStudio: A Toolkit for Building General Virtual Agents》

論文鏈接：https://arxiv.org/abs/2403.17918

項(xiàng)目主頁(yè)與文檔：https://skyworkai.github.io/agent-studio/

開源代碼：https://github.com/SkyworkAI/agent-studio

Leaderboard：https://huggingface.co/spaces/Skywork/agent-studio-leaderboard

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。