OpenAI開發(fā)者大會(huì)推出四大創(chuàng)新：提示詞緩存可減少50%輸入token成本

10月2日消息，美東時(shí)間10月1日OpenAI舉行了年度開發(fā)者大會(huì)DevDay，推出系列新工具，包括四大創(chuàng)新：實(shí)時(shí)API（Realtime API）、視覺(jué)微調(diào)（Vision Fine-Tuning）、提示詞緩存（Prompt Caching）、模型蒸餾（Model Distillation），為開發(fā)者帶來(lái)在降低模型成本、提高模型視覺(jué)理解水平、提升語(yǔ)音AI功能和小模型性能的新選擇。在OpenAI官網(wǎng)，上述功能介紹已經(jīng)做了全面更新，一起看看。

實(shí)時(shí) API（Realtime API）

OpenAI DevDay發(fā)布了Realtime API，目前處于公開測(cè)試beta階段。

Realtime API 能夠構(gòu)建低延遲、多模式對(duì)話體驗(yàn)。它目前支持文本和音頻作為輸入和輸出，以及函數(shù)調(diào)用。Realtime API 中的音頻功能由新的 GPT-4o 模型“gpt-4o-realtime-preview”提供支持。

通過(guò)此更新，開發(fā)人員可以將任何文本或音頻輸入傳遞到 GPT-4o，并讓模型以他們選擇的文本、音頻或兩者做出響應(yīng)。

本質(zhì)上，Realtime API 簡(jiǎn)化了構(gòu)建語(yǔ)音助手和其他對(duì)話式 AI 工具的過(guò)程，無(wú)需將多個(gè)模型拼接在一起進(jìn)行轉(zhuǎn)錄、推理和文本到語(yǔ)音的轉(zhuǎn)換。

Realtime API 定價(jià)方面，Realtime API 同時(shí)使用文本tokens和音頻tokens。文本輸入tokens的價(jià)格為5 美元/百萬(wàn)tokens，輸出tokens的價(jià)格為20 美元/百萬(wàn)tokens。音頻輸入的價(jià)格為100 美元/百萬(wàn)tokens，輸出的價(jià)格為200美元/百萬(wàn)tokens。這相當(dāng)于每分鐘音頻輸入約 0.06 美元，每分鐘音頻輸出約 0.24 美元。

視覺(jué)微調(diào)（Vision Fine-Tuning）

OpenAI DevDay公布，OpenAI最新的大語(yǔ)言模型（LLM） GPT-4o 引入了視覺(jué)微調(diào)。此功能讓開發(fā)人員可以自定義模型以獲得更強(qiáng)大的圖像理解能力，從而實(shí)現(xiàn)增強(qiáng)的視覺(jué)搜索功能、改進(jìn)的自動(dòng)駕駛汽車或智能城市的物體檢測(cè)以及更準(zhǔn)確的醫(yī)學(xué)圖像分析等應(yīng)用。

視覺(jué)微調(diào)遵循與文本微調(diào)類似的過(guò)程——開發(fā)人員可以準(zhǔn)備他們的圖像數(shù)據(jù)集，然后將該數(shù)據(jù)集上傳到Open AI的平臺(tái)。他們可以用少至 100 張圖像來(lái)提高 GPT-4o 在視覺(jué)任務(wù)中的性能，并使用更大量的文本和圖像數(shù)據(jù)來(lái)提高性能。

OpenAI舉例稱，東南亞食品配送和拼車公司Grab已經(jīng)利用這項(xiàng)技術(shù)改進(jìn)其地圖服務(wù)。僅使用 100 個(gè)示例進(jìn)行視覺(jué)微調(diào)，教會(huì) GPT-4o 正確定位交通標(biāo)志并計(jì)算車道分隔線以優(yōu)化其地圖數(shù)據(jù)，結(jié)果，與基礎(chǔ) GPT-4o 模型相比，Grab 能夠?qū)④嚨烙?jì)數(shù)準(zhǔn)確度提高 20%，限速標(biāo)志定位率提高13%。

價(jià)格方面，截至 2024年10月31日，OpenAI每天免費(fèi)提供100萬(wàn)tokens，以使用圖像微調(diào) GPT-4o。2024 年 10 月 31 日之后，GPT-4o 微調(diào)訓(xùn)練將花費(fèi)每 100 萬(wàn)tokens 25 美元，推理將花費(fèi)每 100 萬(wàn)個(gè)輸入tokens 3.75 美元和每 100 萬(wàn)個(gè)輸出tokens 15 美元。圖像輸入首先根據(jù)圖像大小進(jìn)行標(biāo)記，然后按與文本輸入相同的每令牌費(fèi)率定價(jià)。

提示詞緩存（Prompt Caching）

提示詞緩存被視為本次DevDay發(fā)布的最重要更新。該功能旨在降低開發(fā)者的成本、減少延遲。

許多開發(fā)人員在構(gòu)建 AI 應(yīng)用程序時(shí)，會(huì)在多個(gè) API 調(diào)用中重復(fù)使用相同的上下文，例如在編輯代碼庫(kù)或與聊天機(jī)器人進(jìn)行長(zhǎng)時(shí)間的多輪對(duì)話時(shí)。今天，我們推出了提示詞緩存（Prompt Caching），讓開發(fā)人員可以降低成本和延遲。通過(guò)重復(fù)使用最近處理的輸入token，開發(fā)人員可以獲得 50% 的折扣和更快的提示詞處理時(shí)間。

目前，提示詞緩存（Prompt Caching）已自動(dòng)應(yīng)用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及這些模型的微調(diào)版本。與未緩存的提示相比，緩存的提示可享受折扣。

模型蒸餾（Model Distillation）

OpenAI 推出了一款新的模型蒸餾產(chǎn)品，為開發(fā)人員提供集成的工作流程，以直接在 OpenAI 平臺(tái)內(nèi)管理整個(gè)蒸餾流程。

這讓開發(fā)人員可以輕松使用前沿模型（如 o1-preview 和 GPT-4o）的輸出來(lái)微調(diào)和提高更具成本效益的模型（如 GPT-4o mini）的性能，讓小模型也可擁有尖端模型功能。

這種方法讓小公司也可能利用與尖端模型類似的功能，并且無(wú)需承擔(dān)使用這類模型的計(jì)算成本。例如一家從事醫(yī)療技術(shù)的小型初創(chuàng)公司要為農(nóng)村的診所開發(fā)一種AI 驅(qū)動(dòng)的診斷工具。使用模型蒸餾，該公司可以訓(xùn)練一個(gè)緊湊的模型，該模型可以捕捉大模型的大部分診斷能力，同時(shí)只需要在標(biāo)準(zhǔn)的筆記本電腦或平板電腦上運(yùn)行。

生成海報(bào)

免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。