OpenAI開發(fā)者大會推出四大創(chuàng)新：提示詞緩存可減少50%輸入token成本

10月2日消息，美東時間10月1日OpenAI舉行了年度開發(fā)者大會DevDay，推出系列新工具，包括四大創(chuàng)新：實時API（Realtime API）、視覺微調（Vision Fine-Tuning）、提示詞緩存（Prompt Caching）、模型蒸餾（Model Distillation），為開發(fā)者帶來在降低模型成本、提高模型視覺理解水平、提升語音AI功能和小模型性能的新選擇。在OpenAI官網(wǎng)，上述功能介紹已經(jīng)做了全面更新，一起看看。

實時 API（Realtime API）

OpenAI DevDay發(fā)布了Realtime API，目前處于公開測試beta階段。

Realtime API 能夠構建低延遲、多模式對話體驗。它目前支持文本和音頻作為輸入和輸出，以及函數(shù)調用。Realtime API 中的音頻功能由新的 GPT-4o 模型“gpt-4o-realtime-preview”提供支持。

通過此更新，開發(fā)人員可以將任何文本或音頻輸入傳遞到 GPT-4o，并讓模型以他們選擇的文本、音頻或兩者做出響應。

本質上，Realtime API 簡化了構建語音助手和其他對話式 AI 工具的過程，無需將多個模型拼接在一起進行轉錄、推理和文本到語音的轉換。

Realtime API 定價方面，Realtime API 同時使用文本tokens和音頻tokens。文本輸入tokens的價格為5 美元/百萬tokens，輸出tokens的價格為20 美元/百萬tokens。音頻輸入的價格為100 美元/百萬tokens，輸出的價格為200美元/百萬tokens。這相當于每分鐘音頻輸入約 0.06 美元，每分鐘音頻輸出約 0.24 美元。

視覺微調（Vision Fine-Tuning）

OpenAI DevDay公布，OpenAI最新的大語言模型（LLM） GPT-4o 引入了視覺微調。此功能讓開發(fā)人員可以自定義模型以獲得更強大的圖像理解能力，從而實現(xiàn)增強的視覺搜索功能、改進的自動駕駛汽車或智能城市的物體檢測以及更準確的醫(yī)學圖像分析等應用。

視覺微調遵循與文本微調類似的過程——開發(fā)人員可以準備他們的圖像數(shù)據(jù)集，然后將該數(shù)據(jù)集上傳到Open AI的平臺。他們可以用少至 100 張圖像來提高 GPT-4o 在視覺任務中的性能，并使用更大量的文本和圖像數(shù)據(jù)來提高性能。

OpenAI舉例稱，東南亞食品配送和拼車公司Grab已經(jīng)利用這項技術改進其地圖服務。僅使用 100 個示例進行視覺微調，教會 GPT-4o 正確定位交通標志并計算車道分隔線以優(yōu)化其地圖數(shù)據(jù)，結果，與基礎 GPT-4o 模型相比，Grab 能夠將車道計數(shù)準確度提高 20%，限速標志定位率提高13%。

價格方面，截至 2024年10月31日，OpenAI每天免費提供100萬tokens，以使用圖像微調 GPT-4o。2024 年 10 月 31 日之后，GPT-4o 微調訓練將花費每 100 萬tokens 25 美元，推理將花費每 100 萬個輸入tokens 3.75 美元和每 100 萬個輸出tokens 15 美元。圖像輸入首先根據(jù)圖像大小進行標記，然后按與文本輸入相同的每令牌費率定價。

提示詞緩存（Prompt Caching）

提示詞緩存被視為本次DevDay發(fā)布的最重要更新。該功能旨在降低開發(fā)者的成本、減少延遲。

許多開發(fā)人員在構建 AI 應用程序時，會在多個 API 調用中重復使用相同的上下文，例如在編輯代碼庫或與聊天機器人進行長時間的多輪對話時。今天，我們推出了提示詞緩存（Prompt Caching），讓開發(fā)人員可以降低成本和延遲。通過重復使用最近處理的輸入token，開發(fā)人員可以獲得 50% 的折扣和更快的提示詞處理時間。

目前，提示詞緩存（Prompt Caching）已自動應用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及這些模型的微調版本。與未緩存的提示相比，緩存的提示可享受折扣。

模型蒸餾（Model Distillation）

OpenAI 推出了一款新的模型蒸餾產(chǎn)品，為開發(fā)人員提供集成的工作流程，以直接在 OpenAI 平臺內管理整個蒸餾流程。

這讓開發(fā)人員可以輕松使用前沿模型（如 o1-preview 和 GPT-4o）的輸出來微調和提高更具成本效益的模型（如 GPT-4o mini）的性能，讓小模型也可擁有尖端模型功能。

這種方法讓小公司也可能利用與尖端模型類似的功能，并且無需承擔使用這類模型的計算成本。例如一家從事醫(yī)療技術的小型初創(chuàng)公司要為農(nóng)村的診所開發(fā)一種AI 驅動的診斷工具。使用模型蒸餾，該公司可以訓練一個緊湊的模型，該模型可以捕捉大模型的大部分診斷能力，同時只需要在標準的筆記本電腦或平板電腦上運行。

生成海報

免責聲明：本網(wǎng)站內容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性，但不保證有關資料的準確性及可靠性，讀者在使用前請進一步核實，并對任何自主決定的行為負責。本網(wǎng)站對有關資料所引致的錯誤、不確或遺漏，概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內容可能涉嫌侵犯其知識產(chǎn)權或存在不實內容時，應及時向本網(wǎng)站提出書面權利通知或不實情況說明，并提供身份證明、權屬證明及詳細侵權或不實情況證明。本網(wǎng)站在收到上述法律文件后，將會依法盡快聯(lián)系相關文章源頭核實，溝通刪除相關內容或斷開相關鏈接。