GPT-o1模型實測:“物化生”水平超人類博士? 推理能力碾壓GPT-4o

TechWeb 文/卞海川

毫無預(yù)熱的情況下,Open AI于9月13日凌晨發(fā)布了o1系列的大模型,這是傳聞中內(nèi)部代號為“草莓”的項目,也是OpenAI首款具備復(fù)雜推理能力的大模型。

與其前代模型相比,新模型o1擅長通用復(fù)雜推理,在物理、信息學等領(lǐng)域表現(xiàn)優(yōu)異,OpenAI CEO奧特曼稱它是一種新范式的開始:可以進行通用復(fù)雜推理的人工智能

OpenAI把新的模型發(fā)布稱為「預(yù)覽版」,強調(diào)o1系列仍處于早期階段。

作為早期模型,它尚不具備ChatGPT的許多有用功能,例如聯(lián)網(wǎng)搜索以及上傳文件和圖像。

雖然處于開發(fā)初期,但o1系列在競賽數(shù)學、編碼、科學等類目都有非常不錯的表現(xiàn),其中競賽數(shù)學類甚至大幅領(lǐng)先GPT-4o。

你可以簡單理解為,o1系列模型是一個極度“偏科”的理工型人才。

根據(jù)官方的解釋,o1系列模型采取“思維鏈”的模式進行訓練,以此提升大模型的邏輯推理能力。

所以在回答問題之前,它會花更長時間思考,也就是說,o1系列并不追求信息輸出反饋的速度,而是更在乎推理結(jié)果的準確性。

為了更好的了解o1系列的能力,我們對它進行了一些簡單的測試。

我們首先用一些之前大模型都愛翻車的簡單題目來測試一下o1系列的推理能力。

“單詞strawberry里面到底有幾個r”

不出意外,GPT-4o依舊翻車,給出的答案是錯誤的。

讓我們驚喜的是,GPT-o1的回答就非常準確,

“9.11和9.8誰更大?”

GPT-4o在1秒內(nèi)回答,但是給出了錯誤答案。

難倒了一眾大模型的小數(shù)位比大小問題,o1系列沒有翻車,在等待了10多秒以后,o1給出的答案是正確的。

我們再來一些正常的推理題,選擇經(jīng)典的小學奧數(shù)水平“空瓶換汽水”問題。

原題如下:“1元錢一瓶汽水,喝完后兩個空瓶換一瓶汽水,問:你有20元錢,最多可以喝到幾瓶汽水?”

很遺憾,在第一次回答的結(jié)果上,4o和o1系列都給出了錯誤的39瓶答案。

但區(qū)別在于,如果我告訴它正確的答案,o1系列會糾正自己的錯誤,給出新的解題思路,但GPT-4o依舊覺得自己的回答是正確的。

接下來我們把難度升級,測試一下競賽類題目o1系列模型的能力。

據(jù) OpenAI 介紹,在測試中,o1系列模型在物理、化學和生物等具有挑戰(zhàn)性的基準任務(wù)上的表現(xiàn)達到了博士生的水平。

這一模型在數(shù)學和編碼方面表現(xiàn)出色。在國際數(shù)學奧林匹克(IMO)的資格考試中,GPT-4o 只正確解決了 13% 的問題,而 o1 模型的得分率則高達 83%。

o1系列模型的編碼能力也在競賽中得到了評估,在 Codeforces 競賽中達到了第 89 個百分點。

Open AI CEO奧特曼在剛剛結(jié)束的2024 IOI信息學奧賽題目中,o1的微調(diào)版本在每題嘗試50次條件下取得了213分,屬于人類選手中前49%的成績。也就是說,它已經(jīng)超過了大多數(shù)人類數(shù)學天才!

如果允許它每道題嘗試10000次,就能獲得362.14分,高于金牌選手門檻,可獲得金牌。

我們選取了AIME 2023的真題,該數(shù)學競賽的題目難度比IMO稍低,但仍處于數(shù)學競賽題目難度前列。

經(jīng)過測試,o1和4o給出了兩個完全不一樣的答案,雖然解題思路步驟我們沒看懂,但從官方給出的答案來看,o1的結(jié)果是正確的。

最后,我們來測試一下o1系列代碼能力,以經(jīng)典的俄羅斯方塊小游戲作為考題。

我們給o1模型提了要求,然后將所有代碼復(fù)制運行,一字未改,成功實現(xiàn)俄羅斯方塊小游戲。

寫在最后

經(jīng)過我們的簡單測試,o1系列模型的最大亮點是顯著增加了邏輯推理能力,以前GPT-4o回答不上來的問題,o1系列可以給出正確的解題思路,它已經(jīng)不僅僅是簡單的生成答案,而是能夠提前規(guī)劃、思考,更接近人類的思維過程。尤其是在數(shù)學領(lǐng)域表現(xiàn)突出。

不過,它在特定領(lǐng)域的精確度與應(yīng)對復(fù)雜對話的表現(xiàn)上仍有待進一步優(yōu)化,在數(shù)據(jù)分析、編程和數(shù)學等重推理的類別中,人們更傾向于選擇o1-preview。但在一些自然語言任務(wù)中,GPT-4o更勝一籌。

極客網(wǎng)企業(yè)會員

免責聲明:本網(wǎng)站內(nèi)容主要來自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準確性及可靠性,但不保證有關(guān)資料的準確性及可靠性,讀者在使用前請進一步核實,并對任何自主決定的行為負責。本網(wǎng)站對有關(guān)資料所引致的錯誤、不確或遺漏,概不負任何法律責任。任何單位或個人認為本網(wǎng)站中的網(wǎng)頁或鏈接內(nèi)容可能涉嫌侵犯其知識產(chǎn)權(quán)或存在不實內(nèi)容時,應(yīng)及時向本網(wǎng)站提出書面權(quán)利通知或不實情況說明,并提供身份證明、權(quán)屬證明及詳細侵權(quán)或不實情況證明。本網(wǎng)站在收到上述法律文件后,將會依法盡快聯(lián)系相關(guān)文章源頭核實,溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。

2024-09-14
GPT-o1模型實測:“物化生”水平超人類博士? 推理能力碾壓GPT-4o
毫無預(yù)熱的情況下,Open AI于9月13日凌晨發(fā)布了o1系列的大模型,這是傳聞中內(nèi)部代號為“草莓”的項目,也是OpenAI首款具備復(fù)雜推理能力的大模型。

長按掃碼 閱讀全文