每經(jīng)編輯：杜宇

　　7月18日凌晨，OpenAI在官網(wǎng)發(fā)布了最新技術(shù)研究——Prover-Verifier-Games。

　　隨著(zhù)ChatGPT在法律、金融、營(yíng)銷(xiāo)等領(lǐng)域的廣泛使用，確保模型的安全、準確輸出同時(shí)被很好理解變得非常重要。但由于神經(jīng)網(wǎng)絡(luò )的復雜和多變性，我們根本無(wú)法驗證其生成內容的準確性，這也就會(huì )出現輸出“黑盒”的情況。

　　為了解決這個(gè)難題，OpenAI提出了全新訓練框架Prover-Verifier Games(簡(jiǎn)稱(chēng)“PVG”)，例如，用GPT-3這樣的小模型來(lái)驗證、監督，GPT-4大模型的輸出，從而提升輸出準確率以及可控性。

　　

 

　　PVG技術(shù)概念早在2021年8月的一篇論文中就被提出來(lái)，OpenAI也正是受此靈感啟發(fā)。這是一種基于博弈論的訓練方法，通過(guò)模擬證明者和驗證者之間的互動(dòng)，提高模型的輸出質(zhì)量。

　　在這個(gè)機制中，Prover(證明者)的任務(wù)就是生成內容，而Verifier(驗證者)的任務(wù)就是判斷這些內容是否正確。

　　這樣做的目的是讓驗證者學(xué)會(huì )如何從大量的內容中識別出正確的答案。在驗證的過(guò)程中，證明者和驗證者的角色是相互依賴(lài)的。證明者需要生成能夠說(shuō)服驗證者的內容，而驗證者則需要具備足夠的判斷力來(lái)識別出正確的內容。

　　在訓練PVG時(shí)，每輪訓練都包括驗證者和證明者的優(yōu)化。在每一輪中，驗證者首先使用監督學(xué)習來(lái)預測內容的正確性，幫助驗證者學(xué)會(huì )如何從大量的內容中識別出正確的答案。使證明者通過(guò)強化學(xué)習來(lái)優(yōu)化其生成的內容。

　　

 

　　例如，當用戶(hù)提出問(wèn)題“肖娜的父親的年齡是肖娜的5倍。肖娜目前的年齡是阿莉亞的3倍。如果阿莉亞3歲，肖娜的父親有多大?”

　　GPT-4的輸出為45歲。

　　

　　而驗證者模型GPT-3需要確定阿莉亞的年齡，然后根據阿莉亞的年齡計算出肖娜的年齡，最后再根據肖娜的年齡計算出肖娜父親的年齡，整個(gè)過(guò)程需要多輪驗證。

　　

 

　　此外，在訓練過(guò)程中，OpenAI還引入了一種名為“可檢查性訓練”(checkability training)的方法。

　　通過(guò)交替訓練驗證器和證明者模型，從而驗證使用監督學(xué)習來(lái)預測從之前輪次的證明者中采樣的解決方案的正確性。證明者則使用強化學(xué)習，根據當前輪次驗證器的接受度和解決方案的正確性來(lái)進(jìn)行持續優(yōu)化。

　　研究人員表示，隨著(zhù)訓練輪次的增加，驗證者的健全性逐漸提升，表現為對狡猾論證者生成的錯誤解決方案的抵抗力增強。同時(shí)，有益論證者生成的解決方案也變得更清晰，更易于被人類(lèi)理解。

　　分不清9.9與9.11誰(shuí)大?大模型數學(xué)能力堪憂(yōu)

　　值得注意的是，據《每日經(jīng)濟新聞》報道，此前，由綜藝節目《歌手2024》排名引發(fā)的熱議蔓延到大模型領(lǐng)域，也成了一場(chǎng)針對大模型數學(xué)能力的小測。

　　在《每日經(jīng)濟新聞》記者7月17日的測試中，對于13.11%與13.8%誰(shuí)大的問(wèn)題，除了智譜清言外，文心一言、通義千問(wèn)、kimi、商湯商量、百川智能百小應等大模型均給出了正確回答。

　　大部分大模型都在給出答案的同時(shí)呈現了推理過(guò)程。智譜清言給出的推理過(guò)程顯示，在比較13.11%和13.8%時(shí)，13.11%是更大的數值。這是因為當比較兩個(gè)百分數時(shí)，我們首先比較整數部分，如果它們相同，則比較小數部分。在這里，兩個(gè)數的整數部分都是13，但13.11的小數部分(11)大于13.8的小數部分(8)，因此13.11%大于13.8%。

　　從推理過(guò)程判斷，可能由于小數點(diǎn)后數位不同，大模型在比較過(guò)程中產(chǎn)生了幻覺(jué)。經(jīng)過(guò)兩輪提問(wèn)后，智譜清言給出了正確回答。

　　當記者把問(wèn)題換成“9.9與9.11誰(shuí)大”，零一萬(wàn)物的萬(wàn)知大模型等同樣在一開(kāi)始給出錯誤答案，當記者進(jìn)一步追問(wèn)“9.11減9.9等于多少”，甚至有大模型給出“0.21”的答案。

　　萬(wàn)知的推理過(guò)程稍顯混亂：在比較9.9和9.11時(shí)，由于整數部分都是9，所以比較小數點(diǎn)后的第一位數字。9.9的小數點(diǎn)后第一位是9，而9.11的小數點(diǎn)后第一位是1。由于9小于10，所以在比較小數點(diǎn)后第二位數字時(shí)，9.9的小數點(diǎn)后第二位是0(隱含的)，而9.11的小數點(diǎn)后第二位是1。因此，9.9的小數點(diǎn)后第二位數字(隱含的0)小于9.11的小數點(diǎn)后第二位數字(1)，所以9.9小于9.11。

　　隨后，記者向大模型提問(wèn)：為何會(huì )出現有大模型認為13.11大于13.8的情況?

　　ChatGPT給出的回答顯示，出現這種情況的原因可能是由于計算或比較方式的錯誤?？赡艿恼`差原因包括：數值理解錯誤，有時(shí)系統可能會(huì )誤解數字的小數點(diǎn)位置;字符串比較，如果直接按字符串比較，可能會(huì )出現錯誤。因為字符串比較是按字符順序逐一比較的，而不是按數值比較;代碼實(shí)現錯誤，在編程中，可能存在比較邏輯或轉換錯誤。

　　文心一言給出的解答則是，訓練數據偏差、輸入處理與理解、模型幻覺(jué)、推理能力不足等原因。訓練數據偏差層面，即大模型在訓練過(guò)程中，可能接觸到了大量包含數字的數據，但這些數據并不總是以比較大小為目的。例如，數字可能出現在版本號、股票代碼、基金表現、匯率等上下文中，這些場(chǎng)景下的數字大小并不總是具有直接的比較意義。如果訓練數據中存在關(guān)于數字比較的偏差或不足，模型可能無(wú)法學(xué)習到正確的比較規則。

　　另一方面，可能由于大模型在處理輸入文本時(shí)，將數字視為字符序列，而不是具有數值意義的實(shí)體。因此，在比較數字大小時(shí)，模型可能沒(méi)有正確地將其轉換為數值進(jìn)行比較。另外，模型在處理小數時(shí)可能存在困難，特別是當小數位數不同時(shí)。模型可能沒(méi)有正確地理解小數部分的比較規則。

　　7月17日，有大模型企業(yè)人士在接受記者電話(huà)采訪(fǎng)時(shí)表示，對于大模型而言，這不是很難解決的技術(shù)難點(diǎn)，只要喂了這方面的數據，其實(shí)就能得到準確的答案，只不過(guò)大部分的大模型廠(chǎng)商沒(méi)有把這方面的訓練作為重心，所以可能會(huì )出現上述不準確的回答。

　　OpenAI“草莓”項目曝光，推理能力接近人類(lèi)?

　　新近消息顯示，OpenAI正在讓人工智能(AI)大模型的能力更加接近類(lèi)人的推理水平。

　　據知情人士和媒體查閱的內部文件，ChatGPT開(kāi)發(fā)商O(píng)penAI正在一個(gè)代號為“草莓”的項目中開(kāi)發(fā)一種新的人工智能模型。該項目的細節此前從未被報道過(guò)，目前該公司正在努力展示其提供的模型類(lèi)型能夠提供高級推理能力。這位知情人士說(shuō)，即使在OpenAI內部，“草莓”的工作原理也是一個(gè)嚴格保密的秘密。

　　知情人士還透露，該內部文件描述了一個(gè)使用Strawberry模型的項目，目的是使該公司的人工智能不僅能夠生成查詢(xún)的答案，而且能夠提前做好足夠的計劃，自主、可靠地在互聯(lián)網(wǎng)上導航，以執行OpenAI所說(shuō)的“深度研究”。

　　

 

　　圖片來(lái)源：視覺(jué)中國-VCG31N2008743681

　　OpenAI被問(wèn)及上述所說(shuō)的草莓技術(shù)時(shí)，OpenAI的發(fā)言人在一份聲明中表示：“我們希望自身AI 模型能夠像我們(人類(lèi))一樣看待和理解世界。持續研究新的AI能力是業(yè)界的常見(jiàn)做法，大家都相信這些系統的推理能力會(huì )隨著(zhù)時(shí)間的推移而提高。”

　　雖然該發(fā)言人未直接回答有關(guān)草莓的問(wèn)題，但媒體稱(chēng)，草莓項目此前名為Q*。而Q*正是去年被爆出OpenAI CEO突然被解雇宮斗大戲的導火索。

　　去年11月媒體稱(chēng)，OpenAI代號Q*的項目實(shí)現重大突破，讓人類(lèi)實(shí)現通用人工智能(AGI)的步伐大大提速，但OpenAI CEO 奧特曼可能沒(méi)有和董事會(huì )詳細披露Q*的進(jìn)展，這是董事會(huì )突然解雇奧特曼的一個(gè)原因。OpenAI的內部人士向董事會(huì )致信警告，Q*的重大發(fā)現可能威脅全人類(lèi)。

　　媒體稱(chēng)，Q*可能具備GPT-4所不具備的基礎數學(xué)能力，或許意味著(zhù)與人類(lèi)智能相媲美的推理能力，網(wǎng)友推測，這可能代表OpenAI朝著(zhù)其設定的AGI目標邁出了一大步。

　　今年3月曝光的一份文件顯示，OpenAI計劃，在2027年以前，開(kāi)發(fā)出人類(lèi)水平的AGI。OpenAI 2022年就開(kāi)始訓練一個(gè)125萬(wàn)億參數的多模態(tài)模型，該模型名為Arrakis或Q*，原本計劃在2025年作為GPT-5發(fā)布，但因推理成本高而取消。OpenAI此后計劃，2027年發(fā)布的Q 2025(GPT-8)將實(shí)現完全的AGI。

　　人工智能(AI)研究者早就在爭論用什么標準判斷人類(lèi)實(shí)現了通用人工智能(AGI)。OpenAI最近開(kāi)發(fā)了一套系統，“自定義”AI進(jìn)化等級，以此追蹤開(kāi)發(fā)人類(lèi)級別AI的進(jìn)展。

　　每日經(jīng)濟新聞綜合OpenAI官網(wǎng)、每日經(jīng)濟新聞(記者 可楊)、公開(kāi)資料

　　每日經(jīng)濟新聞