每經(jīng)記者：蔡鼎 每經(jīng)編輯：蘭素英

　　對于專(zhuān)注于構建專(zhuān)業(yè)人工智能(AI)模型的開(kāi)發(fā)人員來(lái)說(shuō)，他們面臨的長(cháng)期挑戰是獲取高質(zhì)量的訓練數據。較小的專(zhuān)家模型(參數規模在10億~100億)通常利用“蒸餾技術(shù)”，需要利用較大模型的輸出來(lái)增強其訓練數據集，然而，使用來(lái)自OpenAI等閉源巨頭的此類(lèi)數據受到嚴格限制，因此大大限制了商業(yè)應用。

　　而就在北京時(shí)間7月23日(周二)晚間，全球AI領(lǐng)域的開(kāi)發(fā)人員期待已久的開(kāi)源大模型“ChatGPT時(shí)刻”終于到來(lái)——Meta發(fā)布最新AI模型Llama 3.1，其中參數規模最大的是Llama 3.1-405B版本。

　　扎克伯格將Llama 3.1稱(chēng)為“藝術(shù)的起點(diǎn)”，將對標OpenAI和谷歌公司的大模型。測試數據顯示，Meta Llama 3.1-405B在GSM8K等多項AI基準測試中超越了當下最先進(jìn)的閉源模型OpenAI GPT-4o。這意味著(zhù)，開(kāi)源模型首次擊敗目前最先進(jìn)的閉源大模型。

　　而且，Llama 3.1-405B的推出意味著(zhù)開(kāi)發(fā)人員可以自由使用其“蒸餾”輸出來(lái)訓練小眾模型，從而大大加快專(zhuān)業(yè)領(lǐng)域的創(chuàng )新和部署周期。

　　開(kāi)源社區的“里程碑”：Llama 3.1-405B在多項測試中超越GPT-4o

　　2024年4月，Meta推出開(kāi)源大型語(yǔ)言模型Llama 3。其中，Llama 3-8B和Llama 3-70B為同等規模的大模型樹(shù)立了新的基準，然而，在短短三個(gè)月內，隨著(zhù)AI的功能迭代，其他大模型很快將其超越。

　　在你追我趕的競爭環(huán)境下，Meta最新發(fā)布了AI模型Llama 3.1，一共有三款，分別是Llama 3.1-8B、Llama 3.1-70B和Llama 3.1-405B。其中，前兩個(gè)是4月發(fā)布的Llama 3-8B和Llama 3-70B模型的更新版本。而Llama 3.1-405B版本擁有4050億個(gè)參數，是Meta迄今為止最大的開(kāi)源模型之一。

　　而在發(fā)布當天的凌晨(北京時(shí)間)，“美國貼吧”reddit的LocalLLaMA子論壇泄露了即將推出的三款模型的早期基準測試結果。

　　泄露的數據表明，Meta Llama 3.1-405B在幾個(gè)關(guān)鍵的AI基準測試中超越了OpenAI的GPT-4o。這對開(kāi)源AI社區來(lái)說(shuō)是一個(gè)重要的里程碑：開(kāi)源模型首次擊敗目前最先進(jìn)的閉源大模型。

　　而Meta團隊研究科學(xué)家Aston Zhang在X上發(fā)布的內容，也印證了被泄露的測試數據。

　　

 

　　圖片來(lái)源：X

　　具體來(lái)看，Meta Llama 3.1-405B 在IFEval、GSM8K、ARC Challenge和Nexus等多項測試中均優(yōu)于GPT-4o。但是，它在多項MMLU測試和GPQA測試等方面卻落后于 GPT-4o。另外，Llama 3.1的上下文窗口(context window)涵蓋128000個(gè)標記，比以前的Llama模型更大，大約相當于一本50頁(yè)書(shū)的長(cháng)度。

　　

　　圖片來(lái)源：X

　　但需要指出的是，值得注意的是，這些基準反映的是Llama 3.1基本模型的性能。這些模型的真正潛力可以通過(guò)指令調整來(lái)實(shí)現，而指令調整過(guò)程可以顯著(zhù)提高這些模型的能力。即將推出的Llama 3.1模型的指令調整版本預計會(huì )產(chǎn)生更好的結果。

　　Llama 4已于6月開(kāi)始訓練

　　盡管OpenAI即將推出的 GPT-5預計將具備先進(jìn)的推理能力，可能會(huì )挑戰Llama 3.1在大模型領(lǐng)域的潛在領(lǐng)導地位，但Llama 3.1對標GPT-4o的強勁表現仍然彰顯了開(kāi)源AI開(kāi)發(fā)的力量和潛力。

　　要知道，對于專(zhuān)注于構建專(zhuān)業(yè)AI模型的開(kāi)發(fā)人員來(lái)說(shuō)，他們面臨的長(cháng)期挑戰是獲取高質(zhì)量的訓練數據。較小的專(zhuān)家模型(參數規模在10億~100億)通常利用“蒸餾技術(shù)”，需要利用較大模型的輸出來(lái)增強其訓練數據集，然而，使用來(lái)自OpenAI等閉源巨頭的此類(lèi)數據受到嚴格限制，因此大大限制了商業(yè)應用。

　　而Llama 3.1-405B的推出意味著(zhù)開(kāi)發(fā)人員可以自由使用其“蒸餾”輸出來(lái)訓練小眾模型，從而大大加快專(zhuān)業(yè)領(lǐng)域的創(chuàng )新和部署周期。預計高性能、經(jīng)過(guò)微調的模型的開(kāi)發(fā)將激增，這些模型既強大又符合開(kāi)源道德規范。

　　賓夕法尼亞大學(xué)沃頓商學(xué)院副教授伊桑·莫利克(Ethan Mollick)寫(xiě)道：“如果這些數據屬實(shí)，那么可以說(shuō)頂級AI模型將在本周開(kāi)始免費向所有人開(kāi)放。全球各地都可以使用相同的AI功能。這會(huì )很有趣。”

　　Llama 3.1-405B的開(kāi)源，也證明開(kāi)源模型與閉源模型的差距再次縮小了。

　　

 

　　圖片來(lái)源：X

　　《每日經(jīng)濟新聞》記者還注意到，除了廣受期待的Llama 3.1-405B外，外媒報道稱(chēng)，Llama 4已于6月開(kāi)始訓練，訓練數據包括社交平臺Facebook和Instagram用戶(hù)的公開(kāi)帖子。而在開(kāi)始之前，Mate已經(jīng)向數據隱私監管最嚴格的歐盟地區用戶(hù)發(fā)送超過(guò)20億條通知，提供了不同意把自己數據用于大模型訓練的選項。

　　據悉，Llama 4將包含文本、圖像、視頻與音頻模態(tài)，Meta計劃將新模型應用在手機以及智能眼鏡中。

　　每日經(jīng)濟新聞