您好,歡迎進(jìn)入美譽(yù)度品牌管理官網(wǎng)!

江蘇危機(jī)公關(guān)公司

一站式提供商

提供設(shè)計(jì),生產(chǎn),安裝,售后服務(wù)一條龍服務(wù)

400-021-0821
公司資訊
您的位置: 主頁 > 新聞中心 > 公司資訊
手機(jī)能跑!微軟小模型擊敗Llama 2,96塊A100 GPU訓(xùn)練14天,參數(shù)規(guī)模僅27億
發(fā)布時(shí)間:2024-01-02 11:22瀏覽次數(shù):

美譽(yù)度12月13日報(bào)道,昨日晚間,微軟又亮出了小模型大招!

微軟發(fā)布了27億參數(shù)規(guī)模的小語言模型Phi-2,經(jīng)研究人員測試,Phi-2在參數(shù)規(guī)模小于130億的模型中展示了最先進(jìn)性能。

從性能表現(xiàn)看,Phi-2在Big Bench Hard(BBH)、常識推理、語言理解、數(shù)學(xué)和編碼基準(zhǔn)測試中,其平均性能得分已經(jīng)超過70億、130億參數(shù)規(guī)模的Mistral和Llama 2,在部分基準(zhǔn)測試中超過谷歌的Gemini Nano 2。

Phi-2還有一大優(yōu)勢是,因?yàn)閰?shù)規(guī)模足夠小,其可以在筆記本電腦、手機(jī)等移動(dòng)設(shè)備上運(yùn)行。

過去幾個(gè)月間,微軟研究院的機(jī)器學(xué)習(xí)基礎(chǔ)團(tuán)隊(duì)陸續(xù)發(fā)布了小型語言模型(SLM)Phi系列。

其中,第一個(gè)模型為13億參數(shù)規(guī)模的Phi-1,官方博客稱,Phi-1在SLM中的Python編碼方面表現(xiàn)最好,在HumanEval和MBPP基準(zhǔn)測試上尤甚。第二個(gè)模型為13億參數(shù)規(guī)模的Phi-1.5,這個(gè)模型的重點(diǎn)為常識推理和語言理解能力。

現(xiàn)在微軟發(fā)布的Phi-2能為研究人員探索機(jī)器可解釋性、安全性改進(jìn)或?qū)Ω鞣N任務(wù)的微調(diào)實(shí)驗(yàn)上提供幫助,目前,Phi-2已經(jīng)從Azure AI Studio模型目錄中開放給研究人員。

一、96塊A100 GPU訓(xùn)練14天,參數(shù)規(guī)模僅27億

一些大模型的參數(shù)規(guī)模達(dá)到數(shù)千億的量級,使得其涌現(xiàn)出眾多新興能力,那么,是否可以通過改變訓(xùn)練策略等方式讓更小的參數(shù)實(shí)現(xiàn)這些能力?微軟的小型語言模型(SLM)系列或許是這一問題的答案。

Phi-2是一個(gè)基于Transformer架構(gòu)的模型,具有下一個(gè)單詞預(yù)測目標(biāo),在用于NLP和編碼的合成數(shù)據(jù)集和Web數(shù)據(jù)集的混合上多次傳遞的1.4T tokens上進(jìn)行訓(xùn)練。

Phi-2在96個(gè)A100 GPU上訓(xùn)練了14天,作為一個(gè)基礎(chǔ)模型,其沒有通過人類反饋強(qiáng)化學(xué)習(xí)(RLHF)進(jìn)行對齊,也沒有進(jìn)行指令微調(diào)。

盡管如此,與經(jīng)過調(diào)整的現(xiàn)有開源模型Llama 2-7B相比,研究人員觀察到在避免生成有攻擊性、有害和內(nèi)容有偏差方面Phi-2的表現(xiàn)也不差。

研究人員根據(jù)ToxiGen的13個(gè)人口統(tǒng)計(jì)數(shù)據(jù)計(jì)算的安全評分,他們選擇6541個(gè)句子的子集,并根據(jù)困惑度和句子“毒性”進(jìn)行0到1之間的評分。分?jǐn)?shù)高就說明,模型產(chǎn)生有攻擊性、有害句子的可能性較小。

▲Llama 2與Phi-2在生成有攻擊性、有害和內(nèi)容有偏差方面性能比較(圖源:微軟官方博客)

微軟使用Phi-2打破了傳統(tǒng)語言模型縮放定律,其中有兩個(gè)關(guān)鍵環(huán)節(jié):

第一是訓(xùn)練數(shù)據(jù)的質(zhì)量對模型的性能至關(guān)重要。微軟的模型訓(xùn)練數(shù)據(jù)包含專門創(chuàng)建的合成數(shù)據(jù)集,用于教授模型常識推理,還包括科學(xué)、心理等領(lǐng)域的常識。

研究人員還挑選了一些網(wǎng)絡(luò)數(shù)據(jù)進(jìn)一步擴(kuò)充訓(xùn)練語料庫,并基于內(nèi)容的價(jià)值和質(zhì)量進(jìn)行了數(shù)據(jù)過濾。

此外,從13億參數(shù)規(guī)模的Phi-1.5開始,微軟的研究人員實(shí)現(xiàn)了規(guī)?;闹R轉(zhuǎn)移,將Phi-1.5的知識嵌入到27億參數(shù)的Phi-2中。這種方法不僅加速了訓(xùn)練收斂,而且提高了Phi-2的基準(zhǔn)分?jǐn)?shù)。

▲Phi-2和Phi-1.5比較(圖源:微軟官方博客)

二、基準(zhǔn)測試擊敗Llama 2、Mistral、Gemini Nano 2

微軟總結(jié)了Phi-2在學(xué)術(shù)基準(zhǔn)上與主流語言模型的性能表現(xiàn)對比。

其基準(zhǔn)測試涵蓋Big Bench Hard(BBH數(shù)據(jù)集)以及PIQA、WinoGrande、ARC easy、Challenge、SIQA的常識推理、HellaSwag、OpenBookQA、MMLU、SQuADv2的語言理解數(shù)據(jù)集,GSM8k數(shù)學(xué)數(shù)據(jù)集和HumanEval、MBPP的編碼數(shù)據(jù)集等。

27億參數(shù)規(guī)模的Phi-2,在BBH、常識推理、語言理解、數(shù)學(xué)、編碼各項(xiàng)基準(zhǔn)測評上都超過了70億、130億參數(shù)規(guī)模的Mistral和Llama 2。

相比于參數(shù)規(guī)模差距在25倍的700億參數(shù)Llama 2,Phi-2在編碼、數(shù)學(xué)等多步推理任務(wù)上表現(xiàn)更好。

▲Llama 2、Mistral、Phi-2性能比較(圖源:微軟官方博客)

此外,微軟還比較了Phi-2與谷歌最近發(fā)布的Gemini Nano 2,谷歌發(fā)布的模型參數(shù)規(guī)模為32.5億,Phi-2的性能表現(xiàn)部分優(yōu)于Gemini Nano 2。

▲Phi-2、Gemini Nano 2性能比較(圖源:微軟官方博客)

考慮到一些公共基準(zhǔn)測試的數(shù)據(jù)可能會(huì)泄漏到訓(xùn)練數(shù)據(jù)中,微軟對第一個(gè)模型Phi-1進(jìn)行了廣泛的凈化研究以排除這種可能性。

基于判斷語言模型的最佳方法是在具體用例上對其進(jìn)行測試的考量,研究人員使用了多個(gè)微軟內(nèi)部專有數(shù)據(jù)集和任務(wù)評估了Phi-2,并再次將其與Mistral和Llama 2進(jìn)行比較,其結(jié)果為,平均而言Phi 2優(yōu)于Mistral-7B,后者優(yōu)于70億、130億、730億參數(shù)規(guī)模的Llama-2模型。

除了基準(zhǔn)測試外,研究人員還測試了社區(qū)內(nèi)的一些常用提示,他們觀察到的表現(xiàn)也與基準(zhǔn)測試的結(jié)果預(yù)期一致。

其中,研究人員測試了用于評估谷歌Gemini Ultra模型在解決物理問題方面能力的問題。

與Gemini的測試類似,研究人員進(jìn)一步向Phi-2詢問學(xué)生的錯(cuò)誤答案,來確認(rèn)它是否能識別出錯(cuò)誤所在。

不過,從輸出結(jié)果來看,這并不完全是與Gemini報(bào)告中描述的Gemini Ultra輸出的同類比較,Gemini測評中學(xué)生的答案上傳了手寫文本的圖像,Phi-2的測試采用的是原始文本。

結(jié)語:大模型時(shí)代,小模型仍在崛起

Phi-2的參數(shù)規(guī)模僅有27億,但相比于參數(shù)規(guī)模更大的70億、130億模型,其性能表現(xiàn)仍不遜色。微軟專注于小模型市場的布局,也印證了大模型時(shí)代小模型的價(jià)值。

微軟與OpenAI的緊密合作,使得GPT模型的表現(xiàn)在大模型市場一騎絕塵,再加上微軟參數(shù)規(guī)模更小的Phi系列,能進(jìn)一步搶占開源模型長尾市場。不過從目前來看,Phi系列僅被允許用于研究目的。

從市場來看,越來越多的玩家開始探索在手機(jī)等移動(dòng)設(shè)備上部署大模型,微軟此舉或許也會(huì)加速模型能力在端側(cè)的應(yīng)用。

400-021-0821