2024-04-24 09:57
微軟開源最強小參數(shù)大模型—Phi-3 Mini丨3.3T tokens或?qū)⒊蔀橘Y源消耗最小的大語言模型
4月23日晚，微軟在官網(wǎng)開源了小參數(shù)的大語言模型——Phi-3-mini。
據(jù)悉，Phi-3-mini是微軟Phi家族的第4代，有預(yù)訓(xùn)練和指令微調(diào)多種模型，參數(shù)只有38億訓(xùn)練數(shù)據(jù)卻高達3.3T tokens，比很多數(shù)百億參數(shù)的模型訓(xùn)練數(shù)據(jù)都要多，這也是其性能超強的主要原因之一。
Phi-3-mini對內(nèi)存的占用極少，可以在 iPhone 14等同類手機中部署使用該模型。盡管受到移動硬件設(shè)備的限制，但每秒仍能生成12 個tokens數(shù)據(jù)。
值得一提的是，微軟在預(yù)訓(xùn)練Phi-3-mini時使用了合成數(shù)據(jù)，能幫助大模型更好地理解語言架構(gòu)、表達方式、文本語義理解、邏輯推理以及特定業(yè)務(wù)場景的專業(yè)術(shù)語等。
開源地址：https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama地址：https://ollama.com/library/phi3
技術(shù)報告：https://arxiv.org/abs/2404.14219
2023年6月，微軟首次推出了專用于Python編碼的模型Phi-1.只有13億參數(shù)卻在編程領(lǐng)域擊敗了GPT-3.5等知名模型，這讓微軟看到小參數(shù)模型的廣闊發(fā)展空間。
隨后在Phi-1基礎(chǔ)之上，微軟推出了具備推理、文本生成、內(nèi)容總結(jié)、起草郵件的大語言模型Phi-1.5.成為當時最強小參數(shù)模型之一。
2023年12月，微軟在Phi-1.5基礎(chǔ)之上開發(fā)了Phi-2.參數(shù)只有27億并且在沒有人類反饋強化學習和指令微調(diào)的情況下，擊敗了130億參數(shù)的Llama-2和70億參數(shù)的Mistral;在編碼和數(shù)學測試中，Phi-2的性能甚至超過了700億參數(shù)的Llama-2.
本次發(fā)布的Phi-3系列集合了之前三代所有的優(yōu)秀技術(shù)特征，并使用了海量高質(zhì)量數(shù)據(jù)集、創(chuàng)新的訓(xùn)練、微調(diào)方法，使其成為目前最強的開源小參數(shù)模型。
Phi-3-mini架構(gòu)簡單介紹
Phi-3-mini采用了transformer架構(gòu)，支持4K和128K上下文窗口，也是同類小模型中第一個支持128K的開源產(chǎn)品。
高質(zhì)量訓(xùn)練數(shù)據(jù)集是Phi-3-mini性能超強的重要原因之一，微軟使用了3.3T tokens數(shù)據(jù)集包括：經(jīng)過嚴格質(zhì)量篩選的網(wǎng)絡(luò)公開文檔、精選的高質(zhì)量教育數(shù)據(jù)和編程代碼;
通過合成數(shù)據(jù)創(chuàng)建的教科書式數(shù)據(jù)，例如，數(shù)學、編碼、常識推理、世界常識、心理科學等;
高質(zhì)量聊天格式的監(jiān)督數(shù)據(jù)，涵蓋各種主題以反映人類在不同方面的偏好，例如，遵循指令、真實性、誠實性等。
在訓(xùn)練策略方面，為了幫助Phi-3-mini更好地吸收合成數(shù)據(jù)，微軟使用了迭代訓(xùn)練策略：初始階段，Phi-3-mini使用了公開網(wǎng)絡(luò)數(shù)據(jù)，學會了基本的語法、語義和上下文理解;
迭代階段，將合成數(shù)據(jù)與網(wǎng)絡(luò)數(shù)據(jù)合并構(gòu)建全新的訓(xùn)練集，并對Phi-3-mini進行迭代訓(xùn)練，進一步強化模型的理解和生成能力，并且進行多次重復(fù)訓(xùn)練。
測試數(shù)據(jù)方面，Phi-3 Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基準測試平臺中，對語言理解、邏輯推理、機器翻譯、編碼等進行了綜合測試。
結(jié)果顯示，Phi-3-mini僅通過少量樣本提示，在語言理解、編碼、數(shù)學的性能超過了參數(shù)更大的模型，整體性能非常出色。
微軟表示，在未來幾周內(nèi)還會發(fā)布70億參數(shù)的Phi-3-small和140億參數(shù)的Phi-3-medium兩款小模型。其中，Phi-3-medium的性能可媲美Mixtral 8x7B 和GPT-3.5.資源消耗卻更少。
相關(guān)文章
近期文章
更多
Altman
