2024-03-18 11:29
3140億參數(shù)量，登頂「地表最強開源大模型」！馬斯克旗下xAI正式開源Grok 1.0大模型
當?shù)貢r間3月17日晚間，馬斯克信守諾言，趕在本周的最后時刻開源旗下AI大模型。
作為要重錘OpenAI「閉源搞錢」的道德高地，馬斯克十分器重此次開源。
在2月29日，馬斯克以OpenAI未能“信守成立初衷的開源政策”為理由，將后者告上法庭。
他旗下的AI研究機構xAI，幾個小時前在GitHub上正式發(fā)布了Grok-1大模型的相關開源代碼。整個大模型的數(shù)據(jù)權重規(guī)模約為300GB。
官方很霸氣，直接貼了一條磁力鏈接。?
據(jù)專家分析，其參數(shù)量達到了3140億，遠超OpenAI一年多以前推出的GPT-3.5大模型的1750億規(guī)模。
如無意外，這將是世界上迄今參數(shù)量最大的開源LLM大語言模型，并遵照Apache 2.0開源協(xié)議開放模型的權重和架構。
根據(jù)xAI官方的說明，Grok-1是馬斯克在2023年7月12日成立的這家AI公司推出的首個「自研大模型」。
官方特別強調(diào)，這是他們自己從頭訓練的大模型——Grok-1沒有針對特定的應用或者測評排行榜進行模型微調(diào)。
這款大模型在2023年11月上線推特(X)平臺公測，需要開通會員使用。
換句話說，老馬的團隊大約花了一個季度多一點的時間，搞出了地表最大規(guī)模的開源大模型。
此前我們曾經(jīng)發(fā)文介紹過這款模型的基本概況，點擊鏈接復習：
馬斯克即將開源的大模型Grok AI什么水平？V1.0版本性能超GPT-3.5、LLaMA2-70B，本月將推V1.5版本
根據(jù)公開的測評榜單，Grok-1在多個測試平臺上的性能表現(xiàn)顯著，超越了LLaMA2-70B和GPT-3.5。然而，在與Claude 2和GPT-4的比較中，仍存在一定差距。
據(jù)EVA了解，Grok-1是一個當下普遍采取混合式“專家大模型”，Mixture-of-Experts，縮寫MOE。
這種MOE架構重點在于提高大模型的訓練和推理效率。形象地理解，大模型并非萬能解藥，MOE就像把各個領域的“醫(yī)療專家”集合到了一起，遇到對應的垂類“疑難雜癥”便派發(fā)給不同專項領域的“門診專家”解答，最后匯總結論，提升模型的執(zhí)行效率。
決定每個領域的專家做什么的系統(tǒng)，被稱為“門控網(wǎng)絡”機制，該機制的執(zhí)行效率決定了“專家模型”輸出內(nèi)容的品質。此前幾個月，GPT-4的“專家模型”多次出現(xiàn)疑似智商下降、回復內(nèi)容不夠充分等問題。
言歸正傳，此次略顯不足的是，xAI并沒有同步放出Grok-1的具體測評成績，我們未能窺見Grok位于各個測評榜單的研究分析數(shù)據(jù)，因此不易客觀了解Grok模型的真實水平。?
?而隔壁家谷歌Gemini發(fā)布的時候，測評榜可謂“秒天秒地秒空氣”。
不過我們可以參考一項三方測評結果。
借由去年5月的2023年匈牙利全國高中數(shù)學期末考試題，Grok與其他幾款主流的大模型進行了人工評分。
如果以匈牙利方面的評級規(guī)范，Grok以C級(59%)通過本項考試，成績合格。知名大模型Claude 2取得了接近的成績(55%)，而GPT-4則以68%的成績獲得了B級，表現(xiàn)最佳。
單就這一次測試結果來看，Grok-1領先Claude 2、GPT-3.5等主流模型。
xAI表示，他們并沒有為這項測試特別準備或調(diào)整模型。
最后看一個花邊消息——
就在xAI官方放出開源代碼后，Grok官號與老馬進行互動，留下一句：「WEIGHTS IN BIO」，意思是“我們在世界上有了舉足輕重的影響力”。
ChatGPT的官號很快在馬斯克的推特(X)賬號下方進行了互動：「你偷了我的笑話?！?/p>
馬斯克并不示弱，直接反擊——「請告訴我，OpenAI的“Open”之處。」
Alright…遺憾的是，xAI方面并沒有公開關于Grok大模型的訓練方式以及技術研究方法。各界仍然十分期待老馬持續(xù)加大開源力度，繼續(xù)嘲諷OpenAI。
鑒于馬斯克對開源事業(yè)的積極態(tài)度，AI開發(fā)者們已經(jīng)在期待后續(xù)的開源版本。
最后，在開源Grok-1之后，馬斯克的新一代模型Grok-1.5.也會在近期發(fā)布。
Grok-1開源項目地址：
?相關閱讀：
相關文章
量子位
雷小軍
Altman
