2024-08-14 18:05
馬斯克突然發(fā)布新版Grok-2大模型，犧牲特斯拉資源叫板OpenAI，一手實測來了
馬斯克旗下xAI大模型，出二代了!
Grok-2測試版發(fā)布，小杯Grok-2 mini已經(jīng)在?平臺在線可玩。
馬斯克還以謎語人的形式，揭曉了困擾大模型圈一個多月的秘密：
原來Lmsys大模型競技場上的神秘匿名模型sus-column-r，真身就是Grok-2.
sus-column-r在排行榜上積累了1萬多人類投票，已經(jīng)與GPT-4o的API版并列第三。
在xAI自己的內(nèi)部測試中，Grok-2在常識(MMLU、MMLU-Pro)、數(shù)學競賽問題 (MATH)、研究生水平科學知識 (GPQA)等領(lǐng)域與其他前沿模型相媲美。
另外Grok-2最擅長基于視覺的任務(wù)，在視覺數(shù)學推理 (MathVista) 達到SOTA。
不過這個圖的排版可就有點心機在里面了：把分數(shù)最高的GPT-4o、Claude-3.5-Sonnet放得離自己遠一些。
光看分數(shù)還是抽象，下面就進入一手實測環(huán)節(jié)。
如果你是?/推特平臺付費用戶，可以直接進入Grok頻道試玩。不花錢的話也可以到Lmsys大模型競技場選擇sus-column-r試玩。
而且付費用戶反倒只能玩到小杯mini版，免費用戶能玩大杯，也是很厚到了。
由于Grok-2可以訪問?上的實時數(shù)據(jù)，可以直接讓他總結(jié)當天的新聞，開啟趣味模式的話還可以附贈吐槽。
付費版本還接入了最新開源AI生圖模型Flux.1.會把中文提示詞翻譯成英文理解。
點進主頁上的“安利一個奇幻游戲”問題示例，可以看到它先推薦了《博德之門3》，并從劇情、人物自定義、游戲機制、世界塑造、幽默元素和玩家社區(qū)幾個角度做點評，很好的把握了游戲的亮點。
此時可以直接換中文繼續(xù)提問。
Grok-2同樣了解《黑神話：悟空》這款還沒發(fā)售的游戲，準確說出發(fā)售日期在8月20日、使用的虛幻5引擎，并且總結(jié)了?上網(wǎng)友的討論。
還在最后附帶了網(wǎng)友的帖子，可以點進去參與討論，與整個平臺的功能整合已經(jīng)到位了。
不過由于?上只有mini版模型，接下來上強度測試我們移步大模型競技場，還可以與GPT-4o來一場捉對pk。
在最近流行的智商檢測問題“9.9和9.11哪個大”上，Grok-2(sus-column-r)表現(xiàn)碾壓ChatGPT最新版本。
不過另一項流行測試“strawberry中有幾個r”問題上，兩者都還是沒能通過。(多試幾次兩者都有小概率答對)。
更嚴肅一些的陷阱題“以下哪支蠟燭是最先被吹滅的”中，Grok-2比ChatGPT稍有進步。
考點是最先被吹滅的蠟燭剩下的部分更長(正確答案3)，ChatGPT錯誤的理解成最短的，Grok-2思路是對的但是數(shù)哪個最長沒數(shù)對。
對于經(jīng)典的大模型弱點“逆轉(zhuǎn)詛咒”問題，兩者似乎都以某種方式克服了。不僅能正著回答“湯姆克魯斯的母親是誰”，也能倒過來回答數(shù)據(jù)出現(xiàn)頻率更少的“Mary Lee Pfeiffer的兒子是湯姆克魯斯”。
(當然不排除只是成為經(jīng)典問題之后，相關(guān)數(shù)據(jù)更多了。)
測試先告一段落，可以看出Grok-2對比上一代Grok-1.5有了很大進步。
背后馬斯克可是，花費了大量資源和人力。
比如有新加入xAI的研究員表示，能用10萬卡集群做研究，比起在學校里可憐的資源爽太多了。
但是有一群人可不滿意了：特斯拉股東。
根據(jù)華爾街日報消息，馬斯克持續(xù)把人才、數(shù)據(jù)和GPU資源從特斯拉向xAI轉(zhuǎn)移。
目前為止，xAI已經(jīng)雇傭了至少11名曾在特斯拉工作過的員工，其中六名直接在Autopilot團隊工作過。
原本為特斯拉保留的GPU訂單，馬斯克也要求英偉達優(yōu)先供應(yīng)xAI。
馬斯克還公開談?wù)摿颂厮估占拇罅恳曈X數(shù)據(jù)，他表示這些數(shù)據(jù)可以作為訓練xAI模型的資源。
至少三位特斯拉股東因為這事把馬斯克給告了，聲稱將資源轉(zhuǎn)移到xAI損害了特斯拉投資者的利益。
目前案件正在特拉華州法院審理。
相關(guān)文章
近期文章
更多
雷小軍
Altman
