2024-05-07 16:16
微軟啟動備份項目！自研5000億參數(shù)大模型「MAI」，力邀谷歌前DeepMind團隊CEO加盟帶隊
不需要OpenAI，微軟或許也會成為AI領域的領頭羊！
據(jù)外媒Information最新爆料稱，微軟內(nèi)部已經(jīng)啟動了自研的首款5000億參數(shù)的大模型「MAI-1」，這將是納德拉作為企業(yè)管理者的重要一步棋。
在過去幾年，連續(xù)對OpenAI投資130多億美元之后，微軟才獲得了GPT-3.5與GPT-4先進模型的使用權(quán)，但終究不是長久之計。外界曾經(jīng)有這么一種講法，微軟已經(jīng)淪落為OpenAI的一個IT部門。
在過去的一年，每個人熟知的，微軟在大模型方面的研究，主要集中在小體量大模型Phi的更新，比如Phi-3近期發(fā)布了開源版本。而在大模型的專攻上，除了圖靈系列，微軟內(nèi)部還未透露半點風聲。
就在今天，微軟首席技術(shù)官Kevin Scott證實，代號為「MAI」的大模型確實正在開發(fā)中。
顯然，微軟秘密籌備大模型的計劃，第一個版本就是「MAI-1」，這是一款全新的AI大模型，訓練目標是能夠與OpenAI、谷歌、Anthropic頂尖的人工智能大模型公司的產(chǎn)品所競爭。
畢竟，微軟CEO納德拉曾說過，如果OpenAI明天消失了，也無關緊要。他還曾經(jīng)表示，「我們有的是人才、有的是算力、有的是數(shù)據(jù)，我們什么都不缺。我們在他們之下，在他們之上，在他們周圍」。
看來，微軟的底氣就是自己。
據(jù)介紹，MAI-1大模型由前谷歌DeepMind負責人Mustafa Suleyman，負責監(jiān)督。值得一提的是，Suleyman在加入微軟之前，還是人工智能創(chuàng)業(yè)公司Inflection AI的聯(lián)合創(chuàng)始人兼CEO，這支團隊的主要核心研發(fā)人員今年被微軟挖干凈了。
創(chuàng)辦于2022年，一年的時間，他帶領團隊推出了大模型Inflection，以及日活破百萬的高情商AI助手「Pi」。
不過因為無法找到正確的商業(yè)模式，Mustafa Suleyman和另外一位聯(lián)合創(chuàng)始人以及大部分的員工，在今年3月一起加盟了微軟，并成為了微軟旗下AI團隊的新鮮血液。
也就是說，Suleyman和團隊負責這個新項目「MAI-1」，會為此帶來更多的前沿大模型的經(jīng)驗。
還是要提一句，「MAI-1」模型是微軟自研發(fā)的，并非從Inflection模型繼承而來。據(jù)兩位微軟員工稱，「MAI-1」與Inflection之前發(fā)布的模型不同。不過，訓練過程可能會用到其訓練數(shù)據(jù)和技術(shù)。
據(jù)悉，「MAI-1」將具備5000億規(guī)模的訓練參數(shù)，將遠超微軟以往訓練的任何的小規(guī)模開源模型的數(shù)據(jù)集參數(shù)量。這也意味著，它將需要更多的算力、數(shù)據(jù)，訓練成本也是高昂的。
為了訓練這款新模型，微軟已經(jīng)預留了一大批配備英偉達GPU的服務器，并一直在編制訓練數(shù)據(jù)以優(yōu)化模型。其中，包括來自GPT-4生成的文本，以及外部來源（互聯(lián)網(wǎng)公共數(shù)據(jù)）的各種數(shù)據(jù)集。
目前，「MAI-1」新模型具體表現(xiàn)會達到什么水平，以及在哪些領域得到引用都還未確定，將取決于其性能表現(xiàn)。
順便提一句，關于「MAI-1」的更多信息，極有可能在今年5月21日~23日舉行的微軟Build 2024開發(fā)者大會公開。
相關文章
近期文章
更多
Altman
