亚洲精品一区二区国产精华液,亚洲欧美中文日韩v在线观看,亚洲综合人成网免费视频,亚洲精品色婷婷在线影院,一区二区三区在线 | 网站

AI奇點(diǎn)網(wǎng)2024年3月18日?qǐng)?bào)道丨AI資訊早報(bào)

馬斯克旗下xAI開(kāi)源Grok 1.0大模型

當(dāng)?shù)貢r(shí)間3月17日，馬斯克信守諾言，趕在本周的最后時(shí)刻開(kāi)源旗下大模型。馬斯克的AI創(chuàng)企xAI正式發(fā)布備受期待大模型Grok-1。據(jù)專家分析，其參數(shù)量達(dá)到了3140億，遠(yuǎn)超OpenAI前年發(fā)布的GPT-3.5的1750億規(guī)模。

這是世界上迄今參數(shù)量最大的開(kāi)源大語(yǔ)言模型，遵照Apache 2.0協(xié)議開(kāi)放模型權(quán)重和架構(gòu)。

Grok-1是一個(gè)混合專家（Mixture-of-Experts，MOE）大模型，這種MOE架構(gòu)重點(diǎn)在于提高大模型的訓(xùn)練和推理效率，形象地理解，MOE就像把各個(gè)領(lǐng)域的“專家”集合到了一起，遇到任務(wù)派發(fā)給不同領(lǐng)域的專家，最后匯總結(jié)論，提升效率。決定每個(gè)專家做什么的是被稱為“門控網(wǎng)絡(luò)”的機(jī)制。

目前，xAI已經(jīng)將Grok-1的權(quán)重和架構(gòu)在GitHub上開(kāi)源。

蘋果推出300億參數(shù)多模態(tài)大模型

剛剛宣布放棄造車項(xiàng)目的蘋果公司，在當(dāng)今的人工智能(AI)競(jìng)賽中落伍了。為了擺脫窘境，蘋果近期放棄了造車項(xiàng)目，正在全面轉(zhuǎn)向生成式AI領(lǐng)域，并且很快有了新動(dòng)作，推出了一款被命名為「MM1」的多模態(tài)大模型。

MM1的獨(dú)特之處在于其龐大的規(guī)模和架構(gòu)創(chuàng)新，包括密集的模型和混合專家模型。研發(fā)團(tuán)隊(duì)稱，MM1不僅在預(yù)訓(xùn)練指標(biāo)中是“最先進(jìn)的”，并且在一系列已建立的多模態(tài)基準(zhǔn)測(cè)試中，經(jīng)過(guò)微調(diào)后也保持了“有競(jìng)爭(zhēng)力的”性能。

據(jù)了解，MM1最高參數(shù)量為300億，支持增強(qiáng)的上下文學(xué)習(xí)和多圖像推理，在多模態(tài)基準(zhǔn)測(cè)試中表現(xiàn)較好。盡管MM1的整體性能還沒(méi)有完全超過(guò)谷歌的Gemini和OpenAI的GPT-4，但它被認(rèn)為是蘋果在AI方面的一次重大飛躍。

蘋果收購(gòu)AI系統(tǒng)小型化研究公司

根據(jù)彭博社報(bào)道，蘋果公司在今年年初收購(gòu)了一家加拿大AI創(chuàng)企DarwinAI，這家創(chuàng)企的首席科學(xué)家連同數(shù)十名員工已經(jīng)加入了蘋果的AI部門。這也是蘋果已知收購(gòu)的第33家AI公司。截止2023年底，蘋果總共收購(gòu)了32家AI公司，是當(dāng)今知名科技公司中收購(gòu)人工智能研究機(jī)構(gòu)數(shù)量最多的大廠。

DarwinAI開(kāi)發(fā)的AI技術(shù)主要用于工業(yè)制造過(guò)程中的印刷電路板（PCB）視覺(jué)檢測(cè)領(lǐng)域，他們的核心技術(shù)優(yōu)勢(shì)主要是把AI系統(tǒng)做的更小型化，同時(shí)兼顧較高的處理速度。

這其實(shí)剛好正中蘋果下懷，彭博社報(bào)道認(rèn)為，蘋果一直致力于做的就是在終端設(shè)備商本地運(yùn)行AI大模型，而不是放在云端，因此DarwinAI的技術(shù)優(yōu)勢(shì)對(duì)蘋果來(lái)說(shuō)，經(jīng)過(guò)評(píng)估之后很可能會(huì)有所幫助。

GPT-3.5 Turbo參數(shù)規(guī)模被扒：大約只有70億

據(jù)外媒報(bào)道，來(lái)自南加州大學(xué)的最新研究顯示，他們使用一種反向的攻擊方法，花費(fèi)不到 1000 美元就把最新版 gpt-3.5-turbo 模型的大概模樣給呈現(xiàn)出來(lái)。南加大團(tuán)隊(duì)三位作者破解出了未公布的 gpt-3.5-turbo 嵌入向量維度（embedding size）為 4096 或 4608，通過(guò)這個(gè)數(shù)據(jù)可以推算出 GPT-3.5 的大概參數(shù)規(guī)模。

根據(jù)目前已知的開(kāi)源大模型，比如 Llama 和 Mistral，嵌入式向量維度在 4096 的時(shí)候，參數(shù)規(guī)模大約為 7B 參數(shù)規(guī)模。其它比例的話，就會(huì)造成網(wǎng)絡(luò)過(guò)寬或過(guò)窄，已被證明對(duì)模型性能不利。

因此南加大團(tuán)隊(duì)指出，可以反向倒推 gpt-3.5-turbo 的參數(shù)規(guī)模也在 7B 左右，除非是專家模型 MoE 架構(gòu)可能不同。

美圖吳欣鴻：原本以為類似Sora的產(chǎn)品2-3年后才能實(shí)現(xiàn)

3月15日，美圖公司披露2023年業(yè)績(jī)報(bào)告，總收入27億元，同比增長(zhǎng)29.3%。經(jīng)調(diào)整后歸屬于母公司權(quán)益持有人凈利潤(rùn)3.7億元，同比增長(zhǎng)233.2%。美圖CEO欣鴻在業(yè)績(jī)會(huì)上表示，AI 原生工作流會(huì)是未來(lái)非常巨大的機(jī)會(huì)，美圖會(huì)致力于 AI 原生應(yīng)用的進(jìn)一步打造。同時(shí)他還強(qiáng)調(diào)，美圖不會(huì)做通用大模型，但美圖會(huì)針對(duì)不同垂直場(chǎng)景的需求做模型的訓(xùn)練和微調(diào)。

吳欣鴻透露，Sora 給了行業(yè)較大的心理沖擊，原本以為這樣的能力會(huì)在 2-3 年后才能實(shí)現(xiàn)。Sora 也讓美圖反省了視覺(jué)大模型的底層架構(gòu)，緊急升級(jí)了模型的底層框架，重新投入到圖像和視頻模型的訓(xùn)練。他認(rèn)為，垂直場(chǎng)景支撐創(chuàng)新的 AI 原生應(yīng)用還有約 2 年的窗口期。