2024-02-27 09:41
最新開源大模型LWM發(fā)布丨與Sora一樣能生成視頻、圖像，還能一次解讀100萬數(shù)據(jù)！
大語言模型(LLM)在生成文本內(nèi)容方面非常強(qiáng)，但在理解、生成視頻、圖像等方面略顯不足。尤其是在Sora一夜爆紅之后，讓人們意識(shí)到未來主流模型一定是文本+音頻+圖像+視頻的多模態(tài)生成、理解功能。
因此，加州大學(xué)伯克利分校的研究人員開源了一種訓(xùn)練數(shù)據(jù)更多、理解能力更強(qiáng)的基礎(chǔ)模型——大世界模型(Large World Model，簡稱“LWM”)。
LWM是一種通用的多模態(tài)自回歸模型，與前不久谷歌發(fā)布的Gemini 1.5一樣，一次性可精準(zhǔn)解答100萬tokens的視頻、文本，例如，LWM可以正確回答1小時(shí)YouTube視頻中包含500多個(gè)視頻片段的問題。
開源地址：https://github.com/LargeWorldModel/LWM
論文地址：https://arxiv.org/abs/2402.08268
huggingface：https://huggingface.co/LargeWorldModel
此外，LWM可以精準(zhǔn)檢索100萬tokens文本中的內(nèi)容，同時(shí)與Sora一樣具備文本生成視頻、圖像的能力。整體性能非常強(qiáng)悍，目前在github獲得超6000顆星，有純文本、視頻、圖像等多個(gè)版本模型可使用。
在傳統(tǒng)的注意力機(jī)制中，例如，Transformer架構(gòu)中使用的自注意力，模型需要計(jì)算序列中每個(gè)元素對(duì)于其他所有元素的注意力得分，這就會(huì)面臨兩大難題。
1）內(nèi)存需求上升：模型需要存儲(chǔ)每一對(duì)元素間的注意力得分，會(huì)隨著序列長度的增加而急劇增加內(nèi)存需求。
2）計(jì)算復(fù)雜度：當(dāng)序列很長時(shí)，會(huì)導(dǎo)致巨大的算力負(fù)擔(dān)。
LWM的核心技術(shù)是通過Ring Attention（環(huán)形注意力）在長序列上進(jìn)行擴(kuò)展訓(xùn)練，并使用Books3 數(shù)據(jù)集從32000擴(kuò)展到100萬標(biāo)記，而無需消耗額外的內(nèi)存、算力并降低計(jì)算復(fù)雜度。
Ring Attention論文地址：https://arxiv.org/abs/2310.01889
盡管Ring Attention減少了每個(gè)片段的直接交互范圍，但仍然允許信息在序列中傳遞，保持了模型對(duì)長距離依賴的捕捉能力，減少了長序列的處理損失度。
這也是LWM能處理高達(dá)100萬tokens數(shù)據(jù)的原因之一。
RingAttention是通過使用循環(huán)結(jié)構(gòu)來擴(kuò)展，注意力機(jī)制的上下文大小。傳統(tǒng)的注意力機(jī)制在計(jì)算上下文相關(guān)性時(shí)，通常只關(guān)注序列中相對(duì)較近的位置。
但在處理長序列時(shí)，遠(yuǎn)距離的上下文信息也可能對(duì)模型的理解和推理能力至關(guān)重要。RingAttention通過引入環(huán)形結(jié)構(gòu)來解決這個(gè)難題。
具體來說，使用了一種環(huán)形緩沖區(qū)來存儲(chǔ)先前計(jì)算的注意力權(quán)重。模型可以在計(jì)算當(dāng)前位置的注意力時(shí)，考慮到之前計(jì)算的位置的信息，從而無限擴(kuò)展了上下文范圍，主要功能模塊如下。
環(huán)狀分組：該模塊將輸入序列劃分為多個(gè)環(huán)，每個(gè)環(huán)中的位置與其他環(huán)中的位置之間進(jìn)行相關(guān)性計(jì)算。通過這種劃分方式，可以有效降低計(jì)算復(fù)雜度。
環(huán)內(nèi)注意力：在每個(gè)環(huán)內(nèi)，該模塊計(jì)算位置之間的相關(guān)性，并根據(jù)相關(guān)性的權(quán)重對(duì)位置進(jìn)行加權(quán)。這樣，每個(gè)位置都可以獲得來自同一環(huán)的其他位置的信息。
環(huán)間注意力：這個(gè)模塊負(fù)責(zé)計(jì)算不同環(huán)之間的相關(guān)性。通過將每個(gè)環(huán)的表示與其他環(huán)的表示進(jìn)行比較，計(jì)算它們之間的相關(guān)性，這種跨環(huán)的交互有助于在不同環(huán)之間傳遞信息。
環(huán)間投影：在環(huán)間注意力之后，該模塊將每個(gè)環(huán)的表示投影到一個(gè)共享的表示空間中，有助于進(jìn)一步整合不同環(huán)之間的信息。
通過這些關(guān)鍵模塊的協(xié)同工作，Ring Attention實(shí)現(xiàn)了對(duì)長序列的高效處理和建模，并為訓(xùn)練大規(guī)模模型提供了高效方法。
第一階段是語言模型的預(yù)訓(xùn)練,主要擴(kuò)展語言理解的上下文長度。LWM使用了Books3數(shù)據(jù)集, 從32.000 tokens逐步擴(kuò)展到100萬tokens，同時(shí)針對(duì)長序列的聊天任務(wù)進(jìn)行了微調(diào)。
第二階段是多模態(tài)的預(yù)訓(xùn)練,將視覺信息整合到語言模型中。LWM使用了大量包含圖像和視頻的公開數(shù)據(jù)集,例如，LAION-2B、COYO-700M、WebVid10M等。
同時(shí)訓(xùn)練圖像-文本、視頻-文本等多種對(duì)齊格式。視頻以每秒4幀的速度提取關(guān)鍵幀，特別針對(duì)32K、128K和1M tokens長度進(jìn)行了優(yōu)化訓(xùn)練。1
相關(guān)文章
Altman
