亚洲精品一区二区国产精华液,亚洲欧美中文日韩v在线观看,亚洲综合人成网免费视频,亚洲精品色婷婷在线影院,一区二区三区在线 | 网站

2月22日，谷歌在官網(wǎng)宣布，開源大語言模型Gemma。

Gemma與谷歌最新發(fā)布的Gemini 使用了同一架構(gòu)，有20億、70億兩種參數(shù)，每種參數(shù)都有預(yù)訓(xùn)練和指令調(diào)優(yōu)兩個(gè)版本。

根據(jù)谷歌公布的測試顯示，在MMLU、BBH、GSM8K等主流測試平臺(tái)中，其70億模型在數(shù)學(xué)、推理、代碼的能力超過Llama-2的70億和130億，成為最強(qiáng)小參數(shù)的類ChatGPT模型。

目前，Gemma可以商用，并且普通筆記本、臺(tái)式機(jī)就能跑，無需耗費(fèi)巨大的AI算力矩陣。

Kaggle地址：https://www.kaggle.com/models/google/gemma/code/

huggingface地址：https://huggingface.co/models?search=google/gemma

技術(shù)報(bào)告：https://goo.gle/GemmaReport

谷歌作為貢獻(xiàn)出Transformers、TensorFlow、BERT、T5、JAX、AlphaFold等一系列改變世界AI發(fā)展的宗師級(jí)大師，在生成式AI領(lǐng)域卻一直落后于OpenAI。

不僅如此，開源領(lǐng)域還打不過類ChatGPT開源鼻祖Meta的Llama系列。痛定思痛之后，谷歌決定重新加入開源陣營，以搶奪開發(fā)者和用戶。

Gemma簡單介紹

谷歌表示，Gemma之所以性能如此強(qiáng)悍，主要是使用了與Gemini相同的技術(shù)架構(gòu)。

更詳細(xì)的開發(fā)者指南：https://ai.google.dev/gemma/docs?utm_source=agd&utm_medium=referral&utm_campaign=quickstart-docu

Gemini的基礎(chǔ)架構(gòu)建立在Transformer編碼器結(jié)構(gòu)之上，通過多層自注意力和前饋神經(jīng)網(wǎng)絡(luò)來建模序列依賴性。不同的是Gemini采用了多查詢注意力機(jī)制，可處理超復(fù)雜長文本。

具體來說,模型首先將輸入序列的每個(gè)位置編碼成多組查詢向量。然后,將這些查詢向量并行地與鍵值對(duì)進(jìn)行批量注意力運(yùn)算,得到多個(gè)注意力結(jié)果。

除了開源模型權(quán)重，谷歌還推出Responsible Generative AI Toolkit等一系列工具，為使用Gemma提供更安全的AI應(yīng)用程序提供指導(dǎo)。

目前，Gemma開放了兩個(gè)版本：預(yù)訓(xùn)練，該版本未針對(duì) Gemma 核心數(shù)據(jù)訓(xùn)練集以外的任何特定任務(wù)或指令進(jìn)行訓(xùn)練;指令微調(diào)，通過人類語言互動(dòng)進(jìn)行訓(xùn)練，可以響應(yīng)對(duì)話輸入，類似ChatGPT聊天機(jī)器人。

跨框架、工具和硬件，對(duì)Gemma進(jìn)行優(yōu)化

開發(fā)者可以根據(jù)自己的數(shù)據(jù)微調(diào) Gemma 模型，以適應(yīng)特定的應(yīng)用程序需求，例如，生成摘要/文本或檢索增強(qiáng)生成 (RAG)等。Gemma 支持以下多種工具和系統(tǒng)：

多框架工具：可跨多框架 Keras 3.0、本機(jī) PyTorch、JAX 和 Hugging Face Transformers 進(jìn)行推理和微調(diào)。

跨設(shè)備兼容性：Gemma可以跨多種設(shè)備類型運(yùn)行，包括筆記本電腦、臺(tái)式機(jī)、物聯(lián)網(wǎng)、移動(dòng)設(shè)備和云，從而實(shí)現(xiàn)廣泛的 AI 功能。

高級(jí)硬件平臺(tái)：谷歌與NVIDIA合作，針對(duì) NVIDIA GPU 優(yōu)化 Gemma模型，從數(shù)據(jù)中心到云端再到本地RTX AI PC，提供行業(yè)領(lǐng)先的性能并與尖端AI技術(shù)集成。

針對(duì) Google Cloud 進(jìn)行了優(yōu)化：Vertex AI 提供廣泛的 MLOps 工具集，具有一系列調(diào)整選項(xiàng)，并可使用內(nèi)置推理優(yōu)化功能進(jìn)行一鍵式部署。

高級(jí)定制功能可通過完全管理的頂點(diǎn)人工智能工具或自我管理的GKE 實(shí)現(xiàn)，包括部署到 GPU、TPU 和 CPU 平臺(tái)上具有成本效益的基礎(chǔ)設(shè)施。

Gemma性能測試

谷歌在MMLU、BBH、GSM8K等主流測試平臺(tái)中，用Gemma 70億模型與Llama-2、Mistral在數(shù)學(xué)、推理、代碼等方面進(jìn)行了深度測試。

Gemma的標(biāo)準(zhǔn)學(xué)術(shù)基準(zhǔn)測試平均分?jǐn)?shù)都高于同規(guī)模的Llama 2和Mistral模型。甚至在一些關(guān)鍵能力方面，高于Llama-2 130億參數(shù)模型。

也就是說，Gemma是一款參數(shù)很小，性能卻異常強(qiáng)悍的大模型。