亚洲精品一区二区国产精华液,亚洲欧美中文日韩v在线观看,亚洲综合人成网免费视频,亚洲精品色婷婷在线影院,一区二区三区在线 | 网站

當(dāng)?shù)貢r間12月6日，AI科技圈熱鬧非凡，這邊谷歌搬出“蓄謀已久”的大殺器Gemini大模型，號稱全面掀翻GPT-4;另一邊，AI芯片大廠AMD也按耐不住，正式發(fā)布Instinct MI300X GPU，據(jù)稱性能正面硬剛英偉達H100。

Instinct MI300X是AMD有史以來尺寸和晶體管密度最大的芯片——包含1530億個晶體管，AI任務(wù)推理性能比H100快1.6倍，內(nèi)存容量足足192GB，是H100的兩倍以上(2.4x)。

消息稱，微軟、Meta、OpenAI和Oracle等一眾公司已率先承諾將購買AMD的這款GPU來替代H100。推理性能比H100 HGX快1.6倍，最高支持2900億參數(shù)的超級大模型。它的出現(xiàn)，無疑為業(yè)界提供了頗有競爭力的第二種選擇。

AMD在6月就預(yù)告了這款芯片，今天是正式發(fā)布，公布參數(shù)等細節(jié)。據(jù)介紹，Instinct MI300X是AMD使用有史以來最先進的生產(chǎn)技術(shù)打造，是Chiplet設(shè)計方法的“代表之作”。

它的底層是4個6nm I/O芯片，上面融合了8個HBM3內(nèi)存(12Hi堆棧)和8個5nm CDNA 3 GPU小芯片(3D堆棧)。其中3D堆疊GPU和I/O芯片通過“3.5D”封裝技術(shù)進行連接。最終成品功耗750W，包含304個計算單元、5.3TB/s帶寬，以及高達192GB的HBM3內(nèi)存(相比之下，H100僅80GB)。

在實際的生成式AI平臺應(yīng)用中，MI300X被設(shè)計為8個一組 ，通過Infinity Fabri進行互聯(lián)，各GPU之間的吞吐量為896 GB/s。

同時，這一組合的內(nèi)存總量達到1.5TB HBM3(H100為640GB)，可提供高達10.4 Petaflops的計算性能 (BF16/FP16)。與英偉達的H100 HGX平臺 (BF16/FP16) 相比，內(nèi)存總量增加2.4倍，計算能力提高1.3倍。與此同時，AMD還為MI300X配備了400GbE網(wǎng)絡(luò)并支持多種網(wǎng)卡，比英偉達的選擇更多。

下面是AMD分享的官方性能測試結(jié)果(理性參考)。

首先，對于HPC工作負載，MI300X的FP64和FP32向量矩陣?yán)碚摲逯低掏铝渴荋100的2.4倍;對于AI工作負載，其TF32、FP16、BF16、FP8和INT8理論峰值吞吐量是H100的1.3倍。注意，這些預(yù)測都不包含稀疏性(盡管MI300X確實支持)。

其次，AI推理任務(wù)中，AMD以1760億參數(shù)的Flash Attention 2為例，聲稱MI300X在吞吐量(tokens/s)方面比H100高出1.6倍，同時，在700億參數(shù)的Llama 2上，聊天延遲更慢，比H100快1.4倍(基于2k序列長度/128token workload)。

不得不說，MI300X的大內(nèi)存容量和帶寬確給它帶來了這一不小的優(yōu)勢。相比之下，在訓(xùn)練任務(wù)上，MI300X在300億參數(shù)的MPT上的性能倒是與H100 HGX大致相同。

所以總的來看，MI300X的優(yōu)勢更在于推理。

此外，還需要強調(diào)的是，MI300X由于內(nèi)存容量實在更大，因此可以容納比H100多兩倍的300億參數(shù)訓(xùn)練模型、700億參數(shù)的推理模型。以及MI300X最多可支持700億訓(xùn)練和2900億參數(shù)的推理模型，這都比H100 HGX多一倍。

最后，大伙最關(guān)心的價格——蘇媽沒說，但表示“肯定、必須低于英偉達的同量級產(chǎn)品”。

目前，AMD已經(jīng)向HPE、戴爾、聯(lián)想、SuperMicro等原始設(shè)備制造商發(fā)貨，正式發(fā)售時間定于2024年第一季度。

說到2024年，AI加速芯片市場將無比熱鬧：除了AMD的MI300X，英特爾也將升級其Gaudi架構(gòu)GPU，以及英偉達H200也要在2024年Q2問世。根據(jù)之前的爆料，H200在內(nèi)存容量和帶寬方面大概率會更上一層樓，計算性能則預(yù)計將和MI300X差不多。

最后，蘇媽在發(fā)布會上也預(yù)測，2027年AI芯片總市場將達到4000億美元。而她認為，AMD有信心從中分走一塊還不錯的蛋糕。

本場發(fā)布會上，和Instinct MI300X一共亮相的還有Instinct MI300A，這是全球首款數(shù)據(jù)中心APU也來了。前者專供生成式AI領(lǐng)域，后者則主要用于HPC計算。

據(jù)悉，MI300A是全球首個數(shù)據(jù)中心APU，CPU和GPU結(jié)合在同一個封裝之中，對標(biāo)的是英偉達Grace Hopper Superchips ，后者CPU和GPU位于獨立的封裝中，再串聯(lián)到一起。

具體而言，MI300A采用和MI300X相同的基本設(shè)計和方法，但包含3個5nm核心計算芯片(CCD)，每個配備8個Zen 4 CPU，所以一共24線程CPU核心，外加228個CDNA 3計算單元。

內(nèi)存容量上，相比MI300X中的8個12Hi堆棧，它改為8個8Hi堆棧，從而將容量從192GB縮減至128G，內(nèi)存帶寬仍為5.3TB/s。這樣的結(jié)果仍然是英偉達Nvidia H100 SXM GPU提供的1.6倍。

據(jù)悉，MI300A已開始用于美國勞倫斯利弗莫爾實驗室，基于該芯片，該實驗室的El Capitan有望成為世界首臺2 Exaflop級別的超級計算機。