馬斯克旗下人工智能公司xAI已完成了一個擁有100000張顯卡的人工智能訓(xùn)練系統(tǒng)的組裝。

　　馬斯克周一宣布了這一里程碑，該系統(tǒng)被xAI稱為Colossus，并于上周末上線。

　　馬斯克去年創(chuàng)辦了xAI，旨在與OpenAI競爭，這家初創(chuàng)公司開發(fā)了一系列名為Grok的大型語言模型。今年5月，xAI以240億美元的估值融資了60億美元。

　　馬斯克將新推出的Colossus描述為“世界上最強(qiáng)大的AI訓(xùn)練系統(tǒng)”。這意味著該系統(tǒng)比美國能源部的Aurora系統(tǒng)更快，后者是世界上最快的AI超級計算機(jī)。在5月份的基準(zhǔn)測試中，Aurora在87%的硬件處于活動狀態(tài)時達(dá)到了10.6 exaflops的最高速度。

　　馬斯克詳細(xì)介紹，Colossus配備了10萬塊NVIDIA H100顯卡。H100于2022年亮相，并在一年多的時間里被評為英偉達(dá)最強(qiáng)大的AI處理器，其運(yùn)行語言模型的速度比英偉達(dá)上一代顯卡快30倍。

　　H100性能基于Transformer Engine模塊，這是一組經(jīng)過優(yōu)化的電路，用于運(yùn)行基于 Transformer神經(jīng)網(wǎng)絡(luò)架構(gòu)的AI模型。該架構(gòu)是GPT-4o、Llama 3.1 405B和許多其他前沿LLM 的基礎(chǔ)。

　　馬斯克詳細(xì)介紹了xAI計劃在幾個月內(nèi)將Colossus的芯片數(shù)量翻一番，達(dá)到20萬片。他說，新處理器中5萬片將是H200。H200是H100的升級版，速度明顯更快。

　　與許多其他工作負(fù)載相比，AI模型更頻繁在運(yùn)行芯片的邏輯電路和內(nèi)存之間移動信息。因此，加速內(nèi)存和邏輯模塊之間的數(shù)據(jù)移動可以提高AI模型的性能。NVIDIA H200執(zhí)行此類數(shù)據(jù)傳輸?shù)乃俣让黠@快于H100。leyucom樂魚官網(wǎng)

　　H200的速度優(yōu)勢得益于兩項架構(gòu)升級。首先，NVIDIA將H100 HBM3內(nèi)存換成了新型RAM“HBM3e”，這有助于加快芯片邏輯電路之間的數(shù)據(jù)傳輸速度leyu·樂魚。其次，該公司將板載內(nèi)存容量增加了近一倍，達(dá)到141GB，這使得H200能夠?qū)⒏郃I模型的數(shù)據(jù)保存在靠近邏輯電路的位置。

　　Grok-2是xAI的旗艦LLM，在15000個GPU上進(jìn)行訓(xùn)練。Colossus的100000個芯片可能有助于開發(fā)功能更強(qiáng)大的語言模型。據(jù)報道，xAI希望在年底前發(fā)布Grok-2的后續(xù)產(chǎn)品。

　　Colossus的部分服務(wù)器可能采用原本為特斯拉公司預(yù)留的芯片。今年1月，CNBC報道稱，馬斯克已要求NVIDIA將價值超過5億美元的12000臺H100從特斯拉轉(zhuǎn)移到xAI。同月，馬斯克估計特斯拉將在年底前在NVIDIA硬件上花費30億至40億美元。