日前，特斯拉宣布正式推出了自研的超級(jí)計(jì)算機(jī)Dojo，該套機(jī)器將要用于特斯拉自動(dòng)駕駛神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。據(jù)特斯拉的AI帶頭人，高級(jí)工程師Karpathy介紹，這臺(tái)計(jì)算機(jī)群采用了5760個(gè)算力為321TFLOPS的英偉達(dá)A100顯卡，組成了720個(gè)節(jié)點(diǎn)，總算力突破了1.8EFLOPS，10PB的存儲(chǔ)空間（讀寫(xiě)速度為1.6TBps）。由于總算力突破了1.8EFLOPS，因而有媒體宣傳馬斯克/特斯拉成功制造E級(jí)超算，鐵流認(rèn)為，這種描述是值得商榷的。
Dojo并非真正意義上的E級(jí)超級(jí)算機(jī)
Dojo是用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的機(jī)器，由于神經(jīng)網(wǎng)絡(luò)訓(xùn)練更看重半精度浮點(diǎn)運(yùn)算以及更低精度的整型計(jì)算，因而在宣傳上往往以FP16算力來(lái)對(duì)外報(bào)道。因此，官方宣傳的1.8EFLOPS其實(shí)是其低精度算力，并非雙精度浮點(diǎn)（FP64）算力。根據(jù)NV公布的A100 FP64 峰值性能計(jì)算，5760*9.7TFlops，特斯拉這臺(tái)雙精度算力大致是50+P,在HPC TOP500排行榜上與第5的位置處于伯仲之間。之前媒體解讀的1000P（E級(jí)）性能，并非此排行榜所參考的FP64性能，好比“桔子比蘋(píng)果”是誤解了。必須指出的是，國(guó)內(nèi)外正在研發(fā)的E級(jí)超算，都是雙精度浮點(diǎn)性能超過(guò)1000P，而非單精度、半精度超過(guò)1000P。
日本超算富岳仍是世界第一超算
目前，全球超算排行都是以雙精度浮點(diǎn)算力為標(biāo)準(zhǔn)的，之所以如此重視雙精度浮點(diǎn)性能，主要還是因?yàn)镕P16、FP32根本無(wú)法做對(duì)國(guó)計(jì)民生至關(guān)重要的科學(xué)運(yùn)算，要想運(yùn)行當(dāng)下的超算應(yīng)用，必須具備雙精度浮點(diǎn)運(yùn)算能力。而就雙精度浮點(diǎn)算力而言，當(dāng)下日本超算富岳是世界第一，TOP500二至六名分別為Summit、Sierra、神威太湖之光、Selene、天河2A。可以說(shuō)，在超算方面，基本上處于中美日角逐的狀態(tài)，三個(gè)國(guó)家交替領(lǐng)先。日本富岳位居世界第一主要是機(jī)器比較新，發(fā)布于2020年，中國(guó)超算位居第四和第六，主要是機(jī)器相對(duì)“年齡”大一些，比如神威太湖之光發(fā)布于2016年。由于世界各國(guó)都在致力于研發(fā)E級(jí)超算，相信未來(lái)的超算格局依舊是幾個(gè)超算大國(guó)交替領(lǐng)先。
結(jié)語(yǔ)
由于人工智能的興起，世界各國(guó)都出現(xiàn)了一批用于神經(jīng)網(wǎng)絡(luò)訓(xùn)練的機(jī)器。由于這些機(jī)器更加重視的是半精度浮點(diǎn)運(yùn)算以及更低精度的整型計(jì)算，因而在宣傳上其算力時(shí)往往被人為夸大，特別是在一些報(bào)道中，廠(chǎng)商和媒體非常喜歡用FP16算力去對(duì)標(biāo)現(xiàn)有超算的FP64算力。通過(guò)玩弄文字游戲的方式獲得所謂性能優(yōu)勢(shì)，或者是用這種報(bào)道方式作噱頭吸引眼球和流量。
就特斯拉的超級(jí)計(jì)算機(jī)Dojo而言，確實(shí)是一款性能卓越的機(jī)器，其在機(jī)器學(xué)習(xí)應(yīng)用上的算力為1.8EFLOPS，而富岳雖然是一款雙精度浮點(diǎn)性能500P的超算，但在機(jī)器學(xué)習(xí)應(yīng)用上的算力可以達(dá)到2EFLOPS，這個(gè)性能已經(jīng)超越了特斯拉的Dojo。
「 支持烏有之鄉(xiāng)！」
烏有之鄉(xiāng) WYZXWK.COM
您的打賞將用于網(wǎng)站日常運(yùn)行與維護(hù)。
幫助我們辦好網(wǎng)站，宣傳紅色文化！
歡迎掃描下方二維碼，訂閱烏有之鄉(xiāng)網(wǎng)刊微信公眾號(hào)
