4nm工藝 1.8萬核心！NVIDIA發(fā)布新一代H100 GPU核心

　　在今天的GTC 2022大會上，英偉達(dá)創(chuàng)始人兼CEO黃仁勛穿著標(biāo)志性的黑色皮衣閃亮登場，為我們帶來了全新的“核彈級”產(chǎn)品，基于最新Hopper架構(gòu)的H100 GPU系列新品！

　　新Hopper架構(gòu)的命名取自美國計算機科學(xué)家格蕾絲·赫柏（Grace Hopper），她是耶魯大學(xué)第一位數(shù)學(xué)女博士、世界上第三位程序員、全球首個編譯器的發(fā)明者，也是第一個發(fā)現(xiàn)“bug”的人。 

格蕾絲·赫柏正在教學(xué)COBOL編程語言

　　H100 GPU包含了800億晶體管和六大創(chuàng)新，一起來了解下詳情吧！

　　先來對比一下英偉達(dá)兩年前發(fā)布的上一代A100 GPU。 作為全球首款基于Hopper架構(gòu)的GPU，英偉達(dá) H100接過為加速AI和高性能計算（HPC）扛旗的重任，F(xiàn)P64、TF32、FP16精度下AI性能都達(dá)到A100的3倍。 而此次H100的 性能介紹又出現(xiàn)了 新的 Tensor 處理格式FP8，而FP8精度下的AI性能可達(dá)到4PFLOPS，約為A100 FP16的6倍。 

　　再來看看H100的6項突破性創(chuàng)新吧！

　　1）先進芯片：H100采用臺積電4N工藝、臺積電CoWoS 2.5D封裝，有800億個晶體管（A100有540億個晶體管），搭載了HBM3顯存，可實現(xiàn)近5TB/s的外部互聯(lián)帶寬。 

　　H100是首款支持PCIe 5.0的GPU，也是首款采用HBM3標(biāo)準(zhǔn)的GPU，單個H100可支持40Tb/s的IO帶寬，實現(xiàn)3TB/s的顯存帶寬。黃仁勛說，20塊H100 GPU便可承托相當(dāng)于全球互聯(lián)網(wǎng)的流量。

　　2）新Transformer引擎：該引擎將新的Tensor Core與能使用FP8和FP16數(shù)字格式的軟件結(jié)合，動態(tài)處理Transformer網(wǎng)絡(luò)的各個層，在不影響準(zhǔn)確性的情況下，可將Transformer模型的訓(xùn)練時間從數(shù)周縮短至幾天。

　　3）第二代安全多實例GPU：MIG技術(shù)支持將單個GPU分為7個更小且完全獨立的實例，以處理不同類型的作業(yè)，為每個GPU實例提供安全的多租戶配置。H100能托管7個云租戶，而A100僅能托管1個，也就是將MIG的部分能力擴展了7倍。 每個H100實例的性能相當(dāng)于兩個完整的英偉達(dá)云推理T4 GPU。 

　　4）機密計算：H100是全球首款具有機密計算功能的GPU加速器，能保護AI模型和正在處理的客戶數(shù)據(jù)，可以應(yīng)用在醫(yī)療健康和金融服務(wù)等隱私敏感型行業(yè)的聯(lián)邦學(xué)習(xí)，以及共享云基礎(chǔ)設(shè)施。 

　　5）第4代英偉達(dá)NVLink： 為了加速大型AI模型，NVLink結(jié)合全新外接NVLink Switch，可將NVLink擴展為服務(wù)器間的互聯(lián)網(wǎng)絡(luò)， 最多連接多達(dá)256個H100 GPU ，相較于上一代采用英偉達(dá) HDR Quantum InfiniBand網(wǎng)絡(luò)， 帶寬高出9倍 。 

　　6）DPX指令：Hopper引入了一組名為DPX的新指令集，DPX可加速動態(tài)編程算法，解決路徑優(yōu)化、基因組學(xué)等算法優(yōu)化問題，與CPU和上一代GPU相比，其速度提升分別可達(dá)40倍和7倍。 

　　H100的這些技術(shù)優(yōu)化，將對跑深度推薦系統(tǒng)、大型AI語言模型、基因組學(xué)、復(fù)雜數(shù)字孿生、氣候科學(xué)等任務(wù)的效率提升非常明顯。 

　　H100將提供SXM和PCIe兩種規(guī)格，可滿足各種服務(wù)器設(shè)計需求。 

　　其中H100SXM 提供4 GPU和8 GPU配置的HGX H100服務(wù)器主板； H 100 PCIe通過NVLink連接兩塊GPU，相較PCIe 5.0可提供7倍以上的帶寬。 PCIe規(guī)格便于集成到現(xiàn)有的數(shù)據(jù)中心基礎(chǔ)設(shè)施中。 

　　這兩種規(guī)格的電力需求都大幅增長。 H100 SXM版的散熱設(shè)計功耗（TDP） 達(dá)到700W，比A100的400W高出75%。據(jù)黃仁勛介紹，H100采用風(fēng)冷和液冷設(shè)計。 

　　這款產(chǎn)品預(yù)計于今年晚些時候全面發(fā)售。阿里云、AWS、百度智能云、谷歌云、微軟Azure、Oracle Cloud、騰訊云和火山引擎等云服務(wù)商均計劃推出基于H100的實例。