NVIDIA’nın yakın zamanda duyurduğu Hopper GPU mimarisine dayalı H100 80 GB PCIe hızlandırıcısı Japonya’da satışa sunuldu. Bu, Japon pazarında fiyatıyla birlikte listelenen ikinci hızlandırıcıdır ve ilki, birkaç gün önce de listelenen AMD MI210 PCIe’dir.
Hopper GPU’lu NVIDIA H100 80 GB PCIe Hızlandırıcı, 30.000 ABD Dolarını Aşan Çılgın Bir Fiyatla Japonya’da Listeleniyor
H100 SXM5 yapılandırmasının aksine, H100 PCIe, GH100 GPU’nun 144 SM’sinden etkinleştirilen 114 SM’yi ve H100 SXM’de 132 SM’yi içeren, azaltılmış özellikler sunar. Çip, 3200 FP8, 1600 TF16, 800 FP32 ve 48 TFLOP FP64 hesaplama beygir gücü sunuyor. Ayrıca 456 Tensör ve Doku Birimi içerir.
NVIDIA, Hopper GH100 Powered DGX H100, DGX Pod H100, H100 PCIe Hızlandırıcılarını Tanıttı
Düşük tepe hesaplama beygir gücü nedeniyle, H100 PCIe daha düşük saatlerde çalışmalıdır ve bu nedenle, SXM5 varyantının çift 700W TDP’sine karşı 350W TDP’ye sahiptir. Ancak PCIe kartı, 5120 bit veri yolu arabiriminde ancak HBM2e varyasyonunda (>2 TB/s bant genişliği) bulunan 80 GB belleğini koruyacaktır.
Buna göre gdm-veya-jpbir Japon dağıtım şirketi, gdep-ko-jp, NVIDIA H100 80 GB PCIe hızlandırıcıyı 4.313.000 Yen (33.120 ABD Doları) ve 36.445 ABD Dolarına dönüşen satış vergisi dahil toplam maliyeti 4.745.950 Yen ile listeledi. Hızlandırıcının 2022’nin ikinci yarısında piyasaya sürülmesi bekleniyor ve standart çift yuvalı pasif soğutmalı varyantta gelecek. Dağıtıcının, birden fazla kart satın alan ancak daha sonraki bir tarihte gönderebilecek olanlara ücretsiz olarak NVLINK köprüleri sağlayacağı da belirtiliyor.
Şimdi aynı pazarda yaklaşık 16.500 ABD dolarına mal olan AMD Instinct MI210 ile karşılaştırıldığında, NVIDIA H100 maliyeti iki katından fazla. NVIDIA teklifi, 50W daha fazla AMD HPC hızlandırıcısına kıyasla gerçekten yüksek GPU performans rakamlarıyla övünüyor. H100 için tensör olmayan FP32 TFLOP’lar 48 TFLOP olarak derecelendirilirken MI210, 45.3 TFLOP’luk bir tepe dereceli FP32 hesaplama gücüne sahiptir. Seyreklik ve Tensör işlemleriyle H100, 800 TFLOP’a kadar FP32 beygir gücü çıkışı sağlayabilir. H100 ayrıca MI210’daki 64 GB’a kıyasla 80 GB’lik daha yüksek bellek kapasitelerine sahiptir. Görünüşe göre NVIDIA, daha yüksek AI/ML yetenekleri için prim alıyor.
NVIDIA Ampere GA100 GPU Tabanlı Tesla A100 Özellikleri:
| NVIDIA Tesla Grafik Kartı | NVIDIA H100 (SMX5) | NVIDIA H100 (PCIe) | NVIDIA A100 (SXM4) | NVIDIA A100 (PCIe4) | Tesla V100S (PCIe) | Tesla V100 (SXM2) | Tesla P100 (SXM2) | Tesla P100 (PCI Ekspres) |
Tesla M40 (PCI Ekspres) |
Tesla K40 (PCI Ekspres) |
|---|---|---|---|---|---|---|---|---|---|---|
| GPU’lar | GH100 (Bunker) | GH100 (Bunker) | GA100 (Amper) | GA100 (Amper) | GV100 (Volta) | GV100 (Volta) | GP100 (Paskal) | GP100 (Paskal) | GM200 (Maxwell) | GK110 (Kepler) |
| Süreç Düğümleri | 4nm | 4nm | 7nm | 7nm | 12nm | 12nm | 16nm | 16nm | 28nm | 28nm |
| transistörler | 80 Milyar | 80 Milyar | 54.2 trilyon | 54.2 trilyon | 21.1 Milyar | 21.1 Milyar | 15,3 Milyar | 15,3 Milyar | 8 Milyar | 7.1 Milyar |
| Kalıp Boyutlu GPU’lar | 814mm2 | 814mm2 | 826mm2 | 826mm2 | 815mm2 | 815mm2 | 610mm2 | 610mm2 | 601mm2 | 551mm2 |
| SMS’ler | 132 | 114 | 108 | 108 | 80 | 80 | 56 | 56 | 24 | 15 |
| TPC’ler | 66 | 57 | 54 | 54 | 40 | 40 | 28 | 28 | 24 | 15 |
| SM Başına FP32 CUDA Çekirdek Sayısı | 128 | 128 | 64 | 64 | 64 | 64 | 64 | 64 | 128 | 192 |
| FP64 CUDA Çekirdekleri / SM | 128 | 128 | 32 | 32 | 32 | 32 | 32 | 32 | 4 | 64 |
| FP32 CUDA Çekirdekleri | 16896 | 14592 | 6912 | 6912 | 5120 | 5120 | 3584 | 3584 | 3072 | 2880 |
| FP64 CUDA Çekirdekleri | 16896 | 14592 | 3456 | 3456 | 2560 | 2560 | 1792 | 1792 | 96 | 960 |
| Tensör Çekirdekleri | 528 | 456 | 432 | 432 | 640 | 640 | Yok | Yok | Yok | Yok |
| Doku Birimleri | 528 | 456 | 432 | 432 | 320 | 320 | 224 | 224 | 192 | 240 |
| Saati Yükselt | TBD | TBD | 1410MHz | 1410MHz | 1601 MHz | 1530MHz | 1480MHz | 1329MHz | 1114MHz | 875MHz |
| TOP’lar (DNN/AI) | 2000 TOP 4000 TOP |
1600 TOP 3200 TOP |
1248 TOP Seyreklik ile 2496 TOP |
1248 TOP Seyreklik ile 2496 TOP |
130 TOP | 125 TOP | Yok | Yok | Yok | Yok |
| FP16 Hesaplama | 2000 TFLOP | 1600 TFLOP | 312 TFLOP Seyreklik ile 624 TFLOP |
312 TFLOP Seyreklik ile 624 TFLOP |
32.8 TFLOP | 30,4 TFLOP | 21.2 TFLOP’lar | 18.7 TFLOP’lar | Yok | Yok |
| FP32 Hesaplama | 1000 TFLOP | 800 TFLOP | 156 TFLOP (19,5 tipik TFLOP) |
156 TFLOP (19,5 tipik TFLOP) |
16.4 TFLOP’lar | 15.7 TFLOP’lar | 10.6 TFLOP’lar | 10.0 TFLOP | 6.8 TFLOP’lar | 5.04 TFLOP |
| FP64 Hesaplama | 60 TFLOP | 48 TFLOP | 19.5 TFLOP (9,7 standart TFLOP’lar) |
19.5 TFLOP (9,7 standart TFLOP’lar) |
8.2 TFLOP’lar | 7.80 TFLOP | 5.30 TFLOP | 4.7 TFLOP | 0,2 TFLOP | 1.68 TFLOP |
| Bellek Arayüzü | 5120 bit HBM3 | 5120 bit HBM2e | 6144 bit HBM2e | 6144 bit HBM2e | 4096 bit HBM2 | 4096 bit HBM2 | 4096 bit HBM2 | 4096 bit HBM2 | 384 bit GDDR5 | 384 bit GDDR5 |
| Hafıza boyutu | 80 GB’a kadar HBM3 @ 3.0 Gbps | 80 GB’a kadar HBM2e @ 2.0 Gbps | 40 GB’a kadar HBM2 @ 1,6 TB/sn 80 GB’a kadar HBM2 @ 1,6 TB/sn |
40 GB’a kadar HBM2 @ 1,6 TB/sn 80 GB’a kadar HBM2 @ 2,0 TB/sn |
16 GB HBM2 @ 1134 GB/sn | 16GB HBM2 @ 900GB/sn | 16 GB HBM2 @ 732 GB/sn | 16 GB HBM2 @ 732 GB/sn 12 GB HBM2 @ 549 GB/sn |
24 GB GDDR5 @ 288 GB/sn | 12GB GDDR5 @ 288GB/sn |
| L2 Önbellek Boyutu | 51200 KB | 51200 KB | 40960 KB | 40960 KB | 6144 KB | 6144 KB | 4096 KB | 4096 KB | 3072 KB | 1536 KB |
| Pasifik yaz saati | 700W | 350W | 400W | 250W | 250W | 300W | 300W | 250W | 250W | 235W |