GPU dünyasının bir numarası NVIDIA, düzenlediği bir aktiflikte yeni çipini duyurdu. Yapay zekâ odaklı bu çip, NVIDIA’nın multitrilyonluk bir firma olmasını sağlayan H100’den çok daha iyi. Hatta NVIDIA, “dünyanın en güzel yapay zekâ odaklı çipini” ürettiğini tüm dünyaya ilan etmiş durumda. Pekala NVIDIA’nın yeni çipleri, yapay zekâ geliştiricilerine neler vadediyor?
NVIDIA tarafından yapılan açıklamaya göre Blackwell B200 GPU isimli çip, tam 208 milyar adet transistör ile donatıldı. Bu da çipin 20 petaflop güç üretmesini sağlıyor. Şirkete nazaran bu çipte kullanılan yeni kuşak transistör motoru, her nöron için 4 bitlik sistem kullanıyor. Bu da bilgi süreç, bant genişliği ve model boyutunun ikiye katlandığı anlamına geliyor.
NVIDIA H100’den 25 kat verimli!
*Solda Blackwell B200 GPU, sağda ise H100.
NVIDIA tarafından yapılan açıklamaya nazaran iki adet Blackwell B200 GPU’yu bir Grace CPU ile birleştirdiği, “GB200” isimli bir yonga kümesi oluşturdu. Şirketin açıklamasına nazaran bu yonga kümesi, H100’den 30 kat daha performanslı. Üstelik bir o kadar da verimli. NVIDIA’ya göre maliyet ve güç tüketimi, H100’e kıyasla 25 kata kadar azalacak.
Diyelim ki elimizde 18 trilyon parametreli (GPT-4’ün yaklaşık 1,7 trilyon parametreli) bir yapay zekâ modeli var. NVIDIA’ya nazaran bu yapay zekâ modelini eğitmek için 8.000 adet Hopper GPU ve 15 megawatt’lık güç tüketimine muhtaçlık duyuluyor. Birebir eğitim, 2.000 adet Blackwell B200 GPU ve 4 megawatt enerji tüketimi ile de verilebilecek. Yeni çipin ne kadar verimli olduğunu buradan da anlayabilirsiniz.
*NVIDIA G200 yonga kümesi.
NVIDIA’ya nazaran geçmişte üretilen 16 GPU’lu yapay zekâ yonga kümesi, vaktinin yüzde 60’ını irtibat kurmak, yüzde 40’ını da bilgi süreç yapmak için harcıyordu. Yeni yonga kümesi, bunu da ortadan kaldırıyor. Şirket; GB200’de birbirine bağlanan 576 GPU’nun, saniyede 1,8 terabayt çift istikametli bant genişliğine sahip yeni bir irtibat sistemi oluşturdu.
*NVIDIA GB200 NVL72.
NVIDIA’nın fikrine nazaran yapay zekâ geliştiren büyük şirketler, tek bir Blackwell B200 GPU satın almayacaklar. Hâl bu türlü olunca 36 CPU ve 72 GPU‘luk farklı seçeneklere sahip olan paketler oluşturuldu. Bu bağlamda; NVIDIA GB200 NVL72 de onlardan bir tanesi. Kendinden sıvı soğutmalı paket, toplamda 720 petaflop güç üretebiliyor. Üstte gördüğünüz sistemin içinde 5.000 başka kablo bulunuyor. Bu kabloların toplam uzunluğu, 3,22 kilometre. Geliştiriciler, bu sistemi 27 trilyon parametreli bir model için kullanabilecekler.
NVIDIA, daha şimdiden GB200 NVL72 sattı bile. Yeni sistemin alıcısı ise varsayım edilebileceği üzere Oracle, Microsoft ve Google oldu. Lakin firma, şu an için kaç NVL72 sattığını açıklamadı. Bu ortada; NVIDIA, bu sistemin çok daha gelişmiş versiyonlarını da satacak. Zira şirket, GB200’ü on binlercesi bağlanacak biçimde tasarladı.