NVIDIA, 2025 yılında Büyük Dil Modelleri (LLM) eğitimi, gerçek zamanlı çıkarım (inference) ve Agentic AI gibi yüksek işlem gücü gerektiren operasyonlar için tasarlanan yeni altyapı sistemi DGX B300‘ü tanıttı. Blackwell Ultramimarisi üzerine inşa edilen bu yeni “full-stack” yapay zeka çözümü; Hopper (H100/H200) ve standart Blackwell (B200) sistemlerine kıyasla çok daha yüksek bellek kapasitesi ve işlem gücü sunuyor.
Temel Özellikler
Sistemde varsayılan olarak gelen 8 adet B300 GPU sayesinde önce ki seri olan B200’lere göre compute gücünde %55 daha hızlı. B200’ün FP4 (4 Bit Floating Point) değeri 9 PFLOPS iken B300’de 14 PFLOPS olarak karşımıza çıkıyor. Ayrıca B200’de 180 GB GPU Memory bulunurken, B300’de 288 GB GPU Memory‘i bulunmakta. 8 kartın olduğunu göz önüne aldığımızda ise toplamda 2.3 TB HBM3e belleğe ulaşıyor.
Üstelik 5. nesil NVLink teknolojisini kullanmasından dolayı, GPU’lar arası veri aktarımı saniyede 14.4 TB‘a kadar ulaşabiliyor. Bu da GPU’lar arasında darboğazların oluşmasını engelliyor.
Ayrıca sistem yönetimi için iki adet Intel Xeon Platinum 6776P ve 2 TB Ram bulunuyor. Ağ kartı olarak ise ConnectX-8 ile 800 Gb/s veri transferi sunuyor.
DGX B300 Farkı
Özellikle piyasa da sıkça duyulan Hopper mimarisine göre inference işlemlerinde 11 kat, eğitim görevlerinde ise 4 kat daha hızlı.
DGX B300, 14,5 kW‘a kadar enerji harcayabiliyor. B200’lere göre daha fazla enerji tüketen B300’ler watt başına en performanslı AI Full-Stack donanımı olarak karşımıza çıkıyor. Tabii daha fazla güç demek daha fazla ısınma demektir. Burada da veri merkezleri için hem hava, hem sıvı soğutma olarak alternatifleri bulunuyor.
Yazılım Ekosistemi ve Framework Desteği
DGX B300, LLm ve AI sektörünün standartı haline gelmiş olan PyTorch ve TensorFlow öğrenme ve TensorRT & TensorRT-LLM inference kütüphanelerini destekliyor. Ayrıca NVIDIA’nın LLM, ses ve video modellerini geliştirmek için uçtan uca destekleyen platformu olan NeMo’yu da içerisinde barındırıyor.
