Yapay zeka uygulamaları günümüzde büyük bir hızda ilerliyor. Ses tanıma, görüntü işleme, kod yazma…
Peki bu kadar çok işlemi gerçekleştiren arka planda ne tür donanımlar bu yükü çekiyor? Bu noktada karşımıza GPU, LPU, TPU ve NPU donanımları karşımıza çıkıyor. Bu donanımlardan en aşina olduğumuz GPU. Peki LPU, TPU ve NPU nedir?
GPU: Kritik AI Oyuncusu
GPU’lar hepimizin bildiği gibi ilk başta grafik işleme yongası olarak üretildi. Özellikle çoklu veri işleme özellikleri sayesinde günümüzde AI dünyasının en kritik oyuncusu oldular.
Nasıl Çalışırlar?
GPU’lar, CPU’ların aksine içerisinde daha fazla iş parçacığı barındırır. Bu sayede CPU’ların aksine daha karmaşık işlemleri daha hızlı gerçekleştirir.
Bu kompleks yapı sayesinde de günümüz LLM’lerin veri öğrenme setlerinde özellikle tercih ediliyor. GPT, Claude, Llama gibi popüler AI ürünleri hali hazırda GPU kartları kullanıyor.
Faydaları ve Artıları
- Yüksek Paralel İşleme: GPU sunucuları aynı anda birçok görevi halledebilir. Bu özellik sayesinde görüntü tanıma, doğal dil işleme (NLP) ve büyük veri setlerini öğrenmede avantajlıdır.
- Ekosistem: TensorFlow, PyTorch gibi bir çok popüler AI Frameworkleri GPU’lar için optimize edilmiştir.
- Esneklik: Bilimsel hesaplama, görüntü işleme, derin öğrenme (Deep Learning), bilimsel simülasyon ve kripto para madenciliği gibi yüksek hız ve çoklu görevlerde daha başarılıdır.
Dezavantajları
- Güç Tüketimi: GPU’lar kendi içerisinde çok fazla çekirdek barındırdığı için fazla güç tüketir.
- Maliyet: Karmaşık görevler için görevlendirilen GPU’lar ölçeklendikçe maliyetlerde hızla artıyor.
- Uzmanlaşma: GPU’lar her ne kadar esnek ve çok yönlü olsalar da, doğal dil işleme (NLP) için gereken sıralı ve bağlamsal işleme göre optimize edilmemiştir.
LPU: LLM’lerin Turbo Motorları
LPU (Language Processing Unit) çok net bir amaç için oluşturuldu. GPU’ların aksine LLM eğitimleri, görüntü veya video işleme yerine tek görevleri AI ve ML öğrenim görevleri için özel olarak tasarlandı.
Tıpkı GPU’lar gibi yüksek derece de paralel işleme özelliğini barındıran LPU’ların, GPU’lardan en büyük farkı, en başından beri insan dilini işlemek ve anlamak üzere dizayn edilmiş olmalarıdır.
Nasıl Çalışırlar?
LPU’lar özellikle matris çarpımları ile nöral ağların hesaplamaları için tasarlandı. Özellikle bu tip işlemler için tasarlanmalarından dolayı GPU’lara nazaran daha hızlıdırlar.
LPU’lar içerisinde optimize edilmiş nöral ağ katmanları, dikkat mekanizmaları ve bellek modülleri içerir.
İçerisinde ki katmanlar şu şekildedir:
- Gömme Katmanı (Embedding Layers): Metni sayısal gösterimlere, yani “bilgisayarlar” tarafından anlaşılabilecek, anlamını ve ilişkilerini matematiksel bir sayı listesine, diğer bir deyiş ile vektörlere dönüştürür.
- Dönüştürücü Katman (Transformer Layers): Bağlamsal anlayışlar sağlanır.
- Dikkat Mekanizması (Attention Mechanisms): Girişin ilgili kısımlara odaklanmasını sağlar.
Faydaları ve Artıları
- Uzmanlaşma: LPU’ler, yapay zeka iş yükleri için özel üretildiği için bu tip görevleri GPU’lu sunuculara nazaran daha verimli bir şekilde işleyebilirler. Özellikle karmaşık nöral ağ hesaplamalarında GPU’lara göre daha uygundurlar.
- Enerji: LPU’lar, GPU’lara nazaran enerji tüketiminde daha verimlidir. Bu durum, özellikle sürekli işlem gerektiren büyük ölçekli LLM’lerde düşük işletme maliyeti sağlar.
- Ölçeklenebilirlik: LPU’lar, AI iş yüklerinde ölçeklendirilmek üzere tasarlanmasından dolayı, karmaşık LLM görevlerini daha verimli bir şekilde ölçeklendirilebilir.
- Dil ve Bağlamsal Farkındalık: LPU’lar, bu tip işlemler için tasarlanmalarından dolayı dil modellerinin bağlamsal farkındalıkla daha iyi anlar. Bu sayede de işleme ve üretme konusunda daha performanslıdır.
Dezavantajları
- Ekosistem: LPU’lar, GPU’lara nazaran daha yeni bir teknoloji olmasından dolayı framework uyumluluğunda sorun yaşanabilir. Mevcut sistemlere entegrasyonları için ara katmanlar veya özelleştirmeler gerekebilir.
- Maliyet: Özellikle teknolojik farklılıklardan dolayı, mevcut yapıya uyum sorunu olabileceğinden dolayı başlangıç maliyetleri yüksek olabilir.
- Erişebilirlik: GPU sunuculara nazaran daha az yaygın olmasından dolayı bu tip sunuculara erişim daha zor olabilir.
- Sınırlı Kapsam: NLP dışında görevlerde kullanım alanları sınırlıdır. Özellikle SEAL gibi diğer makine öğrenimleri için ek donanımlara veya katmanlara ihtiyaç duyabilirler.
TPU: Powered by Google
Google tarafından geliştirilen TPU (Tensor Processing Unit) donanımlarının amacı ise AI modellerinin eğitimlerini daha verimli hale getirmek. GCP (Google Cloud Platform) üzerinden ulaşılabilinen bu kümelere kendi LLM’lerinizi hızlıca eğitebilirsiniz.
NPU: Cebimizde ki AI
NPU’lar (Neural Processing Unit) telefon gibi son kullanıcı cihazlarında bulunan küçük AI yardımcılarıdır. Bir GPU gibi ChatGPT vs. çalıştıramaz ama yüz tanıma, fotoğraf iyileştirme, canlı çeviri gibi günlük hayatımızı kolaylaştıran işlemlerin yapılmasını sağlamaktadır.
