Yapay Zekâ Bilgisayarda Nasıl Çalışır? GPU Neden Önemlidir?

Yapay zekâ uygulamalarının yaygınlaşmasıyla birlikte bilgisayar donanımlarının yapay zekâ performansına etkisi daha fazla merak edilmeye başladı. Özellikle ChatGPT benzeri dil modelleri, yapay zekâ ile görsel oluşturma araçları ve yerel olarak çalışan yapay zekâ modelleri söz konusu olduğunda ekran kartı yani GPU sürekli gündeme geliyor.

Peki yapay zekâ bilgisayarda nasıl çalışır? İşlemci neden tek başına yeterli olmayabilir ve NVIDIA ekran kartları yapay zekâ uygulamalarında neden bu kadar sık kullanılır?

Yapay zekâ modellerinin temelinde çok büyük miktarda matematiksel hesaplama bulunur. Modern yapay sinir ağları milyonlarca hatta milyarlarca parametre içerebilir. Model çalışırken bu parametreler üzerinde çok sayıda matris ve tensör işlemi gerçekleştirilir.

GPU’lar aynı anda çok sayıda matematiksel işlemi paralel şekilde gerçekleştirebildikleri için yapay zekâ hesaplamalarında önemli bir avantaj sağlar.

Bu yazıda yapay zekânın bilgisayar donanımı üzerinde nasıl çalıştığını ve GPU’nun neden önemli olduğunu teknik ancak anlaşılır şekilde inceleyeceğiz.

Yapay Zekâ Bilgisayarda Gerçekte Ne Yapıyor?

Bir yapay zekâ modeli bilgisayarda çalışırken “düşünen” fiziksel bir yapı bulunmaz.

Temel olarak çok büyük miktarda matematiksel işlem gerçekleştirilir.

Modern yapay zekâ modellerinde:

• Matris çarpımları
• Vektör işlemleri
• Tensör hesaplamaları
• Aktivasyon fonksiyonları
• Olasılık hesaplamaları

çok yoğun şekilde kullanılır.

Örneğin bir yapay sinir ağındaki basit bir işlem matematiksel olarak şu şekilde düşünülebilir:

Girdi × Ağırlık + Bias

Ortaya çıkan değer bir aktivasyon fonksiyonundan geçirilebilir.

Bu işlem tek bir yapay nöronda basit görünebilir.

Ancak modern yapay zekâ modellerinde bu işlemler milyonlarca veya milyarlarca kez gerçekleştirilebilir.

Bilgisayarın görevi bu matematiksel işlemleri mümkün olduğunca hızlı gerçekleştirmektir.

Yapay Sinir Ağı Nedir?

Yapay sinir ağı insan beynindeki biyolojik sinir ağlarından esinlenen matematiksel bir modeldir.

Bir yapay sinir ağı genellikle katmanlardan oluşur.

Basit şekilde:

Girdi katmanı

↓

Gizli katmanlar

↓

Çıktı katmanı

olarak düşünülebilir.

Her katmanda çok sayıda matematiksel düğüm bulunabilir.

Bu düğümlere genellikle:

Yapay nöron

denir.

Bir yapay nöron kendisine gelen sayısal verileri işler.

Ağırlık değerleriyle çarpar.

Sonuçları toplar.

Bir aktivasyon fonksiyonu uygular.

Ortaya çıkan sonucu sonraki katmana gönderir.

Yapay Zekâ Verileri Sayı Olarak mı Görür?

Evet.

Bilgisayar metni, görüntüyü veya sesi doğrudan insan gibi algılamaz.

Veriler sayısal değerlere dönüştürülür.

Bir görüntü piksellerden oluşur.

Her piksel sayısal renk değerlerine sahiptir.

Örneğin RGB görüntüde bir piksel:

Kırmızı = 255

Yeşil = 120

Mavi = 30

gibi sayılarla temsil edilebilir.

Metin tabanlı yapay zekâ sistemlerinde kelimeler veya kelime parçaları token adı verilen birimlere ayrılabilir.

Tokenlar sayısal kimliklere dönüştürülür.

Daha sonra bu değerler yüksek boyutlu vektörlerle temsil edilebilir.

Yapay zekâ modeli temel olarak bu sayısal veriler üzerinde matematiksel işlemler gerçekleştirir.

Token Nedir?

Token, dil modellerinin metni işlemek için kullandığı temel birimlerden biridir.

Bir token her zaman tam bir kelime olmak zorunda değildir.

Örneğin bir kelime birkaç tokena ayrılabilir.

Noktalama işaretleri ayrı tokenlar olabilir.

Model metni tokenlara ayırır.

Her token sayısal bir kimlikle temsil edilir.

Daha sonra tokenlar:

Embedding

adı verilen sayısal vektörlere dönüştürülür.

Bu vektörler modelin matematiksel hesaplamalarında kullanılır.

ChatGPT benzeri büyük dil modelleri doğrudan harfleri okuyarak çalışmaz.

Metni sayısal yapılara dönüştürerek işler.

Yapay Zekâ Modeli Nedir?

Yapay zekâ modeli eğitim sonucunda oluşturulan büyük bir matematiksel yapıdır.

Model içerisinde:

Parametreler

bulunur.

Parametreler modelin öğrendiği sayısal ağırlık değerleridir.

Bir model milyonlarca veya milyarlarca parametre içerebilir.

Örneğin çok büyük dil modellerinde parametre sayısı milyarlar seviyesinde olabilir.

Model çalıştırıldığında giriş verisi bu parametrelerle birlikte işlenir.

Ortaya çıkan hesaplama sonucunda model bir çıktı üretir.

Metin modelinde bu çıktı bir sonraki tokenın olasılık dağılımı olabilir.

Görüntü modelinde ise görüntü verisini oluşturan sayısal değerler hesaplanabilir.

Yapay Zekâ Eğitimi Nedir?

Yapay zekâ eğitimi model parametrelerinin veri kullanılarak ayarlanması sürecidir.

Başlangıçta model ağırlıkları anlamlı sonuçlar üretmeyebilir.

Modele eğitim verileri gösterilir.

Model bir tahmin üretir.

Tahmin ile beklenen sonuç arasındaki fark hesaplanır.

Bu fark:

Loss

yani:

Kayıp değeri

ile ölçülebilir.

Amaç kayıp değerini azaltmaktır.

Model ağırlıkları matematiksel optimizasyon yöntemleriyle güncellenir.

Bu süreç milyonlarca veya milyarlarca kez tekrar edilebilir.

Backpropagation Nedir?

Backpropagation yapay sinir ağlarının eğitiminde kullanılan temel yöntemlerden biridir.

Türkçede:

Geri yayılım

olarak ifade edilir.

Model bir çıktı üretir.

Çıktının hatası hesaplanır.

Daha sonra hata bilgisi ağın katmanları boyunca geriye doğru hesaplanır.

Her parametrenin hataya ne kadar katkı sağladığı belirlenmeye çalışılır.

Bu hesaplamalarda türev ve gradyan işlemleri kullanılır.

Daha sonra optimizer model ağırlıklarını günceller.

Basit şekilde:

Tahmin

↓

Hata hesaplama

↓

Geri yayılım

↓

Ağırlıkları güncelleme

↓

Yeni tahmin

şeklinde bir eğitim döngüsü oluşur.

Yapay Zekâ Eğitimi Neden Çok Güç İster?

Modern yapay zekâ modelleri çok büyük sayıda parametre içerebilir.

Her eğitim adımında:

• İleri hesaplama
• Hata hesaplama
• Geri yayılım
• Parametre güncelleme

işlemleri gerçekleştirilir.

Bu işlemler çok büyük matrisler üzerinde yapılabilir.

Ayrıca eğitim veri seti milyarlarca token veya milyonlarca görüntü içerebilir.

Aynı matematiksel işlemlerin çok büyük ölçekte tekrar edilmesi gerekir.

Bu nedenle büyük yapay zekâ modellerinin eğitimi çok yüksek hesaplama gücü gerektirir.

Tek bir normal masaüstü bilgisayar büyük modellerin eğitiminde yeterli olmayabilir.

CPU Yapay Zekâ Çalıştırabilir mi?

Evet.

Yapay zekâ modelleri CPU üzerinde çalıştırılabilir.

CPU matematiksel işlemleri gerçekleştirebilir.

Özellikle küçük modeller CPU üzerinde kullanılabilir.

Ancak büyük yapay sinir ağlarında CPU performansı sınırlayıcı olabilir.

Bunun temel nedeni yapay zekâ hesaplamalarının büyük bölümünün paralel işlem yapısına uygun olmasıdır.

CPU az sayıda güçlü işlem çekirdeğine sahiptir.

GPU ise çok daha fazla sayıda paralel işlem birimine sahip olabilir.

Bu nedenle büyük matris işlemlerinde GPU önemli performans avantajı sağlayabilir.

CPU ile GPU Arasındaki Temel Fark Nedir?

CPU genel amaçlı işlemci olarak tasarlanmıştır.

İşletim sistemi çalıştırır.

Program komutlarını yürütür.

Karmaşık ve farklı türde işlemleri gerçekleştirir.

CPU çekirdekleri güçlü ve esnektir.

GPU ise başlangıçta grafik işlemleri için geliştirilmiştir.

Bir görüntü oluşturulurken milyonlarca piksel üzerinde benzer matematiksel işlemler yapılması gerekir.

Bu nedenle GPU’lar paralel işlem yapısına sahiptir.

Basit karşılaştırma:

CPU = Az sayıda güçlü ve genel amaçlı çekirdek

GPU = Çok sayıda paralel işlem birimi

Yapay zekâ hesaplamaları büyük ölçüde paralel matematiksel işlemler içerdiği için GPU mimarisi bu iş yüklerine uygundur.

GPU Yapay Zekâda Neden Daha Hızlıdır?

Bir yapay zekâ modelinde büyük matrislerin çarpılması gerektiğini düşünelim.

CPU işlemleri belirli sayıda çekirdekle gerçekleştirir.

GPU ise çok sayıda işlem birimini aynı anda kullanabilir.

Örneğin binlerce küçük matematiksel işlem paralel şekilde yürütülebilir.

Bu durum özellikle:

• Matris çarpımı
• Tensör işlemleri
• Derin öğrenme
• Görüntü işleme

iş yüklerinde büyük avantaj sağlar.

GPU’nun yapay zekâdaki gücü tek bir çekirdeğin CPU’dan daha hızlı olması değildir.

Avantaj:

Çok büyük miktarda işlemi paralel gerçekleştirebilmesidir.

Matris Çarpımı Yapay Zekâ İçin Neden Önemlidir?

Yapay sinir ağlarında veriler ve model ağırlıkları matrisler halinde temsil edilebilir.

Bir katmanın temel işlemi basitleştirilmiş şekilde:

Y = XW + B

olarak gösterilebilir.

Burada:

X = Girdi verisi

W = Model ağırlıkları

B = Bias

Y = Katman çıktısı

anlamına gelir.

X ve W çok büyük matrisler olabilir.

Bu matrislerin çarpılması çok sayıda çarpma ve toplama işlemi gerektirir.

GPU’lar bu tür hesaplamaları paralel şekilde gerçekleştirebildiği için yapay zekâ uygulamalarında yüksek performans sağlar.

Tensor Nedir?

Tensor çok boyutlu sayısal veri yapısıdır.

Basit şekilde:

0 boyut = Scalar

1 boyut = Vector

2 boyut = Matrix

3 veya daha fazla boyut = Tensor

olarak düşünülebilir.

Örneğin bir renkli görüntü:

Yükseklik × Genişlik × Renk kanalı

şeklinde üç boyutlu bir tensor olarak temsil edilebilir.

Video verisi:

Kare × Yükseklik × Genişlik × Renk kanalı

şeklinde daha yüksek boyutlu bir tensor olabilir.

Yapay zekâ kütüphaneleri verileri tensor yapıları içerisinde işler.

NVIDIA Tensor Core Nedir?

Tensor Core, NVIDIA tarafından belirli GPU mimarilerinde bulunan özel hesaplama birimleridir.

Tensor Core’lar özellikle matris ve tensor işlemlerini hızlandırmak için tasarlanmıştır.

Yapay zekâ uygulamalarında kullanılan:

• FP16
• BF16
• TF32
• INT8
• FP8

gibi farklı sayısal formatlarda yüksek performans sağlayabilirler.

Desteklenen formatlar GPU nesline göre değişebilir.

Tensor Core’lar özellikle derin öğrenme eğitimi ve inference işlemlerinde önemli performans avantajı sağlayabilir.

CUDA Nedir?

CUDA, NVIDIA tarafından geliştirilen paralel hesaplama platformu ve programlama modelidir.

CUDA sayesinde geliştiriciler NVIDIA GPU’larını yalnızca grafik işlemleri için değil genel amaçlı hesaplamalar için de kullanabilir.

Yapay zekâ kütüphaneleri CUDA üzerinden GPU üzerinde hesaplama gerçekleştirebilir.

Örneğin birçok yapay zekâ yazılımı NVIDIA GPU algıladığında hesaplamaları CUDA destekli ekran kartına aktarabilir.

CUDA ekosisteminin uzun yıllardır geliştirilmesi NVIDIA ekran kartlarının yapay zekâ uygulamalarında yaygın kullanılmasının önemli nedenlerinden biridir.

NVIDIA Ekran Kartları Yapay Zekâda Neden Popüler?

NVIDIA GPU’ların yapay zekâ alanında yaygın kullanılmasının birkaç nedeni vardır.

Bunlardan en önemlisi CUDA ekosistemidir.

Birçok yapay zekâ kütüphanesi ve uygulaması CUDA için güçlü optimizasyonlara sahiptir.

Ayrıca NVIDIA GPU’larda Tensor Core gibi özel hesaplama birimleri bulunabilir.

Yapay zekâ geliştiricileri uzun yıllardır NVIDIA donanımlarını kullandığı için büyük bir yazılım ekosistemi oluşmuştur.

Bu nedenle bazı yapay zekâ programlarında NVIDIA ekran kartı kurulumu AMD veya diğer GPU çözümlerine göre daha kolay olabilir.

Bu durum diğer GPU’ların yapay zekâ çalıştıramadığı anlamına gelmez.

Ancak yazılım desteği ve uyumluluk önemli bir faktördür.

AMD Ekran Kartı Yapay Zekâ Çalıştırabilir mi?

Evet.

AMD GPU’lar yapay zekâ hesaplamalarında kullanılabilir.

AMD’nin:

ROCm

adı verilen GPU hesaplama platformu bulunmaktadır.

Bazı yapay zekâ kütüphaneleri ROCm desteği sunar.

Ayrıca DirectML ve farklı hesaplama altyapıları kullanılabilir.

Ancak kullanılan işletim sistemi, GPU modeli ve yapay zekâ yazılımına bağlı olarak uyumluluk değişebilir.

Bazı yerel yapay zekâ uygulamaları NVIDIA CUDA için daha hazır ve kolay kurulum sunabilir.

Bu nedenle kullanıcılar özellikle Windows ortamında NVIDIA GPU’ları daha sık tercih edebilir.

VRAM Yapay Zekâ İçin Neden Önemlidir?

VRAM ekran kartının kendi yüksek hızlı belleğidir.

Yapay zekâ modeli GPU üzerinde çalıştırıldığında model parametrelerinin önemli bir bölümü VRAM’e yüklenebilir.

Ayrıca:

• Aktivasyon verileri
• Tensorlar
• KV Cache
• Geçici hesaplama verileri

VRAM kullanabilir.

Model VRAM kapasitesine sığmazsa performans sorunları oluşabilir.

Modelin bir bölümü sistem RAM’ine aktarılabilir.

CPU ve GPU arasında veri transferi artabilir.

Bazı uygulamalar modeli hiç çalıştıramayabilir.

Bu nedenle yapay zekâ uygulamalarında yalnızca GPU işlem gücü değil:

VRAM kapasitesi

de çok önemlidir.

4 GB VRAM Yapay Zekâ İçin Yeterli mi?

Kullanılacak modele bağlıdır.

4 GB VRAM küçük yapay zekâ modelleri ve bazı optimize edilmiş görüntü üretim sistemleri için kullanılabilir.

Ancak modern büyük modellerde ciddi sınırlamalar oluşabilir.

Örneğin RTX 3050 Laptop GPU 4 GB VRAM’e sahip bir bilgisayarda küçük veya quantize edilmiş dil modelleri çalıştırılabilir.

Bazı Stable Diffusion modelleri düşük VRAM optimizasyonlarıyla kullanılabilir.

Ancak büyük görüntü modelleri ve yüksek çözünürlük işlemleri VRAM sınırına ulaşabilir.

Büyük dil modellerinin tamamını GPU’ya yüklemek mümkün olmayabilir.

Bu durumda modelin bir bölümü CPU ve sistem RAM’i üzerinde çalıştırılabilir.

8 GB VRAM Yapay Zekâ İçin Yeterli mi?

8 GB VRAM yerel yapay zekâ kullanımı için 4 GB’a göre çok daha rahat bir alan sağlar.

Birçok küçük ve orta ölçekli model quantization kullanılarak çalıştırılabilir.

Stable Diffusion gibi görüntü üretim sistemlerinde daha yüksek çözünürlük ve farklı modeller kullanılabilir.

Ancak çok büyük dil modelleri veya yüksek çözünürlüklü video üretim modellerinde 8 GB VRAM yine sınırlayıcı olabilir.

Yapay zekâ için ekran kartı seçerken yalnızca GPU modeline değil VRAM kapasitesine de bakmak gerekir.

Yapay Zekâ Sistem RAM’ini Kullanabilir mi?

Evet.

Yerel yapay zekâ modelleri sistem RAM’ini kullanabilir.

Özellikle CPU üzerinde çalışan dil modellerinde model tamamen RAM’e yüklenebilir.

GPU kullanılırken de bazı sistemlerde modelin bir bölümü VRAM’de, bir bölümü RAM’de tutulabilir.

Bu yöntem:

CPU Offloading

veya:

GPU Offloading

gibi kavramlarla ilişkilendirilebilir.

Ancak sistem RAM’i ile GPU VRAM’i aynı performansa sahip değildir.

GPU’nun VRAM’i yüksek bant genişliğiyle GPU hesaplama birimlerine bağlıdır.

Sistem RAM’inden GPU’ya veri aktarımı daha yavaş olabilir.

Bu nedenle VRAM yetersizliği performansı ciddi şekilde düşürebilir.

Yapay Zekâ SSD Kullanır mı?

Evet.

Yapay zekâ modelleri disk üzerinde dosya olarak saklanır.

Model dosyaları birkaç gigabayttan yüzlerce gigabayta kadar çıkabilir.

Program başlatıldığında model SSD’den RAM veya VRAM’e yüklenir.

Hızlı NVMe SSD model yükleme süresini azaltabilir.

Ancak model tamamen RAM veya VRAM’e yüklendikten sonra inference performansını genellikle GPU veya CPU belirler.

SSD’nin hızlı olması ekran kartının hesaplama hızını artırmaz.

Ancak model açılış ve yükleme sürelerini iyileştirebilir.

Inference Nedir?

Inference eğitilmiş bir yapay zekâ modelinin yeni bir girdi üzerinde sonuç üretmesidir.

Türkçede:

Çıkarım

olarak ifade edilir.

Örneğin bir dil modeline:

“Türkiye’nin başkenti neresi?”

sorusunu yazdığımızda modelin cevap üretmesi inference işlemidir.

Bir görüntü modeline prompt vererek görsel oluşturmak da inference işlemidir.

Inference genellikle model eğitiminden daha az hesaplama gücü gerektirir.

Bu nedenle büyük bir modeli eğitemeyen bir bilgisayar aynı modelin optimize edilmiş sürümünü çalıştırabilir.

Quantization Nedir?

Quantization model ağırlıklarının daha düşük hassasiyetli sayısal formatlarda saklanması ve işlenmesidir.

Örneğin model ağırlıkları:

FP32

yerine:

FP16

veya daha düşük bit seviyelerinde temsil edilebilir.

Yerel dil modellerinde:

• 8-bit
• 6-bit
• 5-bit
• 4-bit

quantization yöntemleri yaygın olarak kullanılabilir.

Daha düşük bit kullanımı modelin RAM ve VRAM ihtiyacını azaltabilir.

Ancak model kalitesinde belirli seviyede kayıp oluşabilir.

Modern quantization yöntemleri kalite kaybını mümkün olduğunca azaltmaya çalışır.

7B Model Ne Demek?

Yapay zekâ model isimlerinde görülen:

7B

ifadesindeki B:

Billion

yani:

Milyar

anlamına gelir.

7B model yaklaşık 7 milyar parametreye sahip olabilir.

Benzer şekilde:

13B = Yaklaşık 13 milyar parametre

70B = Yaklaşık 70 milyar parametre

anlamına gelir.

Parametre sayısı arttıkça modelin bellek ihtiyacı genellikle artar.

Ancak model performansını yalnızca parametre sayısı belirlemez.

Model mimarisi, eğitim verisi ve eğitim yöntemi de son derece önemlidir.

Yapay Zekâ Ekran Kartını Yüzde 100 Kullanır mı?

Evet.

Yoğun yapay zekâ hesaplamalarında GPU kullanımının yüzde 100 seviyesine ulaşması normal olabilir.

Özellikle:

• Görüntü oluşturma
• Model eğitimi
• Büyük dil modeli inference
• Video yapay zekâ işlemleri

sırasında GPU sürekli hesaplama yapabilir.

GPU sıcaklığı ve güç tüketimi yükselebilir.

Bu durum tek başına ekran kartında sorun olduğu anlamına gelmez.

Ancak sıcaklıkların ve soğutma sisteminin kontrol edilmesi önemlidir.

Laptop GPU’larında güç ve sıcaklık limitleri performansı etkileyebilir.

Yapay Zekâ İçin Laptop GPU Kullanılır mı?

Evet.

Laptop ekran kartları yapay zekâ uygulamalarında kullanılabilir.

Örneğin RTX 3050 Laptop GPU CUDA ve Tensor Core destekli bir GPU’dur.

Yerel dil modelleri ve görüntü üretim araçları çalıştırılabilir.

Ancak laptop GPU’larında:

• Düşük VRAM
• Güç limitleri
• Isı limitleri

masaüstü ekran kartlarına göre daha fazla sınırlama oluşturabilir.

Aynı GPU model adı farklı laptoplarda farklı TGP değerleriyle çalışabilir.

Bu nedenle yapay zekâ performansı yalnızca ekran kartı model adına bakılarak değerlendirilmemelidir.

NPU Nedir?

NPU:

Neural Processing Unit

anlamına gelir.

Yapay zekâ hesaplamaları için özel olarak tasarlanmış işlem birimidir.

Modern işlemcilerde NPU birimleri bulunabilir.

NPU özellikle düşük güç tüketimiyle belirli yapay zekâ görevlerini gerçekleştirmek için kullanılabilir.

Örneğin:

• Kamera efektleri
• Gürültü engelleme
• Arka plan bulanıklaştırma
• Yerel küçük yapay zekâ modelleri

NPU üzerinde çalıştırılabilir.

Ancak büyük yapay zekâ modellerinde güçlü GPU’lar hâlâ önemli performans avantajlarına sahip olabilir.

GPU mu NPU mu Daha Güçlü?

Bu tamamen iş yüküne bağlıdır.

GPU çok yüksek paralel hesaplama gücü sağlayabilir.

Büyük yapay zekâ modelleri ve yoğun tensor hesaplamaları için kullanılabilir.

NPU ise enerji verimliliğine odaklanabilir.

Laptoplarda sürekli çalışan küçük yapay zekâ görevlerini düşük güç tüketimiyle gerçekleştirebilir.

Basit şekilde:

GPU = Yüksek performanslı ağır yapay zekâ hesaplamaları

NPU = Düşük güç tüketimli yapay zekâ görevleri

olarak düşünülebilir.

Ancak NPU teknolojileri hızla gelişmektedir.

ChatGPT Benim Ekran Kartımı Kullanıyor mu?

ChatGPT’yi web tarayıcısından kullandığınızda büyük yapay zekâ modeli genellikle sizin bilgisayarınızda çalışmaz.

Siz mesajınızı internet üzerinden sunucuya gönderirsiniz.

Model veri merkezindeki güçlü hesaplama sistemlerinde çalışır.

Cevap tekrar bilgisayarınıza gönderilir.

Bu nedenle ChatGPT web sürümünü kullanırken RTX ekran kartınızın yapay zekâ modeli için yüzde 100 çalışması beklenmez.

Bilgisayarınız temel olarak:

• Web tarayıcısını
• Ekran görüntüsünü
• Ağ bağlantısını

yönetir.

Yerel yapay zekâ uygulamalarında ise model doğrudan bilgisayarınızdaki GPU’yu kullanabilir.

Yapay Zekâ Veri Merkezlerinde Nasıl Çalışıyor?

Büyük yapay zekâ modelleri tek bir normal ekran kartına sığmayabilir.

Bu nedenle veri merkezlerinde çok sayıda yüksek performanslı GPU veya yapay zekâ hızlandırıcısı kullanılır.

Model farklı cihazlara dağıtılabilir.

GPU’lar yüksek hızlı bağlantılar üzerinden haberleşebilir.

Birden fazla sunucu birlikte çalışabilir.

Bu sistemlere:

GPU Cluster

adı verilebilir.

Büyük model eğitiminde yüzlerce veya binlerce hızlandırıcı birlikte kullanılabilir.

Amaç büyük matematiksel hesaplamaları paralel şekilde gerçekleştirmektir.

Yapay Zekâ Neden Bu Kadar Elektrik Tüketiyor?

GPU’lar yüksek hesaplama gücü üretirken önemli miktarda elektrik tüketebilir.

Büyük yapay zekâ veri merkezlerinde çok sayıda GPU aynı anda çalışır.

Ayrıca yalnızca GPU’lar elektrik tüketmez.

Sunucuların:

• İşlemcileri
• Bellek sistemleri
• Ağ ekipmanları
• Veri depolama sistemleri

de enerji kullanır.

Büyük miktarda ısı oluşur.

Bu ısının uzaklaştırılması için soğutma sistemleri gerekir.

Bu nedenle yapay zekâ veri merkezlerinin enerji ve soğutma ihtiyacı önemli bir mühendislik konusu haline gelmiştir.

Yapay Zekâ İçin GPU Alırken Neye Bakılmalı?

Yapay zekâ için ekran kartı seçerken yalnızca oyun performansına bakmak yeterli değildir.

Önemli kriterler arasında:

• VRAM kapasitesi
• Bellek bant genişliği
• Tensor hesaplama performansı
• Yazılım desteği
• CUDA veya alternatif platform desteği
• Güç tüketimi

bulunur.

Yerel büyük dil modellerinde VRAM kapasitesi son derece önemlidir.

Görüntü üretim modellerinde hem VRAM hem GPU hesaplama performansı önemlidir.

Model eğitimi yapılacaksa bellek kapasitesi daha kritik hale gelebilir.

Bu nedenle “en yüksek FPS veren ekran kartı yapay zekâ için kesinlikle en iyidir” şeklinde bir değerlendirme her zaman doğru değildir.

Sonuç

Yapay zekâ bilgisayarda çalışırken temel olarak çok büyük miktarda matematiksel işlem gerçekleştirir.

Metin, görüntü ve ses verileri sayısal yapılara dönüştürülür. Yapay sinir ağları bu verileri milyonlarca veya milyarlarca parametre üzerinden işler.

Modern yapay zekâ modellerinde matris çarpımları ve tensor işlemleri yoğun şekilde kullanılır.

GPU’lar çok sayıda işlemi paralel olarak gerçekleştirebildikleri için yapay zekâ hesaplamalarında CPU’lara göre önemli performans avantajı sağlayabilir.

NVIDIA GPU’ların CUDA ekosistemi ve Tensor Core teknolojileri yapay zekâ uygulamalarında yaygın kullanılmalarının önemli nedenlerinden biridir.

Ancak yapay zekâ performansını yalnızca GPU modeli belirlemez. VRAM kapasitesi, sistem RAM’i, model boyutu ve kullanılan quantization yöntemi de önemlidir.

Özellikle yerel yapay zekâ modellerinde VRAM kapasitesi en önemli donanım sınırlamalarından biri olabilir.

ChatGPT gibi bulut tabanlı yapay zekâ hizmetleri ise genellikle kullanıcının ekran kartında çalışmaz. Model veri merkezlerindeki yüksek performanslı GPU sistemlerinde çalıştırılır ve sonuç internet üzerinden kullanıcıya gönderilir.