Transformer Nedir? Yapay Zekâ Bir Cümleyi Nasıl Anlar ve Yanıt Üretir?

Bir arkadaşına “Bir bardak su istiyorum” dediğinde kelimeleri tek tek ezberden çözmez; birlikte ne anlama geldiklerini değerlendirir. Bilgisayara dil konusunda benzer bir işlem yaptırmak kolay değildir. Dil modellerinin başarısı, metni parçalara ayırmaları, parçaları sayısal olarak temsil etmeleri ve aralarındaki ilişkileri hesaplamaları üzerine kuruludur.

1. Dil işleme ne demek?

NLP (doğal dil işleme), bilgisayarların yazılı veya sözlü dili işlemesini araştıran alandır. Her sistem sohbet etmek zorunda değildir. Kimisi bir yorumu olumlu/olumsuz ayırır; kimisi metindeki yer adlarını bulur; kimisi de yeni bir cümle üretir. Bu üç işi birbirine karıştırmamak gerekir.

• Sınıflandırma: “Bu kitabı sevdim” yorumuna olumlu etiketi vermek.
• Her kelimeyi etiketleme: “Ayşe Ankara’ya geldi” ifadesinde Ayşe’yi kişi, Ankara’yı yer olarak bulmak.
• Üretim: Soru cevaplama, çeviri, özetleme ve kod yazma gibi uzunluğu değişebilen çıktılar oluşturmak.

Bir modelin doğru çalıştığını nasıl anlarız?

Doğruluk (accuracy), tahminlerin ne kadarının doğru olduğunu ölçer. Ama 1000 yorumdan 990 tanesi olumluysa sürekli “olumlu” diyen bir sistem de yüzde 99 doğruluk alır. Precision olumlu dediğimiz sonuçların ne kadarının gerçekten olumlu olduğunu, recall ise gerçekte olumlu olanların ne kadarını bulabildiğimizi gösterir. F1 bu ikisini dengeleyen ölçüdür. Buradaki olumlu sözcüğü teknik olarak seçtiğimiz hedef sınıfı ifade eder.

Metin üretiminde değerlendirme daha zordur; aynı soruya birden fazla doğru cevap verilebilir. BLEU çevirilerde, ROUGE özetlerde metin örtüşmesini karşılaştıran geleneksel metriklerdir. Perplexity ise dil modelinin bir metin dizisine verdiği olasılıklara dayalı bir ölçüdür; düşük olması belirli veri üzerinde daha iyi tahmine işaret edebilir ama tek başına gerçek doğruluk garantisi değildir.

Yapay zekâ nereden nereye geldi?

2010’larda birçok NLP sistemi tek bir göreve odaklanıyordu. Word2Vec kelimeler arasında anlamlı sayısal ilişkiler öğrenmeye yardımcı oldu; RNN ve LSTM modelleri sırayla gelen kelimelerle çalıştı. 2017’de Transformer mimarisi ortaya çıktı. 2022 sonunda ChatGPT’nin yayınlanması, büyük dil modellerini geniş kitlelere taşıdı. Günümüzde modellerin araç kullanabildiği, kod çalıştırabildiği ve bazı görevleri adım adım yürütebildiği ajan sistemleri yaygınlaştı. Bu uygulamalar Transformer mimarisinin yanında çok sayıda farklı bileşene dayanır.

2. Token: Cümlenin parçalarına bakalım

Bilgisayar önce “Kitapları masaya koydum” cümlesini hesaplanabilir bir biçime çevirmek zorundadır. Token, metnin model için ayrıldığı bir parçadır. Bazen bir kelime, bazen kelimenin başlangıcı, bazen bir ek, bazen noktalama veya boşluk bilgisidir. Tokenization bu parçalama işlemi, vocabulary modelin token sözlüğü, sequence length ise ortaya çıkan dizinin uzunluğudur.

Üç yaklaşımın farkı

Kelime düzeyinde parçalama kelimeleri bütünüyle ele alır. Basit görünür ama Türkçede “kitap”, “kitaplar”, “kitaplarımızdan” gibi sayısız çekimli biçim oluşur. Her biçim için ayrı bir sözlük girişi gerektiğinde sözlük çok büyür. Daha önce görülmemiş bir sözcük sorun yaratabilir.

Karakter düzeyinde parçalama harflere iner. Sözlük küçük kalır ama cümledeki parça sayısı çok artar. Alt kelime düzeyinde parçalama, çok sık kullanılan kelimeleri veya kelime parçalarını bir arada tutar; seyrek biçimleri daha küçük birimlerle ifade eder. Bu yöntem uzunluk ve sözlük büyüklüğü arasında kullanışlı bir denge sağlar.

BPE algoritmasının fikri

Byte Pair Encoding (BPE) sık yan yana gelen parçaları birleştirerek token sözlüğü oluşturmaya yarar. Başlangıçta küçük parçalar olduğunu düşün: “a” ve “n” sık yan yana geliyorsa “an” yeni bir token olabilir. Ardından daha sık birliktelikler birleştirilir. İşlem birçok kez tekrarlanır. Güncel tokenizerlar yalnızca bu basitleştirilmiş biçimde çalışmak zorunda değildir; bayt tabanlı ve farklı algoritmalı yaklaşımlar da bulunur.

Özel tokenlar

• [BOS] başlangıcı gösterebilir.
• [EOS] tamamlandığını veya durmayı gösterebilir.
• [PAD] farklı uzunluktaki dizileri aynı grupta işlemek için dolgu olabilir.
• [UNK] bazı sistemlerde sözlükte olmayan parçayı temsil eder.

3. Kelimeler nasıl sayıya dönüşür?

Yapay zekâ matematiksel hesaplama yapar. Bunun için her tokenı bir sayı listesi ile temsil etmek gerekir. Böyle bir listeye vektör denir. Modelin eğitimde öğrendiği sayısal temsiller embedding diye anılır.

En basit örnek one-hot encoding yöntemidir: “kedi” [1,0,0], “köpek” [0,1,0], “araba” [0,0,1] olsun. Hangi kelimenin hangisi olduğunu ayırabiliriz ama bu kodlar tek başına kedi-köpek yakınlığını göstermez. Öğrenilmiş vektörler, benzer bağlamlarda kullanılan kelimeleri bazı yönlerden matematiksel olarak birbirine yaklaştırabilir.

Word2Vec nasıl öğrenir?

Word2Vec, kelimeleri komşularına bakarak tahmin etme fikrini kullanır. CBOW, çevredeki kelimelerden ortadaki kelimeyi tahmin eder. Skip-gram, seçilen kelimeden çevresindekileri tahmin eder. Örneğin “Sevimli [boşluk] uyuyor” cümlesinde eksik parçanın “kedi” olabileceğini öğrenmeye çalışan model, tekrar eden örnekler boyunca kelimelerin sayısal gösterimlerini de geliştirir.

Bir tahmin yapıldığında doğru hedefle arasındaki fark hesaplanır. Bu fark bir kayıp (loss) fonksiyonuyla ölçülür; öğrenme algoritması ağırlıkları değiştirir. Milyonlarca örnekte tekrarlandığında sözcüklerin kullanım ilişkileri vektörlere yansıyabilir. Ancak klasik Word2Vec bir sözcüğe genellikle sabit bir vektör verir. “Bankaya para yatırdım” ve “nehir bankına oturdum” ifadelerinde aynı yazılış farklı anlam taşıyabilir. Sadece sabit kelime vektörü her kullanımdaki farkı yeterince temsil edemez.

4. RNN ve LSTM neden önemliydi?

Bir romanı baştan sona okuduğunu düşün. Her yeni cümleyi yorumlarken önceki cümlelerden kalan bilgiyi kullanırsın. RNN kelimeleri sırayla işleyerek önceki adımın hesaplanmış özetini sonraki adıma aktarır. Böylece kelime sırasını bir ölçüde temsil eder. Ancak uzun metinlerde erken bilginin etkisi zayıflayabilir ve eğitim sırasında kaybolan gradyan denen sorun yaşanabilir.

LSTM, kapılar ve ayrı hücre durumu yardımıyla hangi bilginin tutulup hangisinin unutulacağını öğrenir. Uzun mesafeli bağımlılık sorununu azaltır; buna rağmen sıralı işlem yapısı eğitimde paralelleştirme için sınırlayıcıdır. Bu modeller bugün tamamen ortadan kalkmış değildir; farklı problemlerde hâlâ kullanılabilir.

5. Attention: Kelimeler birbirlerine nasıl bakar?

“Ayşe çantasını kaldırdı çünkü çanta ağırdı” ifadesinde “ağır” sözcüğünün “çanta” ile bağlantısını fark ederiz. Attention, bir tokenın başka tokenlardan ne kadar bilgi alacağını sayısal ağırlıklarla belirler. Self-attention aynı metnin kendi içindeki parçalara bakmasıdır. Her kelimenin diğer kelimelerle ilişki kurabilmesi, uzun bağımlılıkları doğrudan hesaplamaya yardımcı olur.

Q, K ve V ne işe yarar?

• Q (query — sorgu): İhtiyaç duyulan bilgiye ilişkin sayısal gösterim.
• K (key — anahtar): Karşı taraftaki parçanın eşleşme için sunduğu sayısal gösterim.
• V (value — değer): Eşleşme oranına göre taşınan asıl bilgi vektörü.

Bir kütüphane düşün. Q aradığın konuyu, K kitapların katalog etiketlerini, V ise kitapların taşıdığı bilgiyi andırır. İlgili katalog kayıtları daha fazla ağırlık alır; ardından karşılık gelen bilgiler birleştirilir. Gerçekte Q, K ve V, modelin öğrendiği ayrı ağırlık matrisleriyle hesaplanır.

Ünlü formül

QKᵀ, sorgular ve anahtarlar arasındaki uyum skorlarının tablosudur. √dₖ ile bölme skorları boyuta göre dengeler. Softmax, skorları pozitif ve toplamı 1 olan dikkat ağırlıklarına dönüştürür. Ardından sonuç V ile çarpılır; böylece önemli bulunan parçaların taşıdığı bilgiler ağırlıklı biçimde birleşir. Sözcük sayısı n olduğunda standart tam dikkat tablosu n×n boyutundadır; uzun dizilerde işlem maliyeti artabilir.

6. Transformer bütün bunları nasıl birleştirir?

Özgün 2017 Transformer modeli iki ana bölümden oluşur: encoder (kodlayıcı) ve decoder (çözücü). Encoder kaynak metni bağlamıyla birlikte temsil eder. Decoder, bu temsillerden ve şimdiye kadar ürettiği tokenlardan yararlanarak sıradaki tokenı hesaplar. Özellikle çeviri işi için bu ayrım anlaşılırdır. Günümüzde bazı modeller yalnızca encoder, bazıları decoder ağırlıklı, bazıları ise encoder-decoder mimarilerini kullanır.

Bir çeviri örneği

“A cute teddy bear is reading” ifadesi “Sevimli bir oyuncak ayı okuyor” anlamına gelir. İngilizceden Fransızcaya bir çeviride model sırayla kelime değiştirmekle yetinemez; Fransızca sözcük sırası farklı olabilir. Encoder kaynak dizideki ilişkileri temsil eder; decoder hedef cümleyi adım adım oluştururken gerektiğinde cross-attention (çapraz dikkat) ile bu temsillere başvurur.

Model kelime sırasını nereden biliyor?

Self-attention matematiğinde sıra bilgisi tek başına bulunmaz. Positional encoding (konumsal kodlama) bu eksikliği gidermeye yardım eder. Analog bir saati düşün: saniye, dakika ve saat ibreleri farklı hızlarda döner. Birlikte bakıldığında zamanı ayırt edebilirsin. Özgün Transformer, farklı frekanslı sinüs-kosinüs işaretlerini konum bilgisi olarak kullandı. Modern modeller öğrenilmiş, göreli ve döner konum gösterimleri gibi başka seçenekler de kullanabilir.

Maskelenmiş dikkat: Neden geleceği görmez?

Bir sonraki tokenı tahmin etmeyi öğrenen decoder, doğru cevabı gelecekteki konumlardan kopyalamamalıdır. Causal mask, mevcut konumun daha sonra gelecek tokenlara dikkat etmesini engeller. Böylece eğitimde metin blokları birlikte hesaplanabilse de her konum sadece izin verilen geçmiş bağlamı kullanır. Metin üretirken ise model yeni tokenları adım adım ekler.

Çok başlı dikkat ve FFN

Multi-head attention aynı girdiye farklı öğrenilmiş projeksiyonlarla birden fazla dikkat hesabı uygular. Bu başlıklar farklı ilişkileri öğrenebilir, ancak her başlığa tek ve sabit insan kavramı atamak doğru değildir. FFN (ileri beslemeli ağ) ise dikkat yoluyla toplanan bilgiyi her konum için dönüştürür. Dikkat bilgi alışverişini, FFN ise bu bilgilerin işlenmesini sağlar.

7. Transformer’ın altı mühendislik tekniği

• Residual bağlantılar: Eski girdiyi yeni hesaplanan çıktıyla birleştirerek derin ağların öğrenmesine destek olur.
• Layer normalization: Ara değerlerin ölçeğini düzenleyerek kararlılığa yardımcı olur.
• Masking: İzin verilmeyen gelecekteki konumların etkisini engeller.
• Multi-head attention: Birden fazla dikkat hesaplamasını birlikte kullanır.
• Dropout: Eğitim sırasında bazı bağlantı veya etkinlikleri rastgele azaltarak aşırı öğrenmeyi sınırlayabilir.
• Label smoothing: Eğitim hedefindeki aşırı kesinliği yumuşatarak bazı görevlerde genellemeye destek olabilir.

Bunlar özgün mimarideki temel fikirlerdir. Her güncel modelde aynı sırada veya aynı ayrıntıyla yer almak zorunda değildir.

8. Yanıtın oluşumunu izle

Kullanıcı metni tokenlara ayrılır; bunlar sayı vektörlerine dönüştürülür. Konum ve bağlam bilgisi katmanlarda işlenir. Son katman olası sonraki tokenlar için skorlar üretir. Sistem bu skorları olasılığa dönüştürerek bir token seçebilir. Seçilen token diziye eklenir ve süreç bitiş işaretine ya da başka bir durdurma koşuluna kadar devam eder.

İki softmax farklı iş yapar

Dikkat katmanındaki softmax, “hangi tokena ne kadar ağırlık verilsin?” sorusunun ağırlıklarını hesaplar. Üretim çıkışındaki softmax ise “sıradaki token için hangi adayın olasılığı daha yüksek?” sorusunda kullanılabilir. Aynı matematiksel araç, farklı yerlerde farklı büyüklüklere uygulanır.

Matris boyutları gözünü korkutmasın

n token sayısı, d_model vektör uzunluğu ise girdi matrisi n × d_model boyutundadır. Q ve K tablolarının ortak iç boyutu, çarpımlarına izin verecek şekilde eşleşmelidir. QKᵀ hesabından n × n ilişki matrisi çıkar. Bu ilişki ağırlıkları V ile birleştirildiğinde her token için yeni bir sayısal temsil elde edilir. Blok sonundaki çıkış boyutunun korunması, birçok Transformer katmanının üst üste yerleştirilmesini mümkün kılar.

9. Terimler sözlüğü

• LLM: Büyük dil modeli.
• Token: Metnin işlenen parçası.
• Tokenizer: Parçaları belirleyen yöntem.
• Embedding: Öğrenilmiş sayısal gösterim.
• RNN/LSTM: Sıralı veri işleyen sinir ağı mimarileri.
• Attention: İlişkili konumlardan ağırlıklı bilgi toplama.
• Self-attention: Aynı dizinin kendi içindeki dikkat.
• Cross-attention: Bir dizinin başka dizideki gösterimlere dikkat etmesi.
• Encoder: Girdi için bağlamsal temsil üreten bölüm.
• Decoder: Hedef çıktıyı üreten bölüm.
• Softmax: Skorları toplamı bir olan ağırlıklara dönüştüren işlem.
• FFN: Öğrenilmiş ileri beslemeli dönüşüm katmanı.

Sık duyulan diğer kısaltmalar

RoPE, ALiBi konum bilgisini kullanma yaklaşımlarıdır; MoE uzmanlar karışımı mimarisini anlatır. MHA, GQA, MQA, MLA, SWA farklı dikkat tasarımlarını ifade eder. SFT, LoRA, QLoRA, PEFT, DPO modelleri uyarlama ve iyileştirme yaklaşımlarıdır. RLHF, PPO, GRPO geri bildirim ve pekiştirmeli öğrenmeyle ilişkili kavramlardır. MMLU, GPQA, SWE-bench, AIME farklı yetenekleri sınayan kıyaslamalardır. TTFT ilk tokenın görünme süresi, TPOT token başına çıktı süresi gibi işletim ölçüleridir. Bunların hepsini ezberlemek gerekmiyor: önce hangi aileye ait olduklarını bilmek yeterli.

10. Kendini test et

• Neden yüksek doğruluk oranı her zaman iyi model anlamına gelmez?
• Kelime yerine karakter kullanıldığında dizi uzunluğu neden büyür?
• Word2Vec’de aynı yazılışlı iki anlam neden sorun çıkarabilir?
• Q, K ve V’nin rolleri nelerdir?
• Decoder neden henüz gelmemiş tokenları maskeleyebilir?

Kaynaklar ve editoryal not

Bu anlatım, Stanford CME 295 Transformers & Large Language Models dersinin birinci oturumu üzerine hazırlanmış Türkçe çalışma kitabındaki konular esas alınarak yeniden düzenlenmiştir. Eğitmenler: Afshine Amidi ve Shervine Amidi. Bazı örnekler Türkçe gündelik kullanıma uyarlandı; deneylerde gerçek model ağırlıkları kullanılmadı.

Resmî ders: Stanford CME 295. Temel makale: Attention Is All You Need (2017). Kelime vektörleri: Word2Vec (2013).