LLM Uzmanlık Sınavı: Transformer Mimarisi Bilgi Yarışması

Soru 1

Transformer mimarisinde 'Scaled Dot-Product Attention' mekanizmasının temel amacı nedir?

A Girdi dizisindeki her kelimenin diğer kelimelerle olan ilişkisini ağırlıklandırarak bağlamsal vektörler oluşturmak.

B Modelin parametre sayısını azaltmak için ağırlık matrislerini matris ayrıştırma yöntemiyle küçültmek.

C Eğitim sırasında gradyan kaybolması (vanishing gradient) problemini tamamen ortadan kaldırmak.

D Veri setindeki gürültüyü temizleyerek modelin daha hızlı yakınsamasını sağlamak.

Soru 2

BERT (Bidirectional Encoder Representations from Transformers) modelini GPT'den ayıran en temel yapısal fark nedir?

A BERT sadece decoder katmanlarını kullanırken, GPT sadece encoder katmanlarını kullanır.

B BERT çift yönlü (bidirectional) bağlamı işlemek için sadece encoder katmanlarını kullanır.

C BERT, Transformer mimarisini kullanmaz, bunun yerine derin CNN yapılarını tercih eder.

D GPT, maskelenmiş dil modelleme (MLM) görevini kullanırken BERT sadece auto-regressive yöntem kullanır.

Soru 3

Transformer mimarisindeki 'Multi-Head Attention' mekanizmasında farklı 'head'lerin kullanılmasının temel sebebi nedir?

A Modelin farklı alt uzaylardaki (subspaces) bilgileri eş zamanlı olarak öğrenmesine olanak tanımak.

B İşlem maliyetini düşürmek için hesaplamayı paralel işlem birimlerine dağıtmak.

C Modelin ezberleme (overfitting) yapmasını engellemek için dropout uygulamak.

D Girdi dizisinin uzunluğunu sınırlamak ve bellek kullanımını optimize etmek.

Soru 4

GPT serisi modellerin eğitiminde kullanılan 'Auto-regressive' yaklaşım ne anlama gelir?

A Modelin bir sonraki kelimeyi, kendinden önceki kelimelere dayanarak tahmin etmesi.

B Modelin tüm cümleyi aynı anda görerek boşlukları doldurması.

C Eğitim verisinin etiketlenmesine gerek duymadan kendi kendini denetlemesi.

D Girdi dizisinin hem başından hem sonundan başlayarak iki taraflı işlenmesi.

Soru 5

Transformer mimarisinde kullanılan 'Positional Encoding'in işlevi nedir?

A Kelime gömmelerinin (embeddings) vektör uzayındaki boyutunu normalize etmek.

B Modelin kelimelerin cümle içindeki sırasını anlamasını sağlamak.

C Düşük frekanslı kelimelerin ağırlığını artırarak modelin başarısını yükseltmek.

D Dikkat mekanizmasının (attention) hesaplama maliyetini azaltmak.

Sorular