LLM Uzmanlık Sınavı: Transformer Mimarisi Bilgi Yarışması

Soru 1

Transformer mimarisinde 'Scaled Dot-Product Attention' mekanizmasının temel amacı nedir?

A Modelin parametre sayısını azaltmak için ağırlık matrislerini matris ayrıştırma yöntemiyle küçültmek.

B Eğitim sırasında gradyan kaybolması (vanishing gradient) problemini tamamen ortadan kaldırmak.

C Girdi dizisindeki her kelimenin diğer kelimelerle olan ilişkisini ağırlıklandırarak bağlamsal vektörler oluşturmak.

D Veri setindeki gürültüyü temizleyerek modelin daha hızlı yakınsamasını sağlamak.

Soru 2

BERT (Bidirectional Encoder Representations from Transformers) modelini GPT'den ayıran en temel yapısal fark nedir?

A GPT, maskelenmiş dil modelleme (MLM) görevini kullanırken BERT sadece auto-regressive yöntem kullanır.

B BERT, Transformer mimarisini kullanmaz, bunun yerine derin CNN yapılarını tercih eder.

C BERT sadece decoder katmanlarını kullanırken, GPT sadece encoder katmanlarını kullanır.

D BERT çift yönlü (bidirectional) bağlamı işlemek için sadece encoder katmanlarını kullanır.

Soru 3

Transformer mimarisindeki 'Multi-Head Attention' mekanizmasında farklı 'head'lerin kullanılmasının temel sebebi nedir?

A Modelin ezberleme (overfitting) yapmasını engellemek için dropout uygulamak.

B Girdi dizisinin uzunluğunu sınırlamak ve bellek kullanımını optimize etmek.

C Modelin farklı alt uzaylardaki (subspaces) bilgileri eş zamanlı olarak öğrenmesine olanak tanımak.

D İşlem maliyetini düşürmek için hesaplamayı paralel işlem birimlerine dağıtmak.

Soru 4

GPT serisi modellerin eğitiminde kullanılan 'Auto-regressive' yaklaşım ne anlama gelir?

A Modelin tüm cümleyi aynı anda görerek boşlukları doldurması.

B Girdi dizisinin hem başından hem sonundan başlayarak iki taraflı işlenmesi.

C Eğitim verisinin etiketlenmesine gerek duymadan kendi kendini denetlemesi.

D Modelin bir sonraki kelimeyi, kendinden önceki kelimelere dayanarak tahmin etmesi.

Soru 5

Transformer mimarisinde kullanılan 'Positional Encoding'in işlevi nedir?

A Kelime gömmelerinin (embeddings) vektör uzayındaki boyutunu normalize etmek.

B Düşük frekanslı kelimelerin ağırlığını artırarak modelin başarısını yükseltmek.

C Dikkat mekanizmasının (attention) hesaplama maliyetini azaltmak.

D Modelin kelimelerin cümle içindeki sırasını anlamasını sağlamak.

Sorular