Model damıtma: Küçük model büyük modelden nasıl öğrenir?

Murat Bey bir kargo şirketinde müşteri hizmetleri sorumlusu. Şirketin yazılım tedarikçisi, gelen şikâyet e-postalarını sınıflandırmak için “damıtılmış küçük bir model” öneriyor: daha hızlı, daha ucuz, şirketin kendi sunucusunda da çalışabilir. Murat Bey’in aklında tek soru var: Küçük model, büyük modelin yaptığı işi gerçekten yapabilir mi, yoksa bir şeyleri sessizce mi kaybeder?

Aynı soru telefonunuzdaki internetsiz çalışan özet özelliğine ya da uygulamalardaki “mini”, “hızlı”, “lite” etiketli seçeneklere baktığınızda da aklınıza gelebilir. Bu derste damıtmanın (knowledge distillation) nasıl çalıştığını, neyi kazandırıp neyi kaybettirebileceğini ve bir küçük modeli kendi işinizde nasıl sınayacağınızı öğreneceksiniz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Öğretmen ve öğrenci model fikrini kendi cümlelerinizle açıklamak
• Kesin etiketle öğrenmeyi yumuşak hedefle öğrenmekten ayırmak
• Damıtılmış bir modelin hız ve maliyet kazancını ve olası kayıplarını sıralamak
• Büyük ve küçük modeli kendi işinizden 10 örnekle karşılaştıran bir sınama planı hazırlamak

Öğretmen ve öğrenci: fikrin kendisi

Damıtma fikrini bugün bilinen yöntemiyle Geoffrey Hinton, Oriol Vinyals ve Jeff Dean 2015’te yayımladıkları makalede anlattı. Benzer bir sıkıştırmayı daha önce Rich Caruana ve arkadaşları göstermişti. Sorun şuydu: Çok sayıda modelin tahminlerini birleştirmek ya da çok büyük bir model kullanmak sonucu iyileştiriyor, ama bunu çok sayıda kullanıcıya sunmak çok pahalıya patlıyor.

Makaledeki benzetme akılda kalıcı: Birçok böceğin larva hâli beslenmeye, yetişkin hâli ise hareket etmeye uygundur. Model için de eğitim ve kullanım farklı ihtiyaçlardır. Eğitimde zaman ve işlem gücü boldur, bu yüzden büyük ve hantal bir model kullanılabilir. Kullanımda ise hızlı ve hafif bir model gerekir. Damıtma, bilgiyi büyük “öğretmen” modelden küçük “öğrenci” modele aktarmanın yoludur.

Küçük model büyüğün neyini öğrenir?

Sıradan eğitimde model kesin etiketle (hard target) öğrenir: Fotoğraf bir otomobilse doğru cevap “otomobil”dir, gerisi sıfırdır. Damıtmada öğrenci, öğretmenin verdiği olasılıkların tamamını görür. Buna yumuşak hedef (soft target) denir.

Makaledeki örneğe göre eğitilmiş bir model, otomobil fotoğrafını çöp kamyonu sanma ihtimaline çok küçük bir değer verir. Ama bu küçük değer bile, aynı fotoğrafı havuç sanma ihtimalinden kat kat büyüktür. Bu ince farklar öğretmenin dünyayı nasıl gruplandırdığını gösterir. Öğrenci yalnız doğru cevabı değil, “neye ne kadar benzediğini” de öğrenir. Bu küçük olasılıkları görünür kılmak için yazarlar sıcaklık (temperature) ayarını yükseltip dağılımı yumuşattı.

Aynı makalede çarpıcı bir deneme var: Rakam tanıyan bir öğrenci modele aktarım sırasında hiç “3” örneği gösterilmedi. Öğrenci yine de öğretmenin olasılıklarından bu rakam hakkında epey şey öğrendi ve küçük bir ayardan sonra test setindeki 3’lerin yüzde 98,6’sını doğru tanıdı.

Bugünkü dil modellerinde de mantık aynı. Google’ın Gemma model ailesinin teknik raporuna göre, öğrenci her adımda yalnız “doğru sonraki kelime”yi değil, öğretmenin olası sonraki kelimeler için verdiği dağılımı taklit etmeye çalışır. Ailenin küçük boyları bu yolla, daha büyük bir modeli öğretmen alarak eğitildi.

Neden daha hızlı ve ucuz çalışır?

Küçük modelin parametresi (parameter), yani eğitimle ayarlanan iç değeri daha azdır. Bu yüzden her cevapta yapılan hesap azalır. Bu da daha az bellek, daha kısa bekleme ve daha düşük çalıştırma maliyeti demektir. Birkaç somut örnek:

• Victor Sanh ve arkadaşlarının 2019’da tanıttığı DistilBERT, dayandığı BERT modelinden yüzde 40 küçük ve yüzde 60 hızlı; yazarlara göre dil anlama becerisinin yüzde 97’sini koruyor.
• Google Research’ün 2023 tarihli yazısına göre 175 milyar parametreli tek bir modeli sunmak için en az 350 GB grafik işlemci (GPU) belleği gerekiyor. Aynı yazıdaki yöntemde 770 milyon parametreli bir model, belirli bir test setinde 700 kattan daha büyük bir modeli geride bıraktı.
• OpenAI, 2024’te geliştiricilere sunduğu damıtma aracında süreci şöyle anlatıyor: Büyük modelin cevaplarını kaydet, bu cevaplarla küçük modele ince ayar (fine-tuning) yap, sonra ikisini aynı değerlendirmeyle (evaluation) karşılaştır.

Neyi kaybedebilir?

Damıtma bedava değildir. Dikkat edilmesi gereken üç nokta var:

• Genel beceri: DistilBERT örneğinde bile küçük bir kayıp var. Kayıp ortalamada küçük görünse de sizin işinize denk gelen örneklerde büyüyebilir.
• Dar uzmanlık: Google ve OpenAI’ın örneklerinde öğrenci belirli bir görevde öğretmene yetişiyor. Bu, her konuda yetiştiği anlamına gelmez. Şikâyet sınıflandırmak için eğitilen model sözleşme özetlemede zayıf kalabilir.
• Cihaz sınırları: Android’de cihaz üzerinde çalışan Gemini Nano için Google; internetsiz kullanım, verinin telefonda kalması ve düşük maliyet gibi artılar sayıyor. Aynı sayfada token sınırları, donanım kısıtları ve model yeteneğinin sınırları da açıkça yazıyor.

Bir not: Her küçük model damıtmayla üretilmez. Bazı modeller sıfırdan küçük eğitilir, bazıları başka yöntemlerle sıkıştırılır. Şirket açıkça söylemiyorsa “mini” etiketine bakıp damıtılmış olduğunu varsaymayın.

Adım adım uygulama

1. Kendi işinizden tekrar eden tek bir görev seçin (ör. e-posta sınıflandırma, kısa özet, başlık önerisi). Görev bir cümleyle tarif edilebiliyorsa tamamdır.
2. Bu görev için gerçek ama kişisel bilgisi temizlenmiş 10 örnek toplayın. Ad, telefon, adres ve sipariş numarası çıkarıldığında tamamdır.
3. Kullandığınız araçta büyük model ile “mini” ya da “hızlı” seçeneği varsa aynı 10 örneği ikisinde de aynı komutla çalıştırın. Seçenekler hesabınıza ya da bölgenize göre görünmeyebilir; yoksa iki farklı aracı kullanın.
4. Her cevabı yukarıdaki 0–2 puan ölçüsüyle puanlayın ve cevap sürelerini kabaca not edin. 20 satırlık tablo dolduğunda tamamdır.
5. Tek cümlelik bir karar yazın: “Küçük model bu görevde yeterli / yetersiz, çünkü…” Gerekçe tablodaki bir sayıya dayanıyorsa tamamdır.

Sık yapılan hatalar

• Tek bir örnekle karar vermek. Küçük modelin zayıflığı çoğu zaman zor ve belirsiz örneklerde ortaya çıkar.
• Bir görevde iyi sonuç veren damıtılmış modeli her işe kullanmak. Öğrenci, öğretmenden en çok gösterildiği görevi öğrenir.
• Hızı tek ölçü saymak. Hızlı ama yanlış cevap, yavaş ama doğru cevaptan daha pahalıya gelebilir.

Kendinizi deneyin

Kaynaklar

• Hinton, Vinyals, Dean: Distilling the Knowledge in a Neural Network (2015) (İngilizce)
• Sanh ve ark.: DistilBERT, a distilled version of BERT (2019) (İngilizce)
• Google Research: Distilling step-by-step (İngilizce)
• OpenAI: Model Distillation in the API (İngilizce)
• Google DeepMind: Gemma teknik raporu (İngilizce)
• Android Developers: Gemini Nano (İngilizce)

Son kontrol: 13 Kasım 2026. Bu bilgi 13.11.2026 tarihli kaynaklara dayanır; durum değişebilir.

Kaynak: yzdersleri.com/ders/model-damitma-kucuk-model-buyuk-modelden-nasil-ogrenir/ · Yapay Zeka Dersleri