Çok kipli model nedir? Metin, görüntü ve ses birlikte

Ayşe Hanım bir kırtasiye toptancısında depo sorumlusu. Sayım gününde rafın fotoğrafını çekip yapay zekâ asistanına “Bu rafta kaç koli var?” diye soruyor. Cevap hızlı geliyor: 24. Elle saydığında 27 çıkıyor. Aynı gün bir tedarikçinin el yazısıyla doldurduğu irsaliyeyi de okutuyor; model, okunmayan bir ürün adını akıcı ama yanlış bir adla doldurmuş.

Fotoğraf göstererek soru sormak çok işe yarar, ama nerede güvenilir, nerede tökezler bilmek gerekir. Bu derste çok kipli modelin (multimodal model) ne olduğunu, metin, görüntü ve sesi nasıl birlikte işlediğini, hangi durumlarda yanıldığını ve bunu kendi fotoğraflarınızla nasıl sınayacağınızı öğreneceksiniz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Kip kavramını ve çok kipli modelin tek kipli modelden farkını açıklamak
• Modelin en sık yanıldığı beş görüntü türünü saymak
• Sayma ve okuma sorularını hatayı azaltacak biçimde yeniden yazmak
• Cevabını bildiğiniz beş fotoğrafla küçük bir sınama seti kurup sonucu tabloya dökmek

Kip ne demek?

Kip (modality), bilginin geldiği biçimdir: yazı, fotoğraf, ses, video. Yalnız yazı okuyan model tek kiplidir. Çok kipli model ise aynı soruda bir fotoğrafı, bir ses kaydını ve sizin yazdığınız cümleyi birlikte değerlendirebilir.

Model görüntüyü insan gibi “görmez”. OpenAI’ın belgelerine göre yeni modeller görüntüyü küçük parçalara (patch) böler ve her parça, metindeki kelime parçaları gibi token olarak hesaba katılır. Görüntü bazen işlenmeden önce küçültülür. Bu, küçük ayrıntıların neden kaybolabildiğini de açıklar. Google da Gemini modellerinin baştan çok kipli olarak tasarlandığını yazıyor.

Gündelik kullanımda çok kipli model şu işlerde karşınıza çıkar: bir tabelanın fotoğrafını çekip ne yazdığını sormak, bir grafiğin ekran görüntüsünü yükleyip ne anlattığını sordurmak, bir toplantı kaydını özetletmek. Hepsinde aynı kural geçerlidir: Model gördüğünü ya da duyduğunu yorumlar ve bu yorum yanlış olabilir.

Birlikte işlemek neden fark yaratır?

OpenAI, 2024 Mayıs’ında tanıttığı modelle ilgili duyuruda eski sesli sohbet düzenini anlatıyor: Önce bir model konuşmayı yazıya çeviriyor, ikinci model yazıyı işliyor, üçüncü model cevabı sese dönüştürüyordu. Bu zincirde ses tonu, birden fazla konuşmacı ve arka plandaki sesler kayboluyordu. Yeni yaklaşımda metin, görüntü ve sesi tek bir model baştan sona işliyor.

Bunun gündelik karşılığı şu: Google’ın Gemini belgelerine göre model bir ses kaydında konuşmacıları ayırabiliyor, belli bir dakikadaki bölümü özetleyebiliyor, kuş sesi ya da siren gibi konuşma dışı sesleri de tanıyabiliyor. Fotoğraf tarafında ise bir görüntüyü anlatma, görüntüyle ilgili soru cevaplama ve nesnelerin yerini gösterme gibi işler yapılabiliyor.

Yüklediğiniz fotoğraf ve ses kaydı da bir veridir. Başkasının yüzünü, kimlik kartını ya da ev adresini gösteren görüntüleri yüklemeden önce o kısmı kırpın ya da karartın.

Nerede yanılır?

Resmî belgeler ve araştırmalar aynı zayıf noktalara işaret ediyor:

• Küçük yazı: OpenAI, küçük metni büyütmenin okunurluğu artırdığını belirtiyor. Fiş, etiket ve dipnotlarda ilk şüphelenilecek yer burasıdır.
• Sayma: Nesne sayıları yaklaşık olabilir. Ayşe Hanım’ın 24 ile 27 arasındaki farkı tam da budur.
• Döndürülmüş ve bulanık görüntü: Ters ya da yan duran yazı yanlış okunabilir. Google net, bulanık olmayan ve doğru döndürülmüş görüntü öneriyor.
• Konum ve biçim: Satranç tahtasındaki taşların yeri gibi kesin konum isteyen işler, kesik ve noktalı çizgileri karışan grafikler, panorama ve balık gözü fotoğraflar zorlayıcıdır.
• El yazısı: 2026’da yayımlanan bir ölçüt çalışması (benchmark), modellerin el yazısında yaptığı hataların çoğunun, görüntüdeki yazıyı dile uygun, akıcı ama orada olmayan bir metinle değiştirmek olduğunu buldu. İnsanlar ise okuyamadıkları yeri belirsiz bırakma eğiliminde.

Sonuncusu en sinsi olanıdır: Cevap düzgün göründüğü için yanlışı fark etmek zorlaşır.

Güçlü komut sonucu sihirli biçimde doğru yapmaz, ama hatanın nerede olabileceğini gösterir. Ayşe Hanım orta bölümü yandan çektiğinde eksik üç koli ortaya çıkıyor.

Adım adım uygulama

1. Cevabını kesin bildiğiniz beş fotoğraf hazırlayın: bir market fişi, kendi el yazınızla kısa bir not, küçük yazılı bir ürün etiketi, 15–30 nesnenin göründüğü bir masa ve ters çevrilmiş bir sayfa. Fotoğraflarda kişisel bilgi, başkasının yüzü ya da kimlik numarası yoksa tamamdır.
2. Her fotoğraf için tek bir soru yazın (ör. fişteki toplam tutar, nottaki üçüncü kelime, masadaki kalem sayısı). Doğru cevabı soruyu sormadan önce kâğıda yazın.
3. Soruyu önce kısa hâliyle, sonra güçlü komut düzeniyle sorun: bölümlere ayırma, emin olmadığı yeri belirtme, kesin mi tahmini mi olduğunu söyleme.
4. Beş satırlık bir tablo doldurun: fotoğraf türü, doğru cevap, kısa komutun cevabı, güçlü komutun cevabı, doğru mu. Tablo dolunca tamamdır.
5. Tabloya bakıp tek cümle yazın: “Bu araç en çok … türünde yanıldı.” Bu cümle bundan sonra hangi işlerde elle kontrol yapacağınızı belirler.

Sık yapılan hatalar

• Sayma ve tutar gibi kesin sayı gereken işlerde cevabı kontrol etmeden kullanmak.
• Okunaksız el yazısında akıcı cevaba güvenmek. Modelden okuyamadığı kelimeleri soru işaretiyle bırakmasını isteyin.
• Uzaktan, yan ya da bulanık çekilmiş fotoğraf yüklemek. Önce fotoğrafı düzeltmek, komutu düzeltmekten daha çok işe yarar.

Kendinizi deneyin

Kaynaklar

• OpenAI: Mayıs 2024 tarihli model tanıtım duyurusu (İngilizce)
• OpenAI: Images and vision rehberi (İngilizce)
• Google Gemini API: Image understanding (İngilizce)
• Google Gemini API: Audio understanding (İngilizce)
• Zhang ve ark.: WildHandBench, el yazısı anlama üzerine bir ölçüt çalışması (2026) (İngilizce)

Son kontrol: 13 Kasım 2026. Bu bilgi 13.11.2026 tarihli kaynaklara dayanır; durum değişebilir.

Kaynak: yzdersleri.com/ders/cok-kipli-model-nedir-metin-goruntu-ses-birlikte/ · Yapay Zeka Dersleri