Çok modlu yapay zekâ: yazı, ses ve görsel bir arada

Çok modlu (multimodal) bir yapay zekâ, aynı sohbette yazıyı, görseli ve sesi birlikte işleyebilir. Bu derste ne işe yaradığını, günlük hayatta nasıl kullanacağınızı ve nerede yanılabileceğini göreceksiniz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Çok modlu yapay zekânın ne anlama geldiğini
• Fotoğraf, belge ve ses kaydıyla neler yapabileceğinizi
• Hangi sınırlarda yanılabildiğini
• Fotoğraf ve ses yüklerken nelere dikkat edeceğinizi

Çok modlu ne demek?

Burada “mod”, bilginin türü demektir: yazı, görsel, ses, video. İlk sohbet botları yalnızca yazıyla çalışıyordu. Çok modlu araçlar ise bu türlerden birkaçını aynı anda alır, çoğu zaman yanıtı yazı olarak verir.

Google’ın geliştirici belgesine göre Gemini bir görseli betimleyebilir, sınıflandırabilir, görsel hakkındaki soruları yanıtlayabilir ve birden fazla görseli karşılaştırabilir. Ses için aynı belge dökümü çıkarmayı, başka dile çevirmeyi, özetlemeyi ve kuş sesi ya da siren gibi konuşma dışı sesleri tanımayı sayar. Anthropic’in belgesi de Claude’un görselleri betimleyebildiğini, karşılaştırabildiğini ve belge sayfalarını sırayla inceleyebildiğini söyler.

Bu özelliklerin kapsamı araca ve plana göre değişir. Gemini uygulamasının yardım sayfası, dosya ve görsel eklemenin “Add files” seçeneğiyle yapıldığını, oturum açmamış kullanıcıların dosya yükleyemediğini belirtir.

Günlük hayattan örnekler

• Bir market fişinin fotoğrafını çekip ürünleri tabloya dökmek
• Dersten aldığınız el yazısı notu düzgün bir metne çevirmek
• Toplantı ya da konferans ses kaydını özetletmek
• Yurt dışından gelen bir kutunun üzerindeki yabancı dildeki yazıyı çevirtmek

Sitede bu işlerin ayrıntılı dersleri var: Bir fotoğraftan ya da ekran görüntüsünden metin ve bilgi çıkarın, Gemini’ye dosya ve fotoğraf yükleyerek soru sormak, ChatGPT ile sesli sohbet: Yazmadan konuşarak çalışmak ve Telefonda Gemini ile sesli konuşmak.

Çok modluluğun asıl yararı, anlatması zor şeyi göstererek anlatabilmenizdir. Bir cihazın ekranındaki hata iletisini yazmak yerine ekran görüntüsünü verir, bir tabloyu elle yazmak yerine fotoğrafını çekersiniz. Ayrıca iki türü birleştirebilirsiniz: örneğin bir ders slaytının fotoğrafını ve konuşmanın ses kaydını aynı sohbete verip ikisini karşılaştırtmak araca ve plana bağlı olarak mümkündür.

Nerede yanılır?

Çok modlu araçlar da yanılır. Anthropic’in belgesine göre düşük kaliteli, döndürülmüş ya da çok küçük görsellerde hata yapabilir; nesne sayısı yaklaşık çıkar; konum ve çerçeve bilgileri kesin değildir. Aynı belge, modelin görseldeki kişileri adlandırmadığını ve bir görselin yapay zekâyla üretilip üretilmediğini güvenilir biçimde söyleyemeyeceğini belirtir. Karmaşık tıbbi görüntüler için tasarlanmadığını da yazar. Google’ın belgesi de çıktıların hatalı ya da yanlı olabileceğini, insan denetiminin önemli olduğunu belirtir.

Yani fotoğrafı doğru okuyan bir araç, gölgeli ya da bulanık bir köşede yanlış rakam okuyabilir. Önemli bilgileri her zaman kaynağıyla karşılaştırın.

Gizlilik: fotoğrafta ve seste ne var?

Bir fotoğraf yalnızca baktığınız şeyi göstermez. Arka planda kimlik kartı, araç plakası, bir yüz ya da adres olabilir. Ses kaydında başkalarının sesi ve konuşmaları bulunur. Yüklemeden önce bunları kırpın ya da kaydı kullanmayın. Ayrıntı için Yapay zekâya yazmamanız gereken bilgiler dersine bakın.

Hangi türü ne zaman seçersiniz?

Kesin bir metne ihtiyacınız varsa yazıyla sorun. Anlatması zor bir şeyi göstermek istiyorsanız görsel ekleyin. Uzun bir konuşmayı özetletmek istiyorsanız ses kaydı kullanın. Google’ın ses belgesine göre ses dökümü zaman damgası ve konuşmacı etiketi içerebiliyor; bu, toplantı ve ders kayıtları için yararlıdır.

Görsel tek başına çoğu zaman soruyu belirsiz bırakır. Fotoğrafı eklerken ne istediğinizi mutlaka yazıyla da belirtin: neyi okumasını, neyi karşılaştırmasını ya da hangi biçimde yanıtlamasını istediğinizi söyleyin. Böylece araç tahmin yürütmek yerine istediğiniz işi yapar.

Adım adım uygulama

1. Kişisel bilgi içermeyen bir görsel seçin, örneğin kendi çektiğiniz bir market fişi.
2. Fotoğrafı düz ve aydınlık çekin; bulanıksa yeniden çekin.
3. Önce yalnızca “Bu görselde ne görüyorsun?” diye sorun.
4. Sonra asıl görevi verin ve okuyamadığı yerleri işaretlemesini isteyin.
5. Çıkan rakam ve adları görselle yan yana karşılaştırın.
6. Aynı alıştırmayı kısa bir ses kaydıyla da deneyin.

Kontrol listesi

• Görselde kimlik, plaka, yüz ya da adres yok.
• Fotoğraf net ve düz.
• Okunamayan yerleri işaretlemesini istedim.
• Rakamları kendim kontrol ettim.
• Ses kaydında başkasının sesi varsa izni aldım.

Sık yapılan hatalar

• Bulanık ya da eğik fotoğrafa güvenip sonucu kontrol etmemek.
• Yanıtı tıbbi görüntü ya da belge için kesin yorum saymak.
• Fotoğrafta başkalarının yüzünü ya da kimlik bilgilerini bırakmak.
• Aracın bir görselin gerçek olup olmadığını söyleyebileceğini sanmak.

Kendinizi deneyin

Videoyla izleyin

Video: Learn with Whiteboard (İngilizce). Türkçe altyazı için YouTube’da altyazı ayarını açabilirsiniz.

Kaynaklar

• Anthropic: Görsel işleme (Vision) belgesi (İngilizce)
• Google: Görsel anlama belgesi (İngilizce)
• Google: Ses anlama belgesi (İngilizce)
• Gemini Apps Yardım: Gemini Apps kullanımı (İngilizce)

Son kontrol: 10 Kasım 2026

Kaynak: yzdersleri.com/ders/cok-modlu-yapay-zeka-yazi-ses-ve-gorsel/ · Yapay Zeka Dersleri