Çok modlu yapay zekâ: metni, sesi ve görüntüyü birlikte anlamak

Ayten Hanım telefonundaki bir ayarı bulamıyordu. Torunu uzaktaydı, telefonla anlatmak zordu. Torunu ona yapay zekâ uygulamasında ekran paylaşımını denemesini önerdi; Ayten Hanım ekranı gösterip sesli olarak sordu ve adım adım yönlendirildi. Sonra torunu bir uyarı yaptı: “Ekranda başka şey açıkken paylaşma.”

Bu derste yapay zekânın yalnızca yazıyla değil, ses ve görüntüyle de çalıştığını, bunun günlük hayatta nerelerde işe yaradığını ve nelere dikkat etmeniz gerektiğini öğreneceksiniz. Fotoğraftaki yazıyı okutma konusu sitemizde ayrı bir dersle işlendi; burada tekrar etmiyoruz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Çok modlu yapay zekânın ne demek olduğunu.
• Ses, ekran ve grafik kullanımının günlük örneklerini.
• Sınırları ve gizlilik risklerini.

Çok modlu ne demek?

Modalite (modality), bilginin türüdür: metin, ses, görüntü, video. Çok modlu (multimodal) yapay zekâ bunlardan birden fazlasını aynı sohbette işleyebilir. OpenAI, ChatGPT’de sesli konuşma için konuşmayı yazıya çeviren Whisper adlı sistemi kullandığını ve görüntü anlamanın çok modlu GPT modelleriyle yapıldığını açıklamıştı. OpenAI’ın geliştirici sayfası, güncel modellerin metin ve görüntü girdisini desteklediğini, sesin ise ayrı modellerle ele alındığını belirtiyor. Yani ekranda tek bir sohbet görseniz de arkada birden fazla sistem çalışıyor olabilir.

Günlük hayatta dört örnek

• Sesli konuşma: Yazmak yerine konuşarak soru sorarsınız. Google, Gemini Live’ın beyin fırtınası ve konuşma provası için uygun olduğunu yazıyor. Anthropic’in sesli mod sayfasına göre sesli ve yazılı mesajlar aynı sohbette birleşebilir.
• Ekran paylaşma: Telefonunuzdaki bir menüyü yapay zekâya gösterip nereye dokunacağınızı sorarsınız. Google’a göre Gemini Live kamera ve ekran paylaşımı sunuyor.
• Grafik ya da tablo ekran görüntüsü: Bir raporun grafiğinin görüntüsünü yükleyip neyi anlattığını sorarsınız. Rakamları yine kaynaktan kontrol edin.
• Kurulum çizimi: Bir mobilya kılavuzundaki çizimin fotoğrafını çekip hangi parçanın hangisi olduğunu sorarsınız.

Sınırlar ve riskler

OpenAI’ın görüntü yardım sayfası, modelin dönmüş ya da ters duran içerikte, çizgi stiline dayanan grafiklerde ve hassas konumlandırma gerektiren işlerde zorlanabildiğini, sayımların yaklaşık olabileceğini ve betimlemelerin bazen yanlış çıkabileceğini yazıyor. Anthropic’in belgeleri, düşük kaliteli, çok küçük ya da dönmüş görüntülerde hata ve uydurma riskini, sayımların yanlış çıkabileceğini ve Claude’un kişileri adıyla tanımlamadığını belirtiyor. OpenAI de kişiler hakkında kesin ifadeler kurmayı sınırlayan önlemler eklediğini yazıyor. OpenAI ilk duyurusunda ses tanımanın Latin alfabesi dışındaki dillerde daha zayıf olabileceğini de belirtmişti.

Gizlilik tarafında üç kural: Kamerayı ya da ekranı paylaşmadan önce arka planda açık uygulamaları, bildirimleri ve belgeleri kapatın. Başkalarının görüntüsünü ya da sesini izinsiz yüklemeyin; Google da Gemini Live’da kayıt almadan önce izin alınmasını söylüyor. Kimlik ya da banka belgesi görüntülerini yüklemeyin.

Videoyla izleyin

İzlerken şuna dikkat edin: Kameranın neyi görüp sesli konuşmayla nasıl birleştiğine dikkat edin; kendi denemenizde arka planda kişisel bilgi olmamasına özen gösterin.

Video: Google (İngilizce). Türkçe altyazı için YouTube’da altyazı ayarını açabilirsiniz.

Adım adım uygulama

1. Gizli bilgi içermeyen bir grafik ya da tablo ekran görüntüsü seçin.
2. Görüntüyü yapay zekâ uygulamasına ekleyin ve yukarıdaki örnek isteği yazın.
3. Cevaptaki iki rakamı grafikle kendi gözünüzle karşılaştırın.
4. Aynı soruyu bu kez sesli sohbetle sorun ve cevabın ne kadar farklı olduğuna bakın.
5. Hangi işte yazıyı, hangisinde sesi ya da görüntüyü tercih edeceğinizi bir cümleyle not edin.

Kendinizi deneyin

Kaynaklar

• OpenAI, ChatGPT can now see, hear, and speak (İngilizce)
• OpenAI Yardım, ChatGPT image inputs FAQ (İngilizce)
• OpenAI Geliştirici Belgeleri, Models (İngilizce)
• Claude Belgeleri, Vision (İngilizce)
• Claude Yardım, Use voice mode (İngilizce)
• Gemini Yardım, Talk naturally with Gemini Live (İngilizce)
• Google: Gemini Live with Camera | Now on Google Pixel (video, İngilizce)

Son kontrol: 11 Kasım 2026

Kaynak: yzdersleri.com/ders/cok-modlu-yapay-zeka-metni-sesi-ve-goruntuyu-birlikte-anlamak/ · Yapay Zeka Dersleri