Bilimsel makaleyi yapay zekâyla eleştirel okumak: yöntem, örneklem, sınırlılık

Diyetisyen Elif Hanım Ankara’da, sabah bir haber sitesinde “Yeni çalışma: Yürüyüş uykuyu artırıyor” başlığını okuyor. Danışanlarına söylemeden önce bilimsel makalenin kendisine bakmak istiyor. Yapay zekâya “şunu özetle” demek kolay. Ama özet, makalenin söylediğinden fazlasını söyleyebilir.

Bu derste bir bilimsel makalenin araştırma sorusunu, örneklemini, ana bulgusunu ve sınırlılığını yapay zekâ yardımıyla çıkaracak, özetin abarttığı yeri makaledeki cümleyle karşılaştırarak bulacaksınız. Ders uzmanlık gerektirmez; ancak uzmanın yerini de tutmaz. Sağlık, hukuk ya da para kararlarını makaleye bakarak tek başınıza vermeyin.

Makale bulmayı ve kaynağı PubMed’de doğrulamayı Güncel makaleleri bulup özetletmek ve kaynağı PubMed’de doğrulamak dersinde işledik. Burada elinizde zaten bir makale var ve onu sorgulayarak okuyorsunuz.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Bir makaleden araştırma sorusunu, örneklemi, ana bulguyu ve sınırlılığı, her biri için makaledeki cümleyi göstererek çıkarırsınız.
• Çalışmanın türünü (rastgele deney mi, gözlemsel çalışma mı) belirler ve bunun “neden oldu” demeye izin verip vermediğini söylersiniz.
• Bir özetle makaleyi karşılaştırır, abartılan en az bir cümleyi bulur ve doğrusunu yazarsınız.

Bilimsel makalede dört şeyi bulun: soru, örneklem, bulgu, sınırlılık

Makaleyi baştan sona anlamanız gerekmez. Önce dört şeyi arayın.

• Araştırma sorusu: Yazarlar neyi merak ediyor? Genellikle özetin ilk cümlelerinde ve girişin sonunda yazar.
• Örneklem (sample): Kimler incelendi, kaç kişi, nerede, hangi yaşta? Yöntem bölümünde bulunur.
• Ana bulgu: Hangi iki grup ya da ölçüm karşılaştırıldı ve fark nedir? Sayıyı ve karşılaştırmayı birlikte not edin.
• Sınırlılık (limitation): Yazarların kendi söylediği eksikler. Çoğu makalede tartışma bölümünün sonunda yer alır.

Örneklemde şunu da sorun: Kimler dışarıda kaldı? Yalnızca genç gönüllülerle yapılmış bir çalışmanın sonucunu yaşlılar için söylemek, makalenin söylemediği bir şeyi söylemektir. Sınırlılık bölümü kısa ya da hiç yoksa bunu da not edin; yapay zekâdan eksik gördüğü noktaları ayrıca listelemesini isteyebilirsiniz, ama o listeyi bir görüş olarak okuyun, bulgu olarak değil.

Her maddenin yanına makaledeki cümleyi de yazdırın. Cümleyi gösteremeyen bir yanıt, yapay zekânın kendi yorumu olabilir.

Çalışmanın türü ne kadar kesin konuşulabileceğini belirler

Raporlama rehberleri, çalışma türüne göre makalede nelerin yazılması gerektiğini söyler. EQUATOR Network sayfalarına göre CONSORT rastgele denemelerin (randomised trials) raporlanması içindir. STROBE ise gözlemsel araştırmalar içindir ve kohort (cohort), vaka-kontrol (case-control) ve kesitsel (cross-sectional) çalışmaları kapsar. İkisi de “ne yazılmalı” sorusuna yanıt verir; çalışmanın nasıl tasarlanacağını anlatmaz. CONSORT sayfası bunun bir kalite değerlendirme aracı olmadığını da belirtir. Yani rehbere uyan bir makale otomatik olarak sağlam bir makale değildir.

Cochrane ise kendi incelemelerinde rastgele denemelerdeki yanlılık riskini (risk of bias) değerlendirmek için RoB 2 aracını öneriyor. Aracın her alanında sorulara verilen yanıtlara göre “düşük”, “yüksek” ya da “bazı kaygılar” kararı çıkıyor. Bu aracı kendiniz uygulamanız gerekmez. Öğrenmeniz gereken fikir şu: Yöntem bölümü, sonucun ne kadar güvenilir olduğunu anlatır.

Pratik sonuç: Gözlemsel bir çalışma iki şeyin birlikte görüldüğünü gösterebilir. “Birini yapmak ötekine neden oldu” demek için bu yeterli olmaz. Yapay zekâya çalışma türünü sorun, sonra yanıtı yöntem bölümündeki cümleyle doğrulayın.

Özet ve haber nerede abartır?

BMJ’de 2014’te yayımlanan bir çalışmada Sumner ve arkadaşları, 2011’de Birleşik Krallık’taki 20 üniversitenin yayımladığı 462 basın bültenini, ilgili makaleleri ve 668 haberi karşılaştırdı. Bültenlerin yüzde 40’ında okura verilen tavsiye, yüzde 33’ünde ilişkiden çıkarılan neden-sonuç iddiası, yüzde 36’sında hayvan deneyinden insana yapılan çıkarım makalenin ötesine geçiyordu. Bülten abartılıysa haberin de abartılma oranı belirgin biçimde daha yüksekti. Yazarlar bunun ilişki gösterdiğini, nedenselliği kanıtlamadığını da hatırlatıyor.

Yapay zekâ özetleri için benzer bir ölçüm var. Peters ve Chin-Yee, on dil modeliyle 4.900 özet üretip bunları özgün metinlerle karşılaştırdı. Makalenin önbaskı (preprint) sürümüne göre, genel olarak yapay zekâ özetlerinde genellenmiş sonuç, özgün özetlerin yaklaşık iki katı sıklıktaydı. Genelleme üç biçimde ortaya çıkıyordu: niceleyicisiz genel ifade, geçmiş zaman yerine şimdiki zaman ve bulgu yerine öneri. Yazarlar ayrıca istemde “doğru ol” diye vurgulamanın genellemeyi azaltmadığını, aksine artırdığını bildiriyor. Sonuçlar modele göre değişiyor; bu yüzden tek bir araca güvenmek yerine her özeti kontrol edin.

Bu üç kalıp, kontrol listenizi de verir: “Bulundu” yerine “azaltır” yazılmış mı? “Bu örneklemde” yerine “insanlar” denmiş mi? Bulgunun yanına kimsenin yazmadığı bir tavsiye eklenmiş mi?

Adım adım uygulama

1. Yayımlanmış bir makalenin özetini ve yöntem bölümünü hazırlayın. Kendi katılımcı verilerinizi ya da gizli belgeleri yapıştırmayın.
2. Yukarıdaki komutu yapıştırın ve beş maddeyi isteyin.
3. Verilen her cümleyi makalede arayarak bulun. Bulamadığınız maddeyi çıkarın.
4. Çalışma türünü yöntem bölümündeki bir cümleyle doğrulayın. Gözlemsel ise “neden oldu” demeye izin yok.
5. Haber ya da özet metnini ayrı yapıştırıp aynı beş maddeyle karşılaştırtın. Şimdiki zaman, “neden oldu” ve tavsiye cümlelerini işaretletin.
6. Abartılan cümleyi kendi cümlenizle, makalenin kesinlik düzeyinde yeniden yazın.
7. Karar gerektiren bir konuysa (sağlık, hukuk, para) alanın uzmanına ya da bir kütüphaneciye danışın.

Kendinizi deneyin

Kaynaklar

• EQUATOR Network, CONSORT (İngilizce)
• EQUATOR Network, STROBE (İngilizce)
• Cochrane Methods, RoB 2: A revised Cochrane risk-of-bias tool for randomized trials (İngilizce)
• Sumner ve ark., The association between exaggeration in health related science news and academic press releases, BMJ 2014 (İngilizce)
• Peters ve Chin-Yee, Generalization bias in large language model summarization of scientific research (önbaskı) (İngilizce)

Son kontrol: 12 Kasım 2026

Kaynak: yzdersleri.com/ders/bilimsel-makaleyi-yapay-zekayla-elestirel-okumak/ · Yapay Zeka Dersleri