Kırmızı takım tatbikatı: yapay zekâ asistanını sınamak

Ayşe Hanım bir kamu kurumunda dijital hizmetler biriminin başında. Kurum, vatandaş sorularını yanıtlayacak bir yapay zekâ asistanını yayına almadan önce sınamak istiyor. Zaman kısıtlı; dışarıdan bir güvenlik ekibi çağırmak bu aşamada mümkün değil. Elinde beş kişilik bir ekip ve iki haftası var.

Bu derste Ayşe Hanım’ın ekibiyle küçük bir kırmızı takım (red teaming) tatbikatı planlayacaksınız. Kırmızı takım, bir sistemi kötü niyetli ya da dikkatsiz bir kullanıcının gözüyle bilerek zorlamak demektir. Üç senaryo ailesi üzerinde çalışacaksınız: kötüye kullanım, veri sızdırma ve yanlış bilgi. Sonunda elinizde bir senaryo kartı, bir kayıt tablosu ve bir bulgu sınıflandırması olacak.

Aklınıza bir soru mu takıldı?

Sorunuzu ya da aradığınız konuyu yazın Ders bul

Bu derste neler öğreneceksiniz?

• Tatbikat için kapsamı, ekibi ve durma kurallarını yazmak
• OWASP listesindeki risklerden üç senaryo kartı çıkarmak
• Her denemeyi tekrar edilebilir biçimde kayıt tablosuna işlemek
• Bulguları sınıflandırıp yöneticilere kısa bir rapor hazırlamak

Kırmızı takım neyi bulur, neyi bulmaz?

NIST’in üretken yapay zekâ profili, kırmızı takımı bir yapay zekâ sistemindeki kusur ve açıkları bulmak için yapılan yapılandırılmış bir test olarak tanımlar. Aynı belge, ekibin geçmişi ve uzmanlığı ne kadar çeşitliyse farklı kullanım ortamlarındaki kusurların o kadar iyi yakalanacağını söyler. Testi yürütenlerin, sınanan sistemi geliştirenlerle aynı kişiler olmaması da önerilir.

Microsoft’un rehberi önemli bir sınırı hatırlatır: kırmızı takım riski ortaya çıkarır, ama bir ölçüm değildir. Bulduğunuz on örnek, sorunun ne kadar yaygın olduğunu göstermez. Yaygınlığı ölçmek için ayrı bir değerlendirme gerekir. OpenAI da bulguların bir anın fotoğrafı olduğunu, sistem değiştikçe eskiyebileceğini belirtir.

Ekip, kapsam ve senaryo kartı

Beş kişilik ekip yeterlidir, yeter ki karışık olsun. Microsoft, güvenlik deneyimi olanlarla geliştirmede yer almamış sıradan kullanıcıları birlikte çalıştırmayı önerir. Ayşe Hanım’ın ekibinde bir bilgi işlem uzmanı, bir hukuk birimi çalışanı, iki çağrı merkezi personeli ve bir stajyer var. Herkes hem iyi niyetli hem kötü niyetli kullanıcı rolüne girecek.

Başlamadan önce kapsamı yazın: hangi sistem, hangi arayüz, hangi tarih aralığı. Yalnız yetkili olduğunuz test ortamında çalışın ve gerçek kişisel veri kullanmayın; deneme verilerini uydurma adlarla hazırlayın. Ardından her senaryo için bir kart doldurun:

• Kod ve risk: Örneğin S-02, hassas bilgi ifşası (sensitive information disclosure).
• Rol: Kim gibi davranacaksınız? Meraklı vatandaş, başkasının bilgisini arayan kişi.
• Amaç: Asistandan ne koparmaya çalışıyorsunuz?
• Beklenen doğru davranış: Asistan reddetmeli mi, yönlendirmeli mi?
• Durma kuralı: Gerçek bir açık görürseniz denemeyi bırakıp kimi arayacaksınız?

Üç senaryo ailesini OWASP’ın 2025 listesine bağlayın. Kötüye kullanım için komut enjeksiyonu (prompt injection) ve korumaları aşma denemeleri, veri sızdırma için hassas bilgi ifşası ve sistem talimatının sızması (system prompt leakage), yanlış bilgi için de listedeki yanlış bilgi (misinformation) maddesi uygun başlangıçtır.

Kayıt tablosu ve bulgu sınıflandırma

Kayıt tablosunu ortak bir tabloda tutun; ekip birbirinin denemesini görür, aynı şeyi iki kez denemez. Microsoft’un önerdiği temel sütunlar şunlardır: tarih, deneme numarası, girilen komut, çıktının açıklaması ya da ekran görüntüsü ve notlar. Siz buna senaryo kodu ve sınıf sütunu ekleyin. Çok fazla zorunlu alan, test edeni yorar.

Her bulguyu OpenAI’ın kullandığı mantıkla üç sınıftan birine koyun: mevcut kurallara uygun, mevcut kuralları ihlal ediyor, yeni bir kural ya da davranış değişikliği gerektiriyor. İhlal edenlere ayrıca bir önem derecesi verin: yüksek, orta ya da düşük. Bu dereceleri kurumunuz kendisi tanımlar; tanımı tatbikattan önce yazın.

Adım adım uygulama

1. Bir sayfalık kapsam notu yazın: sistem, arayüz, tarih, ekip ve iletişim kişisi. Ekipteki herkes notu okuyup onayladığında bu adım tamamdır.
2. Üç senaryo ailesinin her biri için en az iki kart doldurun. Her kartta beklenen doğru davranış ve durma kuralı yazılıysa adım tamamdır.
3. İlk turu açık uçlu yapın; ekip kartların dışına da çıksın. Microsoft önce serbest denemeyi, sonra zarar listesine dayalı yönlendirmeli turu önerir. Her deneme tabloya işlendiyse tur tamamdır.
4. Bulguları üç sınıfa ayırın ve ihlal edenlere önem derecesi verin. Tabloda sınıfı boş satır kalmadığında adım tamamdır.
5. Yöneticilere kısa rapor yazın: en önemli sorunlar, ham tabloya bağlantı, bir sonraki turun planı ve ekibe teşekkür. Raporda bunun bir ölçüm olmadığı açıkça yazıyorsa adım tamamdır.

Sık yapılan hatalar

• Testi sistemi kuran ekibe yaptırmak. Kuran kişi, sistemin nerede zorlanacağını görmekte zorlanır.
• Bulunan örnekleri oran gibi sunmak. Üç başarılı deneme, kullanıcıların yüzde kaçının bu sorunla karşılaşacağını söylemez.
• Açığı yöntemiyle birlikte geniş bir listeye göndermek. OpenAI, bu tür bilgilerin kötüye kullanılabileceğini ve paylaşımın sınırlı tutulmasını önerir.

Kendinizi deneyin

Kaynaklar

• NIST AI 600-1: Generative Artificial Intelligence Profile (İngilizce)
• OWASP Top 10 for LLM Applications 2025 (İngilizce)
• Microsoft: Planning red teaming for large language models (İngilizce)
• OpenAI: Advancing red teaming with people and AI (İngilizce)
• Anthropic: Challenges in red teaming AI systems (İngilizce)

Son kontrol: 13 Kasım 2026. Bu bilgi 13.11.2026 tarihli kaynaklara dayanır; durum değişebilir.

Kaynak: yzdersleri.com/ders/kurum-ici-kirmizi-takim-tatbikati-yapay-zeka-asistani/ · Yapay Zeka Dersleri