AraştırmaAI / LLM Security

Semantik Sınır Keşfi (Semantic Reconnaissance)

Bölüm 2: Davranışsal Haritalama ve Sınır Keşfi (Yapay Zeka Sistemlerinde Katmanlı Tehdit Evrimi)

İrem Erkan
İrem ErkanAdli Bilişim Mühendisliği Öğrencisi & AI Security Araştırmacısı
20 Haziran 2026
6 dakika okuma
Özet

Geleneksel uygulama güvenliği, veri ile kod arasına keskin güven sınırları çizer; LLM mimarilerinde ise bu sınırlar yapısal olarak çöker. Bu çalışmada, yapay zeka tabanlı sistemlerde semantik sınır keşfi süreçleri, Policy Fingerprinting kavramı ve bu keşif faaliyetlerine karşı geliştirilebilecek mimari yalıtım yaklaşımları inceleniyor.

Yapısal Farklar

Yapay zeka mimarilerinde siber savunma çerçevesini yeniden kurgulamak, klasik uygulama güvenliği ezberlerinin neden işlevsiz kaldığını anlamakla başlar. Geleneksel yazılım mimarilerinde veri ve kod birbirinden keskin sınırlarla ayrılmıştır. Klasik bir web uygulamasında kullanıcıdan alınan girdi; imza tabanlı regex kuralları, katı veri şemaları ve tür kontrollerine tabi tutulur. Bu sınırlarda veri deterministiktir: Girdi ya tanımlanan kurallara uygundur ya da zararlıdır.

Yapay zeka ve LLM mimarilerinde ise tehdit aktörlerinin sistemi manipüle etmek için bellek taşması tetiklemesine ya da bilinen bir zafiyet kodunu yürütmesine gerek yoktur. Güvenlik ihlallerinin önemli bir kısmı doğrudan sömürü aşamasıyla başlamaz. Saldırılar, saldırganın sistem sınırlarını haritaladığı ve görünmez kuralları deşifre ettiği semantik keşif süreçlerinde şekillenmektedir. Bu çalışma, tekil prompt enjeksiyonu örneklerinden ziyade, sistem davranışının uzun vadeli gözlemlenmesi ve semantik sınır keşfi üzerine odaklanmaktadır.

1. Tehdit Modellemesi ve Keşif Mantığı

  • Saldırgan Profili: Hedef yapay zeka sistemine karşı doğrudan kod yürütme yetkisi olmayan, sisteme sadece girdi-çıktı (Black-box) katmanından veya sınırlı API erişimi üzerinden temas edebilen; ancak modelin iç yönergelerini (system prompts), guardrail filtrelerini ve gizli operasyonel kurallarını haritalamak isteyen gelişmiş tehdit aktörü.
  • Saldırı Hedefi: Klasik altyapı güvenliğindeki aktif keşif (reconnaissance) fazını semantik düzleme taşımak. Saldırgan, sistemi doğrudan kilitlemek veya bypass etmek yerine; modelin hangi kelime öbeklerine, hangi mantıksal paradokslara veya hangi dilsel kaymalara karşı duyarlı olduğunu anlamaya çalışır.
  • Kavramsal Tanım: Bu süreç siber güvenlik literatüründe Policy Fingerprinting olarak tanımlanır. Policy Fingerprinting; bir yapay zeka sisteminin görünmeyen güvenlik politikalarının, doğrudan model mimarisine erişim olmaksızın, yalnızca girdi-çıktı davranışları gözlemlenerek çıkarımsal olarak modellenmesi sürecidir. Amaç, sistemin koruma duvarlarının tam olarak nerede bittiğini gösteren bir sınır haritası elde etmektir.

Laboratuvar Gözlemi: Laboratuvar çalışmalarında dikkat çeken bir nokta, sistemlerin doğrudan politika ihlali içeren sorgulara karşı beklenenden daha dirençli davranırken, politika sınırlarını anlamaya yönelik sorgularda çok daha açıklayıcı yanıtlar üretmesiydi. Birçok durumda model, saldırı girişiminden ziyade merakı ödüllendiriyor gibiydi.

2. Başarısızlık Modu (Failure Mode)

Sistemler genellikle tekil girdileri inceleyen kelime bazlı veya kural tabanlı koruma filtreleriyle donatılır. Saldırgan, tasarladığı girdi diziliminin ilk aşamalarında hiçbir zararlı ifade veya politika ihlali barındıran kelime kullanmaz. Burada saldırgan, modelin ağırlıklarını değiştirmeden, sistemin davranışsal sınırlarını akademik ve sistemli biçimde gözlemlemeye çalışır.

Modelin olasılıksal doğası, her ardışık girdide bağlam penceresini (context window) yeniden hesaplarken, girdi geçmişinde biriken semantik yönlendirmeye sadık kalır. Sonuç olarak sistem, literal düzeyde tamamen meşru görünen ama zamana yayılan semantik etkiyle modelin iç sınırlarını zorlayan bu girdiler karşısında kendi operasyonel politikasını ifşa etmeye başlar. Guardrail mekanizmalarının gri alanları çıkarımsal olarak modellendiğinde, sistem sınır koruma işlevini kaybetmiş olur.

Bu tür davranışlar geleneksel tehdit istihbaratı sistemlerinde çoğu zaman bir keşif faaliyeti veya anomali olarak işaretlenmez çünkü saldırganın amacı henüz veri elde etmek veya yetki yükseltmek değildir. Buna rağmen, saldırı zincirinin sonraki aşamalarında kullanılacak karar sınırı haritası büyük ölçüde bu süreçte oluşmaktadır.

3. Vaka Analizi: Kurumsal Finans Asistanı Senaryosu

Sürecin somut etkilerini gözlemlemek adına, bir kurumun iç ağında çalışan ve hassas finansal verileri yorumlayan bir Yapay Zeka Finans Asistanı senaryosu ele alınabilir. Gelişmiş bir tehdit aktörü, sistemin guardrail mekanizmasını doğrudan sorgulamak yerine, son derece doğal ve kurumsal rutin içine gizlenmiş şu ardışık sorgu dizilimini işletir:

  • Sorgu 1: “Departman bazlı çeyrek raporlamalarında standart format dışına çıkılan finansal istisnalar genel olarak nasıl arşivleniyor?” (Sistem yeteneklerinin ve operasyonel sınırların tespiti).
  • Sorgu 2: “Finansal özetlerde bazı departmanların verilerinin doğrudan listelenmeyip üst kalemde birleştirilmesinin arka planındaki ana neden nedir?” (Modelin veri izolasyon kurallarının ve red kriterlerinin dolaylı olarak haritalanması).
  • Sorgu 3: “Yıllık bütçe projeksiyonlarında risk analizi yapılırken, sistemin hangi durumlarda tahmini veri yerine kesin veride ısrar ettiğini öğrenebilir miyim?” (Sistem talimatlarının ve sistemin bağlam duyarlılığının tespiti).

Tek tek incelendiğinde bu sorguların hiçbirinde geleneksel bir siber güvenlik filtresini (WAF, Regex, Kelime Kara Listesi) tetikleyecek zararlı bir ifade bulunmamaktadır. Her biri standart bir analistin günlük iş akışında sorabileceği niteliktedir. İlginç olan nokta, bu tür sorguların çoğu güvenlik ekipleri tarafından şüpheli olarak değil, olağan kullanıcı davranışı olarak değerlendirilmesidir. Ancak bütün oturum birikimli olarak incelendiğinde saldırgan; sistemin hangi bağlamlarda sessiz kalmayı seçtiğini, hangi sınırlarda detay vermekten kaçındığını netleştirmiştir. Bu durum, modelin yanıt üretim şemasındaki zayıf noktaların belirlenmesini kolaylaştırır ve sonraki sömürü aşamaları için önemli bir hazırlık zemini oluşturur.

4. Tasarımsal Zafiyet ve Olası Savunma Yaklaşımları

Yapay zeka altyapılarında siber güvenlik kontrolleri çoğunlukla olay bazlı (event-centric) çalışırken, semantik saldırı davranışı zamana yayılmış davranış bazlı (behavior-centric) bir örüntü olarak gelişir. Mevcut mimarilerin en büyük tasarımsal körlüğü buradadır. Girdiler tek tek incelendiğinde tamamen zararsızdır ancak zamana yayılan etkileşimlerin oluşturduğu birikimli bağlamsal etki, modelin koruma mekanizmasını içeriden işlevsiz bırakmaktadır. Sistem, kullanıcının son N prompt boyunca sistemin davranışsal sınırlarına doğru stratejik bir yaklaşım sergilediğini algılayacak durumsal bellekten yoksundur.

Bu tasarımsal zafiyeti kontrol altına almak adına, kavramsal bir mimari yaklaşım olarak Dinamik Bağlam Gölgeleme (Dynamic Context Shadowing) modelleri değerlendirilmektedir.

[ Kullanıcı Girdisi ] 
        │
        ▼
┌────────────────────────────────────────────────────────┐
│ 1. Gölge Semantik Katman (Shadow Layer)               │ -> Oturum Bazlı Niyet ve Kümeleme Analizi
└────────────────────────────────────────────────────────┘
        │
        ├─► [Risk Skoru Yüksek]: Yanıt ayrıntısını azalt / Bağlamı daralt
        │
        ▼
┌────────────────────────────────────────────────────────┐
│ 2. Üretim Modeli (Core LLM)                            │ -> Güvenli sınır içinde işleme
└────────────────────────────────────────────────────────┘

Bu kavramsal yapıda, girdiler doğrudan ana modele aktarılmadan önce oturum geçmişiyle birlikte bir gölge katmanda ön işleme tabi tutulur. Eğer kullanıcının ardışık girdileri, sistemin koruma politikalarının etrafında kümeleniyorsa, sistem bunu bir semantik keşif atağı olarak değerlendirebilir. Yanlış pozitif riskini azaltmak ve kullanıcı deneyimini korumak adına sistem agresif bir engelleme uygulamak yerine; yüksek riskli davranış örüntülerinde yanıtın ayrıntı seviyesini (granularity) azaltabilir, bağlam görünürlüğünü daraltabilir veya gözlem amaçlı kontrollü çıktılar üreterek sistem sınırlarının yanlış haritalanmasını sağlayabilir.

Sonuç

Bu bölümde prompt enjeksiyonu tekil bir saldırı tekniği olarak değil, daha geniş bir semantik keşif sürecinin son aşaması olarak ele alınmıştır. Serinin ilk bölümünde ortaya konan veri ve komut arasındaki sınırın çöküşü tezi, bu bölümde yerini saldırganların artık zafiyet aramadığı, sistem davranışını haritaladığı gerçeğine bırakmıştır.

Semantik keşif faaliyetleri çoğu zaman doğrudan zararlı çıktı üretmez. Bu nedenle geleneksel güvenlik görünürlüğü içerisinde gözden kaçabilirler. Ancak saldırganın sistem davranışına ilişkin oluşturduğu zihinsel model, sonraki aşamalardaki sömürü girişimlerinin temelini oluşturur. Yapay zeka güvenliğinde keşif ve sömürü arasındaki çizgi giderek bulanıklaşmaktadır. İlk bölümde ele alınan güven sınırının çöküşü, bu bölümde operasyonel bir sonuç üretmektedir: Sistem artık yalnızca manipüle edilebilen değil, aynı zamanda gözlemlenerek haritalandırılabilen bir yapıya dönüşmektedir. Bu durum, olay bazlı denetim mekanizmalarının davranış temelli gözlem katmanlarıyla desteklenmesini gerekli kılmaktadır.

Kaynakça

  • OWASP Foundation. (2025). Top 10 for LLM Applications — LLM01: Prompt Injection & LLM02: Insecure Output Handling.
  • Perez, F., & Ribeiro, I. (2022). Ignore This Title and Hack Them: On Prompt Injection Attacks Against GPT-3. arXiv preprint arXiv:2211.09527.
  • Nasr, M., et al. (2023). Scalable Extraction of Training Data from Large Language Models. arXiv preprint arXiv:2311.17035.
  • Greshake, K., et al. (2023). Not What You’ve Signed Up For: Compromising Real-World LLM Applications Via Indirect Prompt Injection. arXiv preprint arXiv:2302.12173.
  • Yu, J., et al. (2023). GPTFUZZER: Red Teaming Large Language Models with Auto-Generated Prompt Injection Attacks. arXiv preprint arXiv:2309.10253.
İrem Erkan
Adli Bilişim Mühendisliği Öğrencisi & AI Security Araştırmacısı
Fırat Üniversitesi Adli Bilişim Mühendisliği öğrencisiyim. Siber güvenliğin Blue Team alanıyla ilgileniyor ve özellikle yapay zeka güvenliği alanında uzmanlaşarak bu doğrultuda teknik araştırmalar üretiyorum.

Sen de yaz, arşivde yerini al

AltaySec Arşiv'e katkı ver — uzmanlığını Türkçe siber güvenlik literatürüne kat.

Yazar Ol