System Prompt Linter

Bu ne işe yarar?

Üretimdeki çoğu system prompt ölü ifadelerle dolu. "Yardımcı ol." "Her zaman doğru ol." "Asla uydurma." Bunlar dilek, talimat değil — model bunlara göre hareket edemez çünkü ona neyi farklı yapması gerektiğini söylemiyorlar. Bu araç prompt'una kısa bir sezgisel çalıştırır ve neredeyse her zaman prompt'un yazarın sandığından daha az iş yaptığını gösteren pattern'leri ortaya çıkarır. Görüş bildiren ve sezgisel, kahin değil — ama işaret ettiği boşluklar reviewer'ların işaret ettiği aynı boşluklar ve üretimde ince sürüklenmeye sebep olanlar.

Ne zaman kullanılır

• Yeni bir system prompt yayına almadan önce. Beş saniyelik sanity check.
• Eval regresyonları sonrası iterasyon yaparken. "Fena değil" görünen prompt'ta genelde birbiriyle çelişen 3 mutlak vardır.
• Bir takım arkadaşının prompt'unu incelerken. Prompt mühendisi olmadan üzerine yorum yapılabilecek şeyleri ortaya çıkarır.
• Birikerek büyümüş eski bir prompt'u denetlerken. Eski prompt'lar tortu toplar; linter en pahalıyı vurgular.

Neyi kontrol eder

• Belirli rol ataması — modelin gerçekte ne yaptığını mı söylüyor, yoksa sadece "yardımcı ol" mu?
• Örnekler — bir işlenmiş örnek, ne kadar nesir varsa yener. İki, biri yener.
• Çıktı formatı — JSON / nesir / tablo / markdown belirtilmiş mi? Bunu atlamak alt parser'ların kırılmasının #1 sebebidir.
• Refusal davranışı — kullanıcı kapsam dışına çıkınca model ne yapacak?
• Halüsinasyon korumaları — modele doğrulama, alıntı, bilmemeyi kabul etme söyler mi?
• Belirsiz mutlaklar — çok fazla "her zaman" / "asla" hepsini görmezden gelinebilir hale getirir.
• Çelişen direktifler — "öz olun" + "kapsamlı olun" ya da "her zaman X" + "asla X".
• Persona sürüklenmesi — birden çok "Sen…" cümlesi, modeli yanıtın ortasında persona değiştirmeye davet eder.
• Token boyutu — ~2k token'ı geçince ortadaki talimatlar kaybolur.
• Akıllı tırnaklar — Word'den kopyala-yapıştır, aşağı akış literal string eşleştirmeyi kırar.
• Hitap — "Sen yapacaksın" vs "Asistan yapmalı". Modeller ilkini tercih eder.
• Akıl yürütme işareti — çok adımlı görevler için açık bir "yanıtlamadan önce düşün" satırı.
• Meta-yorum sızıntısı — system prompt'ta "bir AI olarak…" gibi ifadeler yanıtlara sızma eğilimindedir.

Sınırlar

• Pattern eşleştirme, okuma değil. Örneklerinin iyi olup olmadığını ya da rolünün anlamlı olup olmadığını bilemez. Yalnızca yüzey pattern'lerin var olup olmadığını görür.
• Yanlış pozitifler olur. Kısa, odaklanmış bir prompt bu kurala göre "eksik" görünebilir — bazen eksik doğrudur.
• Eval'ların yerini tutmaz. Her kontrolden geçmek prompt'unun iyi olduğu anlamına gelmez; sadece açıkça bozuk olmadığı anlamına gelir.
• İngilizce yanlılığı. Sezgiseller İngilizce anahtar kelimeleri arar. İngilizce olmayan prompt'lar gürültülü sonuç verir.
• Gizlilik. Hiçbir şey sayfadan çıkmaz. Tüm kontroller tarayıcında JS'de çalışır.