Prompt Diff
İki prompt'u (veya bir prompt'un iki sürümünü) yan yana karşılaştır. Vurgulanmış değişikliklerle satır seviyesi diff. LLM prompt'ları üzerinde iterasyon için tasarlandı.
Bu ne işe yarar?
Prompt mühendisliği yinelemedir: prompt yazarsın, test edersin, bir ifadeyi değiştirirsin, tekrar test edersin. Bir düzine turdan sonra elinde "sürüm 1" ve "sürüm 14" var, ama nerede ne değiştiğine dair temiz bir kayıt yok. Bu araç o kaydı isteğe bağlı verir — herhangi iki prompt'u yapıştır ve hangi satırların eklendiğini, kaldırıldığını veya dokunulmadan kaldığını tam olarak gör. Git yok, kurulum yok, upload yok.
Ne zaman kullanılır
- Bir deployment değişikliğini denetleme. Pazarlama geçen hafta system prompt'u ince ayarlamış — tam olarak ne farklı? İki sürümü de yapıştır ve diff'i oku.
- Prompt A/B testi. İki aday, biri eval'de daha iyi. Farkı izole etmek için diff.
- Regresyonu geri alma. En son prompt iki iterasyon öncekinden daha kötü — hangi satırı değiştirdin?
- Bir takım arkadaşının edit'ini inceleme. "Küçük bir ayarlama" gönderdi system prompt'a — sadece söylediği yere mi dokundu?
- Model aileleri arasında geçiş. Bir prompt'u GPT'den Claude'a uyarlamak genelde küçük kelime değişiklikleri demek — yeniden yazımdan sonra yapının korunduğunu doğrulamak için diff.
Yan yana vs birleşik
- Yan yana — A solda, B sağda. İki sürüm benzer uzunlukta olduğunda ve görsel taramak istediğinde iyi.
- Birleşik — + / − işaretçileriyle tek sütun,
git diffçıktısını yansıtır. Slack mesajında paylaşmak veya seyrek değişiklikler için daha iyi.
Yaygın tuzaklar
- Bu satır seviyesi bir diff. Uzun bir satırın ortasında değişen tek kelime tüm satırı ekleme+kaldırma olarak işaretler. Cümle seviyesi diff için kelime seviyesinde bir araç tercih edebilirsin.
- Sondaki boşluk. Bir satırın sonundaki gizli boşluklar onu farklı olarak işaretler — duruma göre yararlı veya gürültü. Yalnızca görünür içerikle ilgileniyorsan "Sondaki boşluğu yok say" anahtarını kullan.
- Yeniden sıralanmış bloklar silme+ekleme gibi görünür. Bir paragrafı 1. konumdan 3.'ye taşıdıysan, diff onu 1'de kaldırıldı ve 3'te eklendi olarak gösterir. "Taşındı" tespiti yok.
- Satırlar, token'lar değil. Bu diff token konuşmaz; satır konuşur. İki prompt'un aynı içeriği farklı satır uzunluklarına sarılı haldeyse, her satır farklı görünür. Önce satır sonlarını normalize et.
- Gizlilik. Her şey sekmeinde kalır. Aracın örnek yer tutucusuna sırlar yapıştırma — yer tutucu metni sabit kodlanmış, girişine bağlı değil.