Pred nasadením nového systémového promptu. Päťsekundový sanity check. Pri iterovaní po eval regresiách. Prompt, ktorý „vyzerá v poriadku", mívva 3 absolútne pravidlá, ktoré si protirečia. Pri review promptu kolegu. Vyrolovava veci, ku ktorým sa dá vyjadriť bez toho, aby si bol prompt-engineer. Pri audite starého promptu, ktorý rástol nabaľovaním. Staré prompty zbierajú zbytky; linter zvýrazní ten najdrahší.

Konkrétne pridelenie roly — hovorí, čo model skutočne robí, alebo len „buď nápomocný"? Príklady — jeden prepracovaný príklad zbije akékoľvek množstvo prózy. Dva zbijú jeden. Výstupný formát — určuje JSON / prózu / tabuľku / markdown? Vynechať to je príčina #1 krehkých parserov. Správanie pri refuse — čo model robí, keď používateľ vyjde zo scope-u? Poistky proti halucinácii — hovorí modelu overovať, citovať, priznať neznalosť? Vágne absolútne pravidlá — priveľa „vždy" / „nikdy" spôsobí, že sa všetky dajú ignorovať. Protichodné direktívy — „buď stručný" + „buď dôkladný", alebo „vždy X" + „nikdy X". Drift persony — viacero viet „Si…" pozýva model meniť personu uprostred odpovede. Veľkosť v tokenoch — nad ~2k tokenov sa pokyny zo stredu strácajú. Smart úvodzovky — copy-paste z Wordu, rozbíja literálne porovnávanie reťazcov. Oslovenie — „Ty urobíš" vs „Asistent by mal". Modely uprednostňujú prvé. Náznak uvažovania — pre úlohy s viacerými krokmi explicitný riadok „premysli pred odpoveďou". Únik meta-komentára — frázy ako „ako AI…" v systémovom prompte unikajú do odpovedí.

Je to hľadanie vzorov, nie čítanie. Nevie, či sú tvoje príklady dobré, ani či má rola zmysel. Iba si všíma, či sú povrchové vzory prítomné. Falošné pozitíva sa stávajú. Krátky, sústredený prompt môže pri tomto rebríčku vyzerať „neúplne" — niekedy neúplný je správny. Nenahrádza evaly. Prejsť všetky kontroly neznamená, že tvoj prompt je dobrý; znamená, že nie je očividne pokazený. Anglický bias. Heuristiky hľadajú anglické kľúčové slová. Neanglické prompty dajú zašumené výsledky. Súkromie. Nič neopustí stránku. Všetky kontroly bežia v JS v tvojom prehliadači.

Linter systémového promptu

Analyzuje systémový prompt na bežné problémy: vágne pokyny, protichodné pravidlá, chýbajúce príklady, nafúknutý kontext. Heuristický, vyhranený, rýchly.

System prompt

Findings

Načo to slúži?

Väčšina systémových promptov v produkcii je plná mŕtvych fráz. „Buď nápomocný." „Vždy buď presný." „Nikdy si nevymýšľaj." To sú želania, nie pokyny — model na nich nedokáže konať, lebo mu nehovoria, čo má robiť inak. Tento nástroj prebehne krátku heuristiku cez tvoj prompt a vynesie na povrch vzory, ktoré takmer vždy naznačujú, že prompt robí menej práce, ako si autor myslí. Vyhranený a heuristický, nie veštec — ale medzery, ktoré označí, sú tie isté, ktoré označia reviewers, a tie isté, ktoré spôsobujú jemný drift v produkcii.

Kedy to použiť

Pred nasadením nového systémového promptu. Päťsekundový sanity check.
Pri iterovaní po eval regresiách. Prompt, ktorý „vyzerá v poriadku", mívva 3 absolútne pravidlá, ktoré si protirečia.
Pri review promptu kolegu. Vyrolovava veci, ku ktorým sa dá vyjadriť bez toho, aby si bol prompt-engineer.
Pri audite starého promptu, ktorý rástol nabaľovaním. Staré prompty zbierajú zbytky; linter zvýrazní ten najdrahší.

Čo kontroluje

Konkrétne pridelenie roly — hovorí, čo model skutočne robí, alebo len „buď nápomocný"?
Príklady — jeden prepracovaný príklad zbije akékoľvek množstvo prózy. Dva zbijú jeden.
Výstupný formát — určuje JSON / prózu / tabuľku / markdown? Vynechať to je príčina #1 krehkých parserov.
Správanie pri refuse — čo model robí, keď používateľ vyjde zo scope-u?
Poistky proti halucinácii — hovorí modelu overovať, citovať, priznať neznalosť?
Vágne absolútne pravidlá — priveľa „vždy" / „nikdy" spôsobí, že sa všetky dajú ignorovať.
Protichodné direktívy — „buď stručný" + „buď dôkladný", alebo „vždy X" + „nikdy X".
Drift persony — viacero viet „Si…" pozýva model meniť personu uprostred odpovede.
Veľkosť v tokenoch — nad ~2k tokenov sa pokyny zo stredu strácajú.
Smart úvodzovky — copy-paste z Wordu, rozbíja literálne porovnávanie reťazcov.
Oslovenie — „Ty urobíš" vs „Asistent by mal". Modely uprednostňujú prvé.
Náznak uvažovania — pre úlohy s viacerými krokmi explicitný riadok „premysli pred odpoveďou".
Únik meta-komentára — frázy ako „ako AI…" v systémovom prompte unikajú do odpovedí.

Obmedzenia

Je to hľadanie vzorov, nie čítanie. Nevie, či sú tvoje príklady dobré, ani či má rola zmysel. Iba si všíma, či sú povrchové vzory prítomné.
Falošné pozitíva sa stávajú. Krátky, sústredený prompt môže pri tomto rebríčku vyzerať „neúplne" — niekedy neúplný je správny.
Nenahrádza evaly. Prejsť všetky kontroly neznamená, že tvoj prompt je dobrý; znamená, že nie je očividne pokazený.
Anglický bias. Heuristiky hľadajú anglické kľúčové slová. Neanglické prompty dajú zašumené výsledky.
Súkromie. Nič neopustí stránku. Všetky kontroly bežia v JS v tvojom prehliadači.