LLM-as-a-judge indica l’uso di un modello linguistico per valutare risposte o comportamenti secondo criteri espliciti. Il giudice può assegnare punteggi, classificare errori o confrontare alternative. È uno strumento per le evals, non un arbitro infallibile.
Le evals sono valutazioni sistematiche di un modello o di un sistema AI su casi e criteri definiti. Possono misurare correttezza, qualità, uso degli strumenti, costi e rispetto dei vincoli. Per gli agenti conta anche il percorso seguito, non soltanto il testo finale.