LLM-as-a-judge indica l’uso di un modello linguistico per valutare risposte o comportamenti secondo criteri espliciti. Il giudice può assegnare punteggi, classificare errori o confrontare alternative. È uno strumento per le evals, non un arbitro infallibile.
Esempio pratico
Un modello confronta due risposte di assistenza verificando se rispettano una griglia di chiarezza e completezza.
Cosa tenere presente
Posizione delle risposte, verbosità e preferenze del modello possono influenzare il giudizio. Calibrare il valutatore rispetto a esempi controllati e valutazioni umane indipendenti.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.