La DPO è una tecnica che usa coppie di risposte preferite e non preferite per ottimizzare direttamente il modello. Offre un’alternativa a pipeline di preferenze che addestrano un modello di ricompensa separato e poi impiegano un ciclo di reinforcement learning.
Esempio pratico
Un dataset confronta risposte corrette e utili con risposte meno appropriate allo stesso prompt.
Cosa tenere presente
La qualità delle preferenze resta decisiva. DPO non corregge automaticamente dati sbagliati né garantisce che una risposta preferita sia fattualmente corretta.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.