Lo speculative decoding accelera la generazione proponendo token candidati con un meccanismo più economico e verificandoli con il modello principale. In configurazioni corrette, la procedura può mantenere la distribuzione di generazione del modello target pur riducendo il lavoro sequenziale.
Esempio pratico
Un modello piccolo propone una breve continuazione che il modello principale accetta o corregge.
Cosa tenere presente
Il beneficio dipende da tasso di accettazione, hardware e carico. Non consiste nel pubblicare direttamente risposte non verificate del modello più piccolo.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.