La KV cache conserva quantità intermedie key e value dell’attenzione durante la generazione autoregressiva. Evita di ricalcolarle per tutti i token precedenti a ogni nuovo passo. È una tecnica di esecuzione del modello, distinta dalla memoria persistente di un assistente.
Esempio pratico
Durante una risposta lunga, il motore riutilizza calcoli relativi al testo già elaborato.
Cosa tenere presente
La cache occupa memoria e può crescere con contesto e richieste concorrenti. Strategie di gestione e quantizzazione comportano compromessi fra consumo, velocità e precisione.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.