L’inferenza è l’uso di un modello addestrato per produrre un risultato a partire da un input. Nei modelli linguistici generativi comprende l’elaborazione del contesto e la produzione dei token di risposta. Si distingue dall’addestramento, che aggiorna i parametri.
Esempio pratico
Quando un utente chiede il riepilogo di un documento, il servizio esegue inferenza sul modello selezionato.
Cosa tenere presente
Costo e velocità dipendono anche da hardware, lunghezza del contesto, output e carico del servizio. Non basta confrontare la dimensione nominale dei modelli.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.