Il continuous batching raggruppa dinamicamente richieste durante l’esecuzione di un modello generativo. Quando alcune terminano, altre possono entrare nel gruppo senza attendere la conclusione di tutte. È una tecnica per utilizzare meglio le risorse del server.
Esempio pratico
Un servizio gestisce richieste con risposte di lunghezze diverse, mantenendo occupata la GPU quando si liberano slot.
Cosa tenere presente
Maggiore throughput non equivale sempre a minore latenza per ogni utente. Vanno misurati tempi di attesa, primo token, memoria e prestazioni sotto carico.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.