L’osservabilità degli LLM raccoglie segnali per capire il comportamento di un’applicazione AI: richieste, tempi, token, errori, strumenti chiamati e risultati. Le tracce aiutano a ricostruire il percorso fra input e output. Le convenzioni di telemetria non sostituiscono le valutazioni della qualità.
LLMOps indica le pratiche operative per sviluppare, distribuire e mantenere applicazioni basate su modelli linguistici. Comprende gestione delle versioni, prompt, dati, valutazioni, costi, monitoraggio e rilascio. Si sovrappone a MLOps e software engineering, con attenzione alle specificità degli LLM.
Il continuous batching raggruppa dinamicamente richieste durante l’esecuzione di un modello generativo. Quando alcune terminano, altre possono entrare nel gruppo senza attendere la conclusione di tutte. È una tecnica per utilizzare meglio le risorse del server.
Lo speculative decoding accelera la generazione proponendo token candidati con un meccanismo più economico e verificandoli con il modello principale. In configurazioni corrette, la procedura può mantenere la distribuzione di generazione del modello target pur riducendo il lavoro sequenziale.
Il prompt caching permette di riutilizzare elaborazioni associate a porzioni ripetute del contesto, secondo le regole del servizio. Può ridurre lavoro, latenza o costo quando istruzioni e documenti comuni vengono inviati più volte. Non è necessariamente una cache della risposta finale.
La quantizzazione rappresenta pesi o altre quantità numeriche del modello con precisione ridotta. Può diminuire memoria e trasferimenti e, su hardware adatto, rendere più efficiente l’inferenza. Metodi e componenti quantizzate possono essere diversi.
La KV cache conserva quantità intermedie key e value dell’attenzione durante la generazione autoregressiva. Evita di ricalcolarle per tutti i token precedenti a ogni nuovo passo. È una tecnica di esecuzione del modello, distinta dalla memoria persistente di un assistente.
L’inferenza è l’uso di un modello addestrato per produrre un risultato a partire da un input. Nei modelli linguistici generativi comprende l’elaborazione del contesto e la produzione dei token di risposta. Si distingue dall’addestramento, che aggiorna i parametri.