I modelli di diffusione sono modelli generativi che apprendono a ricostruire dati a partire da versioni progressivamente alterate dal rumore. Nella generazione, un processo iterativo produce contenuti coerenti a partire da una rappresentazione rumorosa, eventualmente condizionato da testo o altri segnali.
Un SLM è un modello linguistico relativamente compatto rispetto ai modelli più grandi del contesto di riferimento. Non esiste una soglia numerica universalmente condivisa. Può essere utile per compiti delimitati, esecuzione locale o riduzione di costi e latenza.
Un modello multimodale elabora o genera più tipi di dati, come testo, immagini, audio o video. Un vision-language model, o VLM, collega in particolare informazioni visive e linguistiche. Le modalità supportate in ingresso e in uscita dipendono dal sistema.
Una Mixture of Experts è un’architettura che usa più componenti specializzabili, chiamate esperti, e un meccanismo di instradamento. Nei modelli MoE sparsi, soltanto una parte degli esperti viene attivata per ogni token. Parametri totali e parametri attivi sono quindi misure differenti.
Il continuous batching raggruppa dinamicamente richieste durante l’esecuzione di un modello generativo. Quando alcune terminano, altre possono entrare nel gruppo senza attendere la conclusione di tutte. È una tecnica per utilizzare meglio le risorse del server.
Lo speculative decoding accelera la generazione proponendo token candidati con un meccanismo più economico e verificandoli con il modello principale. In configurazioni corrette, la procedura può mantenere la distribuzione di generazione del modello target pur riducendo il lavoro sequenziale.
Il prompt caching permette di riutilizzare elaborazioni associate a porzioni ripetute del contesto, secondo le regole del servizio. Può ridurre lavoro, latenza o costo quando istruzioni e documenti comuni vengono inviati più volte. Non è necessariamente una cache della risposta finale.
La quantizzazione rappresenta pesi o altre quantità numeriche del modello con precisione ridotta. Può diminuire memoria e trasferimenti e, su hardware adatto, rendere più efficiente l’inferenza. Metodi e componenti quantizzate possono essere diversi.
La KV cache conserva quantità intermedie key e value dell’attenzione durante la generazione autoregressiva. Evita di ricalcolarle per tutti i token precedenti a ogni nuovo passo. È una tecnica di esecuzione del modello, distinta dalla memoria persistente di un assistente.
L’inferenza è l’uso di un modello addestrato per produrre un risultato a partire da un input. Nei modelli linguistici generativi comprende l’elaborazione del contesto e la produzione dei token di risposta. Si distingue dall’addestramento, che aggiorna i parametri.
I dati sintetici sono dati prodotti artificialmente per integrare o sostituire parte di un dataset. In ambito LLM possono essere domande, dialoghi o esempi generati da altri modelli e poi filtrati. Possono aiutare a coprire casi difficili da raccogliere direttamente.
La distillazione trasferisce parte del comportamento di un modello, detto insegnante, a un altro modello, spesso più piccolo. Può utilizzare probabilità, risposte o altri segnali prodotti dall’insegnante durante l’addestramento. L’obiettivo frequente è ottenere un modello meno costoso per un perimetro definito.
QLoRA combina adattamento LoRA e una rappresentazione quantizzata del modello di base per ridurre la memoria necessaria al fine-tuning. L’approccio originale usa una base congelata a precisione ridotta e aggiorna adattatori, con accorgimenti specifici per mantenere qualità e stabilità.
La GRPO è una tecnica di apprendimento per rinforzo che confronta gruppi di risposte prodotte per una richiesta, usando ricompense relative al gruppo. È stata impiegata nella ricerca sui modelli capaci di risolvere problemi verificabili, come alcuni esercizi matematici.
LoRA, Low-Rank Adaptation, è una tecnica di adattamento efficiente che addestra matrici aggiuntive di dimensione ridotta mantenendo congelati i pesi di base. Riduce il numero di parametri da aggiornare e può rendere il fine-tuning più accessibile dal punto di vista della memoria.
La DPO è una tecnica che usa coppie di risposte preferite e non preferite per ottimizzare direttamente il modello. Offre un’alternativa a pipeline di preferenze che addestrano un modello di ricompensa separato e poi impiegano un ciclo di reinforcement learning.
RLHF significa Reinforcement Learning from Human Feedback: apprendimento per rinforzo guidato da valutazioni umane. Nelle applicazioni ai modelli linguistici, preferenze fra risposte possono contribuire a costruire un segnale di ricompensa con cui migliorare il comportamento del modello.
L’SFT è un fine-tuning supervisionato che usa esempi di input e risposte desiderate. Nei modelli conversazionali i dati possono essere dialoghi con ruoli e formati coerenti. Il modello viene addestrato a riprodurre comportamenti compatibili con questi esempi.
Il post-training comprende interventi di addestramento successivi al pretraining per adattare comportamento e capacità del modello. Può includere esempi supervisionati, preferenze e apprendimento per rinforzo. È una fase distinta dall’inferenza, durante la quale il modello viene utilizzato per rispondere.
Il fine-tuning continua l’addestramento di un modello già preaddestrato usando dati scelti per un compito, dominio o comportamento. Aggiorna parametri del modello o componenti aggiuntive. Si distingue dal fornire documenti nel prompt, che modifica il contesto senza riaddestramento.
Il pretraining è la fase iniziale in cui un modello apprende regolarità da un insieme ampio di dati attraverso un obiettivo di addestramento. Per molti modelli linguistici generativi include la previsione dei token successivi. Costruisce una base riutilizzabile prima degli adattamenti a compiti specifici.