RLAIF significa Reinforcement Learning from AI Feedback: apprendimento per rinforzo che usa feedback prodotto da sistemi AI. Può ridurre parte del lavoro di valutazione manuale, ma obiettivi e criteri restano progettati da persone. Nella Constitutional AI il feedback è guidato anche da principi espliciti.
I dati sintetici sono dati prodotti artificialmente per integrare o sostituire parte di un dataset. In ambito LLM possono essere domande, dialoghi o esempi generati da altri modelli e poi filtrati. Possono aiutare a coprire casi difficili da raccogliere direttamente.
La distillazione trasferisce parte del comportamento di un modello, detto insegnante, a un altro modello, spesso più piccolo. Può utilizzare probabilità, risposte o altri segnali prodotti dall’insegnante durante l’addestramento. L’obiettivo frequente è ottenere un modello meno costoso per un perimetro definito.
QLoRA combina adattamento LoRA e una rappresentazione quantizzata del modello di base per ridurre la memoria necessaria al fine-tuning. L’approccio originale usa una base congelata a precisione ridotta e aggiorna adattatori, con accorgimenti specifici per mantenere qualità e stabilità.
La GRPO è una tecnica di apprendimento per rinforzo che confronta gruppi di risposte prodotte per una richiesta, usando ricompense relative al gruppo. È stata impiegata nella ricerca sui modelli capaci di risolvere problemi verificabili, come alcuni esercizi matematici.
LoRA, Low-Rank Adaptation, è una tecnica di adattamento efficiente che addestra matrici aggiuntive di dimensione ridotta mantenendo congelati i pesi di base. Riduce il numero di parametri da aggiornare e può rendere il fine-tuning più accessibile dal punto di vista della memoria.
La DPO è una tecnica che usa coppie di risposte preferite e non preferite per ottimizzare direttamente il modello. Offre un’alternativa a pipeline di preferenze che addestrano un modello di ricompensa separato e poi impiegano un ciclo di reinforcement learning.
RLHF significa Reinforcement Learning from Human Feedback: apprendimento per rinforzo guidato da valutazioni umane. Nelle applicazioni ai modelli linguistici, preferenze fra risposte possono contribuire a costruire un segnale di ricompensa con cui migliorare il comportamento del modello.
L’SFT è un fine-tuning supervisionato che usa esempi di input e risposte desiderate. Nei modelli conversazionali i dati possono essere dialoghi con ruoli e formati coerenti. Il modello viene addestrato a riprodurre comportamenti compatibili con questi esempi.
Il post-training comprende interventi di addestramento successivi al pretraining per adattare comportamento e capacità del modello. Può includere esempi supervisionati, preferenze e apprendimento per rinforzo. È una fase distinta dall’inferenza, durante la quale il modello viene utilizzato per rispondere.
Il fine-tuning continua l’addestramento di un modello già preaddestrato usando dati scelti per un compito, dominio o comportamento. Aggiorna parametri del modello o componenti aggiuntive. Si distingue dal fornire documenti nel prompt, che modifica il contesto senza riaddestramento.
Il pretraining è la fase iniziale in cui un modello apprende regolarità da un insieme ampio di dati attraverso un obiettivo di addestramento. Per molti modelli linguistici generativi include la previsione dei token successivi. Costruisce una base riutilizzabile prima degli adattamenti a compiti specifici.
Il termine “Predictive Analytics” si riferisce all’uso di tecniche statistiche, algoritmi e machine learning per analizzare dati storici e fare previsioni su eventi futuri. Le analisi predittive vengono utilizzate in vari ambiti, dal marketing alla ...
Con il termine “PyTorch” si intende una libreria open-source per il Machine Learning sviluppata da Facebook’s AI Research lab. PyTorch è noto per la sua facilità d’uso e per la sua integrazione fluida con il ...
Con il termine “TensorFlow” intendiamo una piattaforma open-source per il Machine Learning sviluppata da Google. Permette di costruire e addestrare reti neurali per rilevare e decifrare modelli e correlazioni, analogamente al modo in cui un ...
L'”underfitting” è un fenomeno che si verifica quando un modello di Machine Learning è troppo semplice e non riesce ad apprendere la struttura sottostante nei dati di addestramento, producendo prestazioni scadenti. Termini correlati Pretraining Fine-tuning ...
Con il termine “overfitting” si intende il fenomeno che si verifica quando un modello di Machine Learning è troppo complesso e si adatta troppo bene ai dati di addestramento, perdendo la capacità di generalizzare su ...
Il termine “Big Data” si riferisce a enormi volumi di dati che non possono essere gestiti con metodi tradizionali. L’analisi dei Big Data può rivelare modelli e tendenze utili. Termini correlati Dati sintetici Pretraining Knowledge ...
Con il termine “Data Science” intendiamo un campo interdisciplinare che utilizza metodi scientifici, processi, algoritmi e sistemi per estrarre conoscenza e intuizioni dai dati. Termini correlati Dati sintetici Evals AI Embedding
In ambito informatico, con il termine “Algoritmo” intendiamo un insieme di regole o una procedura passo-passo che un computer segue per risolvere un particolare problema. Termini correlati Agenti AI e agentic AI Inferenza AI Evals ...
Con il termine “Reti Neurali” intendiamo modelli di calcolo vagamente ispirati al cervello umano che sono progettati per riconoscere modelli. Sono utilizzate in compiti complessi come il riconoscimento vocale o l’interpretazione dell’immagine. Termini correlati Transformer ...