Il pretraining è la fase iniziale in cui un modello apprende regolarità da un insieme ampio di dati attraverso un obiettivo di addestramento. Per molti modelli linguistici generativi include la previsione dei token successivi. Costruisce una base riutilizzabile prima degli adattamenti a compiti specifici.
Esempio pratico
Un modello acquisisce regolarità linguistiche generali prima di essere adattato a seguire istruzioni o a operare in un settore.
Cosa tenere presente
Dati estesi non garantiscono copertura completa o assenza di distorsioni. Qualità, composizione, licenze e periodo del corpus influenzano capacità e limiti successivi.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.