La quantizzazione rappresenta pesi o altre quantità numeriche del modello con precisione ridotta. Può diminuire memoria e trasferimenti e, su hardware adatto, rendere più efficiente l’inferenza. Metodi e componenti quantizzate possono essere diversi.
Esempio pratico
Un modello può essere eseguito con una rappresentazione a precisione inferiore per adattarsi alla memoria disponibile.
Cosa tenere presente
Meno bit non garantiscono maggiore velocità su ogni dispositivo. Sono possibili perdite di qualità; verificare compiti reali, compatibilità dei kernel e requisiti del contesto.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.