Una Mixture of Experts è un’architettura che usa più componenti specializzabili, chiamate esperti, e un meccanismo di instradamento. Nei modelli MoE sparsi, soltanto una parte degli esperti viene attivata per ogni token. Parametri totali e parametri attivi sono quindi misure differenti.
Esempio pratico
Un modello può avere molti parametri complessivi, pur usando una frazione della rete per elaborare ciascun token.
Cosa tenere presente
Gli esperti non sono necessariamente agenti autonomi o specialisti in categorie comprensibili all’uomo. Memoria richiesta, comunicazione e bilanciamento del carico restano importanti.
Termini correlati
Fonte di riferimento: documentazione o ricerca originale. Verificata il 16 ottobre 2026.