Definizione
Che cos’è Model drift e come funziona?
Può dipendere da prodotti, clienti, processi o linguaggio che evolvono. Richiede monitoraggio, nuovi campioni e una procedura di aggiornamento.
Si distinguono due casi. Nel data drift cambiano gli input, per esempio nuovi codici articolo o un fornitore di materia prima diverso. Nel concept drift cambia la relazione tra input e risultato, per esempio quando una nuova regola commerciale modifica i tempi di consegna. Il primo si rileva confrontando le distribuzioni con indici come il PSI, il secondo richiede di confrontare le previsioni con gli esiti reali.
Esempio aziendale
Esempio di Model drift in azienda
Un classificatore di richieste perde precisione dopo il lancio di una nuova linea prodotti e viene rivalutato su dati recenti.
Applicazioni
Quando può essere utile
- monitoraggio dei modelli
- manutenzione predittiva
- credit scoring
- classificazione documentale
- previsioni di domanda
Limiti
Quando fare attenzione
- esiti reali disponibili solo settimane dopo
- soglie di allarme copiate senza taratura
- cambi stagionali scambiati per deriva
- riaddestramento automatico senza nuova validazione
Da non confondere
Model drift: con cosa non va confuso?
Il model drift riguarda il cambiamento nel tempo. Un errore di progettazione è presente già al momento del rilascio.
Dalla definizione al progetto
Cosa può realizzare Agentix con Model drift
Ogni modello che Agentix mette in produzione viene consegnato con il proprio monitoraggio: un riferimento delle distribuzioni di partenza, le metriche attese e un modo per raccogliere gli esiti reali dal gestionale, così la deriva emerge dai numeri e non dalle lamentele degli operatori.
Un cruscotto confronta settimanalmente input e previsioni con il periodo di riferimento, segnala le variabili che si sono spostate e calcola la precisione sugli esiti disponibili. Al superamento delle soglie parte una procedura documentata: analisi, nuovo campione, riaddestramento e confronto prima della sostituzione.
Valuta il caso d’uso con AgentixRisposte rapide
Domande frequenti su Model drift
Anche gli LLM soffrono di model drift?
Sì, in due modi. Le domande degli utenti cambiano nel tempo, e il fornitore può aggiornare il modello dietro la stessa API cambiandone il comportamento. Per questo conviene fissare la versione del modello e ripetere periodicamente un set di domande di prova.
Ogni quanto va riaddestrato un modello?
Non esiste un intervallo valido per tutti. Meglio collegare il riaddestramento a segnali misurati, come calo di precisione o distribuzione degli input fuori soglia, e a eventi noti: nuove linee prodotto, cambio di fornitori, nuove macchine o modifiche ai processi.
Dal concetto all’applicazione
Vuoi applicare Model drift nella tua azienda?
Partiamo dal processo, dai dati disponibili e dal risultato atteso per definire un primo progetto concreto.