La gerarchia
- Regola deterministica
- Cache o risultato già verificato
- Ricerca/retrieval
- Modello piccolo o locale
- Modello specializzato
- Modello generalista più grande
Perché fare routing
Un singolo modello per tutto semplifica la demo ma spreca risorse in produzione. Il routing rende esplicito il compromesso tra qualità e costo.
Cosa misurare
- Qualità del risultato
- Tempo di risposta
- Costo per richiesta
- Energia/compute quando misurabile
- Tasso di fallback
- Errori e rifiuti
Principio
SMALLEST SUFFICIENT SYSTEM.