In cosa una decisione differisce da una risposta di chat
Un modello di chat scrive una risposta token per token, poi il tuo codice deve analizzarla. Un modello decisionale valuta solo le risposte che hai consentito. La risposta è già strutturata: l’opzione scelta, una probabilità per ogni opzione e un valore di confidence.
Così l’output è facile da usare nel codice. Un router di supporto può inviare un ticket alla fatturazione quando la probabilità è superiore a 0.8 e a una persona quando è inferiore.
I tre tipi di domanda
Ogni domanda ha un id, un type e delle instructions.
- noul: un’affermazione vera o falsa. La risposta è la probabilità che sia vera.
- choice: un’opzione da una mappa di opzioni, ognuna con una descrizione facoltativa.
- score: un livello su una scala ordinata, dal più basso al più alto, con una probabilità per ogni livello.
Per cosa viene usato
Gli usi tipici sono smistare i ticket di assistenza, moderare i commenti, scegliere il prossimo strumento di un agente AI, rilevare la prompt injection, valutare i passaggi recuperati per la RAG, assegnare un punteggio ai lead e instradare i prompt verso il modello adeguato più economico. Il playground ha un esempio pronto per ciascuno.