En qué se diferencia una decisión de una respuesta de chat
Un modelo de chat escribe una respuesta token a token y luego tu código tiene que analizarla. Un modelo de decisión solo puntúa las respuestas que permitiste. La respuesta ya viene estructurada: la opción elegida, una probabilidad para cada opción y un valor de confidence.
Eso hace que la salida sea fácil de usar en código. Un enrutador de soporte puede enviar un ticket a facturación cuando la probabilidad supera 0.8 y a una persona cuando es inferior.
Los tres tipos de pregunta
Cada pregunta tiene un id, un type y un campo instructions.
- noul: una afirmación verdadera o falsa. La respuesta es la probabilidad de que sea verdadera.
- choice: una opción de un mapa de opciones, cada una con una descripción opcional.
- score: un nivel en una escala ordenada, de menor a mayor, con una probabilidad para cada nivel.
Para qué se usa
Los usos típicos son enrutar tickets de soporte, moderar comentarios, elegir la siguiente herramienta de un agente de IA, detectar inyecciones de prompt, evaluar pasajes recuperados para RAG, puntuar leads y enrutar prompts al modelo capaz más barato. El playground tiene un ejemplo listo para cada uno.