En quoi une décision diffère d’une réponse de chat
Un modèle de chat écrit une réponse token par token, puis votre code doit l’analyser. Un modèle de décision note uniquement les réponses que vous avez autorisées. La réponse est déjà structurée : l’option choisie, une probabilité pour chaque option et une valeur de confidence.
Cela rend la sortie facile à utiliser dans le code. Un routeur de support peut envoyer un ticket à la facturation lorsque la probabilité dépasse 0.8, et à une personne en dessous.
Les trois types de question
Chaque question possède un id, un type et des instructions.
- noul : une affirmation vraie ou fausse. La réponse est la probabilité qu’elle soit vraie.
- choice : une option parmi une map d’options, chacune avec une description facultative.
- score : un niveau sur une échelle ordonnée, du plus bas au plus haut, avec une probabilité pour chaque niveau.
À quoi il sert
Les usages typiques : router des tickets de support, modérer des commentaires, choisir le prochain outil d’un agent IA, détecter les injections de prompt, évaluer des passages récupérés pour le RAG, noter des leads et router des prompts vers le modèle capable le moins cher. Le playground propose un exemple prêt à l’emploi pour chacun.