Como uma decisão difere de uma resposta de chat
Um modelo de chat escreve uma resposta token a token, e depois seu código precisa analisá-la. Um modelo de decisão apenas pontua as respostas que você permitiu. A resposta já vem estruturada: a opção escolhida, uma probabilidade para cada opção e um valor de confidence.
Isso torna a saída fácil de usar no código. Um roteador de suporte pode enviar um ticket para o faturamento quando a probabilidade for acima de 0.8 e para uma pessoa quando for abaixo disso.
Os três tipos de pergunta
Cada pergunta tem um id, um type e um campo instructions.
- noul: uma afirmação verdadeira ou falsa. A resposta é a probabilidade de ela ser verdadeira.
- choice: uma opção de um mapa de opções, cada uma com uma descrição opcional.
- score: um nível em uma escala ordenada, do menor para o maior, com uma probabilidade para cada nível.
Para que as pessoas usam
Os usos típicos são encaminhar tickets de suporte, moderar comentários, escolher a próxima ferramenta de um agente de IA, detectar injeção de prompt, avaliar trechos recuperados para RAG, pontuar leads e encaminhar prompts para o modelo capaz mais barato. O playground tem um exemplo pronto para cada um.