决策与聊天回答的区别
聊天模型逐个 token 写出答案,然后你的代码必须解析它。决策模型只对你允许的答案评分。响应本身已是结构化数据:所选选项、每个选项的概率和 confidence 值。
这让输出在代码中易于使用。支持路由可在概率高于 0.8 时将工单转给账单团队,低于该值时转给人工。
三种问题类型
每个问题都有 id、type 和 instructions 字段。
- noul:一个真或假的陈述。答案是它为真的概率。
- choice:从选项映射中选出一个选项,每个选项都有可选描述。
- score:有序量表中的一个等级(从低到高排列),并附带每个等级的概率。
常见用途
典型任务包括:分派客服工单、审核评论、为 AI 智能体选择下一个工具、筛查提示注入、为 RAG 评估检索到的段落、给销售线索打分,以及将提示路由到能胜任的最便宜模型。在线体验中为每种任务都准备了现成示例。