의사결정과 채팅 답변의 차이
채팅 모델은 답변을 token 단위로 작성하고, 코드에서 이를 파싱해야 합니다. 의사결정 모델은 허용한 답변만 평가합니다. 응답은 이미 구조화되어 있습니다. 선택된 옵션, 각 옵션의 확률, confidence 값입니다.
덕분에 출력을 코드에서 쉽게 사용할 수 있습니다. 지원 라우터는 확률이 0.8보다 높으면 티켓을 결제팀으로, 그보다 낮으면 사람에게 보낼 수 있습니다.
세 가지 질문 유형
각 질문에는 id, type, instructions가 있습니다.
- noul: 참 또는 거짓인 문장입니다. 답변은 그것이 참일 확률입니다.
- choice: 선택지 맵에서 하나를 고릅니다. 각 선택지에는 선택적 설명이 있습니다.
- score: 낮은 순으로 정렬된 척도에서 하나의 단계를 반환하며, 모든 단계의 확률이 함께 제공됩니다.
주요 용도
대표적인 용도는 지원 티켓 라우팅, 댓글 검수, AI 에이전트의 다음 도구 선택, 프롬프트 인젝션 차단, RAG용 검색 구절 평가, 리드 점수화, 처리 가능한 가장 저렴한 모델로의 프롬프트 라우팅입니다. 플레이그라운드에 각 용도별 예시가 준비되어 있습니다.