AIの回答評価にDecisionモデルが使える。速いと0.5秒、理由文は出ない
三行要約
- RAGやエージェントの回答を、LLMに採点させて品質を見ている人向けの話です。
- 11月3日公開の azure-ai-evaluation 1.
- 11（リリースノート記載）で、GroundednessEvaluator や RelevanceEvaluator などの評価器に、採点役としてMicrosoft-Decision-1を指定できるようになりました。
記事の概要
RAGやエージェントの回答を、LLMに採点させて品質を見ている人向けの話です。11月3日公開の azure-ai-evaluation 1.18.11（リリースノート記載）で、GroundednessEvaluator や RelevanceEvaluator などの評価器に、採点役としてMicrosoft-Decision-1を指定できるようになりました。採点役をチャットモデルからDecisionモデルに替えると何が変わるのか、実際に動かして確かめました。 5件のうち採点された4件で返ってきたのは、点数と合否だけでした。理由文は「No model rationale is availa...
PR
出典
同じカテゴリの関連記事
中国製AI「Qwen3.8-27B」の中国政府寄りの回答を減らしたAI「Arete-27B」が登場、プロパガンダを含む回答が22％から0.9％に減少Metaの複数の従業員が海賊版ポルノ動画を見ていたことが裁判の提出書類で示されるコピペ1行で、あなただけのAIキャラがDiscordに住みはじめる【プログラミング不要・15分】日本語でリアルタイム会話可能なAI「Shizuku-Duplex」が登場、80ミリ秒ごとに高速処理して相づちやウェブ検索にも対応
PR
