英語記事
言語モデルの状態追跡を測るベンチマーク「StateBench」が公開
見出しと要約は、英語の元記事をもとに当サイトが日本語で作成しています。
原題：StateBench: Testing how language models track state changes over long documents
三行要約
- 長い文書の中で状態の変化を言語モデルがどれだけ追跡できるかを測るベンチマーク「StateBench」が紹介された。
記事の概要
Hugging Faceで、Ai2によるベンチマーク「StateBench」が紹介された。長い文書の中で記述された状態の変化を、言語モデルがどれだけ正確に追い続けられるかを評価するためのものだ。評価方法の詳細は元記事で確認できる。
PR
出典
同じカテゴリの関連記事
中国製AI「Qwen3.8-27B」の中国政府寄りの回答を減らしたAI「Arete-27B」が登場、プロパガンダを含む回答が22％から0.9％に減少Metaの複数の従業員が海賊版ポルノ動画を見ていたことが裁判の提出書類で示されるコピペ1行で、あなただけのAIキャラがDiscordに住みはじめる【プログラミング不要・15分】日本語でリアルタイム会話可能なAI「Shizuku-Duplex」が登場、80ミリ秒ごとに高速処理して相づちやウェブ検索にも対応
PR
