英語記事
BlockLock：バッチ形状を固定し再現可能なLLM推論を実現
見出しと要約は、英語の元記事をもとに当サイトが日本語で作成しています。
原題：BlockLock: Reproducible LLM Inference with Fixed Batch Geometry
三行要約
- 再現可能なLLM推論には、同じリクエストがバッチ内の他のリクエストに関係なく同じ出力を返すことが求められる。
- 本論文は、共有バッチのプリフィルを維持しつつ、保護対象リクエストの数値経路だけを固定する手法「BlockLock」を提案している。
記事の概要
再現可能なLLM推論を実現するには、1つのリクエストがバッチ内の他のリクエストが何であっても同じ出力を返す必要がある。既存の解決策には代償があり、バッチ不変カーネルはすべての演算子を制約し、固定形状デコードでプリフィルを分離する手法は共有プリフィルの計算を放棄してデコードにパディングを加える。本論文が提案するBlockLockは、共有バッチのプリフィルを維持したまま、保護対象リクエストの数値経路だけを固定する。リクエストが見る形状を固定することで再現性を確保する設計で、BlockLock-Rowsをはじめとする2つのモードが用意されている。
PR
出典
同じカテゴリの関連記事
中国製AI「Qwen3.8-27B」の中国政府寄りの回答を減らしたAI「Arete-27B」が登場、プロパガンダを含む回答が22％から0.9％に減少Metaの複数の従業員が海賊版ポルノ動画を見ていたことが裁判の提出書類で示されるコピペ1行で、あなただけのAIキャラがDiscordに住みはじめる【プログラミング不要・15分】日本語でリアルタイム会話可能なAI「Shizuku-Duplex」が登場、80ミリ秒ごとに高速処理して相づちやウェブ検索にも対応
PR
