跳到正文
Ai2 / Allen Institute for AI·· 5 天前AI 评分50

StateBench:测试语言模型如何追踪长文档中的状态变化

StateBench: Testing how language models track state changes over long documents

AI 导读

Ai2 推出 StateBench 基准,以四个难度层级测试语言模型追踪长文档状态变化的能力。在这些任务上直接训练时,带 Gated DeltaNet 层的循环与混合架构泛化远超 Transformer。Gemini 3.8 Flash、Claude Opus 5.5 和 GPT-6 Sol、Luna 等前沿模型随输入变长,仍在更难的状态追踪任务上失效。

来源:Ai2 / Allen Institute for AI · allenai.org