Entropy在骗你,隐式推理止于7步
- Entropy稳定不代表推理健康。 RAGEN-2发现agentic RL中的"模板坍缩"——模型用固定模板应对所有输入,entropy完全看不出来,互信息才是更可靠的训练监控指标
- Meta试图让模型本身成为计算机——Neural Computer统一计算、记忆和I/O,概念有启发性,但核心难题尚未解决,当方向信号看
- 隐式推理存在硬性深度上限: 最大规模模型的latent planning也止步于7步,scaling未能突破,CoT监控的安全前提因此获得实验支撑
- GRPO训练难题比例并非越高越好, 超出小模型能力边界的样本几乎贡献不了学习信号,低难度子集即可匹配全数据集效果且省55%计算
也值得关注
- 应用层多agent编排OS — Qualixar OS跨10个LLM provider统一调度,与AutoGen/CrewAI等单框架工具形成差异化定位。
- 压缩注意力解决时序预测的双重平方复杂度 — CMU提出MICA,同时处理多变量Transformer中通道数和序列长度的扩展瓶颈。
- 570万PubMed文章的结论生成benchmark — Harvard出品,测试LLM能否从结构化生物医学证据推导科学结论。
- 500米+超远距离目标检测 — Princeton用可学习双曲注视替代固定crop策略,面向高速公路自动驾驶的长距感知。
- 物理仿真级头部avatar — CVPR接收,解决头发与头部的解耦和动态运动问题。
Don't miss what's next. Subscribe to AI论文简报: