Optimizer让容量缩放差2.3倍
- 三类物理3D资产首次合进同一条管线——PhysX-Omni把刚体、柔体、铰接体统一到一个框架,输出资产自带物理属性可直接挂物理引擎,sim-to-real团队的多pipeline维护成本有望降下来。
- 图像生成正在从模型问题变成agent问题,GenEvolve把每次生成建模成轨迹,用visual experience distillation跨任务积累经验,绕开每个新需求都要retune底层模型的老路。
- Optimizer是被忽略的scaling轴:同样FFN宽度增量,换optimizer能让有效容量的scaling指数从0.44跳到1.02,估scaling law前应当把optimizer当变量扫一遍。
也值得关注
- Microsoft的Lens用19.3%训练算力打平6B+模型 — 3.8B T2I模型,配方是distillation+重新设计的pre-training流程,是中小预算团队值得照搬的训练配方。arxiv
- 从普通crowd preference数据里挖implicit safety信号 — ICML这篇不依赖额外safety annotation,把现有偏好数据集当作safety-related隐式objective的来源。arxiv
- DualOptim+给LLM unlearning加了双优化器结构 — base state+delta state让forget和retain的优化状态分开保留,缓解unlearning训坏retained能力。arxiv
- Expectation Consistency Loss把calibration放回covariate shift场景 — 部署到分布外样本时的置信度更可靠,对安全敏感场景的模型上线有实际意义。arxiv
Don't miss what's next. Subscribe to AI论文简报: