AI前沿：从神经网络的秘密到AI场景生成

这期《TAI快报》我们聊了五篇前沿AI论文：

1. Towards Quantifying the Hessian Structure of Neural Networks：揭示了神经网络海森矩阵“块对角”结构的真正驱动力是类别数量，而非交叉熵损失，为优化算法设计提供了新视角。
2. Discrete Spatial Diffusion: Intensity-Preserving Diffusion Modeling：提出离散空间扩散框架，通过颗粒随机游走实现质量守恒，拓展了扩散模型在科学领域的应用。
3. Steerable Scene Generation with Post Training and Inference-Time Search：开发了可控3D场景生成方法，用强化学习和搜索引导生成，满足机器人训练的特定需求。
4. Practical Efficiency of Muon for Pretraining：证明Muon优化器在语言模型预训练中比AdamW更省资源，并提出“伸缩式”调参算法，提升训练效率。
5. What do Language Model Probabilities Represent?：澄清了语言模型概率的三种含义，提醒我们在使用和评估时要明确目标，避免误解。

完整推介：mp.weixin.qq.com