AI前沿：从热力学到进化论

本期《TAI快报》深入探讨了五篇AI前沿论文的关键洞见：

1. 《Neural Thermodynamic Laws for Large Language Model Training》提出神经热力学定律，将学习率类比为“温度”，推导最优1/t型学习率衰减策略，揭示训练动态的物理规律。
2. 《The CoT Encyclopedia》通过自下而上的框架分析推理模型的思考链，发现训练数据格式比内容更影响推理策略，并实现策略引导与性能提升。
3. 《Predictability Shapes Adaptation》借鉴进化生物学，揭示环境可预测性决定Transformer权重内学习与上下文学习的平衡，提出“相对成本假说”。
4. 《Beyond 'Aha!'》通过对演绎、归纳、溯因元能力的显式对齐，提升推理模型的可靠性和性能上限。
5. 《Superposition Yields Robust Neural Scaling》揭示表征叠加驱动神经缩放律，强叠加下损失随维度稳定下降，获几何解释。这些研究从跨学科视角为AI训练、推理和缩放提供了深刻洞见，预示更高效、可控的AI未来。

完整推介：https://mp.weixin.qq.com/s/JbH_ejn9fXDj1-p6BEHA3g