AI前沿：从上下文到对抗博弈

本期《TAI快报》深入探讨了五项AI前沿研究：

1. Contextures: The Mechanism of Representation Learning 提出上下文结构理论，统一表示学习机制，揭示模型规模回报递减源于上下文质量，强调混合上下文的重要性。
2. Attention Mechanism, Max-Affine Partition, and Universal Approximation 将注意力机制解释为最大仿射值重分配，证明单层注意力即可实现普适逼近，首次验证交叉注意力的普适性。
3. Emergence and scaling laws in SGD learning of shallow neural networks 揭示神经网络训练中平滑缩放律源于个体神经元突现学习的叠加，提供多项式复杂度保证。
4. Accelerating Mixture-of-Experts Training with Adaptive Expert Replication 提出SwiftMoE系统，通过解耦参数与优化器状态，动态调整专家复制，显著提升MoE训练效率。
5. SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning 通过对抗博弈训练自弈评论家，自动生成推理错误数据，指导语言模型推理，大幅提高数学任务准确率。

完整推介：https://mp.weixin.qq.com/s/0NbNWvQzVTqV4rqbFMR4sg