152. 领读Kimi K3技术报告:从架构创新聊起,注意力美学、多教师蒸馏和开源MoE

00:00
02:04:19
节目详情
今天的节目是一集学习播客,学习Kimi K3技术报告,希望和大家一起领略“技术之美”。
K3是有效扩展到2.8T总参数并全量开源的MoE模型。大家可能注意到,这集技术报告的领读距离模型发布已经过去一段时间。期间,我们试图寻找一位合适的嘉宾,我们希望这位嘉宾的学术和工作背景非常适合讲K3。最后找到孙宇涛。
宇涛目前是清华大学计算机系博士候选人,上海创智学院璞锐学者。他从博士开始的研究方向是LLM架构、预训练,架构创新一直是他的兴趣点,这正好是K3亮点之一。
宇涛透过领读K3技术报告也串联讲解了十多篇相关论文。他的语速非常快——前方语速预警。
OUTLINE:
02:00 宇涛的自我介绍和研究经历,为什么对架构创新最感兴趣?
16:05 从Kimi K3论文出发,论文讲解的框架与脉络
19:02 宇涛开始领读论文:
1 导读
Kimi K3将设计概括为沿sequence、depth和width...去小宇宙查看完整单集简介
在小宇宙查看该单集文稿
展开
大家都在听
评论(0条)
快来抢沙发吧!
打开蜻蜓 查看更多