EP 54. 深度对谈顶尖AI开源项目:大模型开源生态, Agent 与中国力量

00:00
03:19:06
节目详情

聊到生成式AI的发展,开源绝对是最关键的话题之一。这次的嘉宾,可以说涵盖了大模型开源领域最值得关注的公司:从顶流社区Huggingface, 到全球开源社区都关注的阿里通义千问 Qwen 大模型,堪称行业标准的 LLM 推理框架 vLLM, 还有最近最火的软件开发 agent 项目 OpenDevin. 真的是黄金阵容!

这一期节目也发布得很应景:就在今天凌晨,阿里发布了最新的通义千问 Qwen 系列模型!Qwen2-72B 的表现甚至全面超过 SOTA 的 Llama 3,大家赶紧去关注!

首先跟大家汇报一下,上周日我们在北京举办的 OnBoard! 第一次线下听友会真是超预期!开放报名4天就250多人报名,周日从上午9点到下午3点,从机器人到AI,创业投资和软件出海,100人的场地,直到最后都几乎座无虚席!真的是非常感谢大家的支持~我们正在努力整理精华文字稿,也请期待我们更多活动!

Hello World, who is OnBoard!?

回到这一期播客,我们将深入探讨大模型的开源生态。

在生成式AI飞速发展的一年多时间里,开源无疑是一个不可忽视的话题。开源模型的迅猛发展,从 Meta 的 Llama 3 到 Mistral 的最新模型,它们对闭源大模型如 GPT4 的追赶,不仅令人惊艳,更加速了 AI 场景下产品的实际应用。而围绕大模型的生态系统,从推理加速到开发工具,再到智能代理,技术栈的丰富程度,虽然已经孕育出了像 Langchain 这样的领军企业,但这一切似乎只是冰山一角。

特别值得一提的是,随着阿里千问系列、Deepseek、以及 Yi 等中国团队主导的模型在国际舞台上崭露头角,我们不禁思考,除了模仿和追赶,中国在大模型领域的发展是否还有更多值得我们关注和自豪的成就。

今天,Monica 有幸邀请到了几位极具代表性的重磅嘉宾,来自 Huggingface 的开源老兵,有通义千问 Qwen 的开源负责人(他也是 Agent 领域最受关注的项目 OpenDevin 核心成员),还有最具国际影响力的开源项目 vLLM 主导人。真是涵盖了大模型开源生态的各个领域的最一线视角!

嘉宾们都太宝藏了,我们的话题延伸到大模型的各个方面,录了近4个小时!我们前半部分聊了很多infra的创新,以及最近很火的、以OpenDevin 为代表的软件开发agent 背后的技术和生态等话题。下半部分,我们回到大模型开源的主题,畅谈了:

  • 底层基础大模型的开源闭源生态,未来可能有怎样的演进?
  • 开源模型商业化跟过去我们在大数据时代看到的databricks 之类开源商业模式有哪些异同?
  • 如何做一个有国际影响力的开源项目?

还有数据、评测等等大模型领域的核心话题,真的非常全面,又不失一线从业者的深度。

索性就不分成两部分了,大家可以对着 show notes 里面的时间戳,直接跳转到你感兴趣的话题(虽然我觉得每个话题都很好!)

介绍了这么多,还要声明一下,节目里面重点聊到的开源社区 Huggingface,还有几个开源的项目,包括阿里千问、OpenDevin, Deepseek, 零一万物的 Yi,vLLM 等,都没有收取任何广告,完全是嘉宾走心分享,全程无广!当然,如果你们或者其他AI公司考虑赞助一下我们用爱发电的播客,我们当然也是欢迎的!

三小时硬核马拉松开始,enjoy!

嘉宾介绍

  • Tiezhen Wang, Huggingface 工程师,他可以说是中国与世界开源 AI 生态的桥梁,更是从 Google TensorFlow 时代到 Huggingface 早期员工,对中国和世界的开源 AI 生态都有极深的洞察。
  • Junyang Lin, 通义千问开源负责人,作为 Qwen 在全球开源社区的主要代言人,他不仅见证了开源的发展历程,还是目前备受瞩目的 Agent 开源项目 OpenDevin 的核心团队成员。
  • 李卓翰,UC Berkeley PhD,他所主导的项目更是大名鼎鼎,就是已经成为行业标准的大模型推理框架 vLLM!他所在的 Sky Lab 被誉为开源基础设施的摇篮,从估值百亿美元的 Databricks 到 Anyscale(开源计算框架 Ray 的商业化公司)。他还深度参与了 Chat Arena, Vicuna 等多个国际知名开源项目,对大模型周边生态和 infra 的不仅有国际一线经验,更是有很多有技术理想的干货!
  • OnBoard! 主持:Monica:美元VC投资人,前 AWS 硅谷团队+ AI 创业公司打工人,公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻:莫妮卡同学

我们都聊了什么

05:28 嘉宾自我介绍,有意思的开源 AI 项目

18:37 vLLM 如何开始的,如何成为全球顶尖项目,为什么我们需要一个大模型推理框架?

30:24 Agent framework: OpenDevin 这样的负责 agent 会带来怎样的推理挑战?

40:37 做好一个编程 Agent,还需要哪些新的工具?多模态会带来怎样的变化?

56:16 我们需要怎样的 Agent Framework?为什么最适合开源社区来做?Framework 会收敛吗?

67:46 什么是 Crew AI? 如何看待 Multi-agent 架构?

73:11 借鉴前端框架的发展历史,如何理解一个框架如何成为行业标准?

77:54 Huggingface 上开源LLM现状,过去一年多有哪些重要进展?有哪些不同的开源方式?泽娜要给你看待一个开源模型的流行程度?

94:27 如何理解不同架构的开源大模型生态?Qwen 如何通过架构演进打造更好的开源生态?

104:59  中国的大模型开源项目有哪些创新?大模型架构有哪些变化?

112:17 为什么说新的模型架构可能会带来商业化的新机会?我们能从以前的开源商业化中学到什么?

119:22 我们看到现有大模型架构的天花板了吗?什么是一个新的架构?

128:03 Zhuohan 从参与最早的开源 LLM 之一 Vicuna 的经历学到什么?学术界和业界在大模型生态上如何分工?

140:48 用于大模型的数据集领域有哪些值得关注的进展?

149:42 Mistral 为什么这么快爆火?打造一流国际开源项目有什么可借鉴的经验?vLLM 有什么道和术上的心得?

166:13 Chatbot Arena 是如何开始的?为什么模型的评测那么重要?还有哪些挑战和可能的进展?

180:49 Zhuohan 对于 vLLM 商业化方式有什么思考?未来推理成本还有哪些下降空间?

188:17 快问快答:过去一年生成式AI发展有什么超出预期和不及预期的地方?未来还有什么值得期待?

我们提到的公司和重点名词

参考文章

欢迎关注M小姐的微信公众号,了解更多中美软件、AI与创业投资的干货内容!

M小姐研习录 (ID: MissMStudy)

欢迎在评论区留下你的思考,与听友们互动。喜欢 OnBoard! 的话,也可以点击打赏,请我们喝一杯咖啡!如果你用 Apple Podcasts 收听,也请给我们一个五星好评,这对我们非常重要。

最后!快来加入Onboard!听友群,结识到高质量的听友们,我们还会组织线下主题聚会,开放实时旁听播客录制,嘉宾互动等新的尝试。添加任意一位小助手微信,onboard666, 或者 Nine_tunes,小助手会拉你进群期待你来!

展开
大家都在听
评论(0条)
快来抢沙发吧!
打开蜻蜓 查看更多