OnBoard!

• EP 67. 解析DeepSeek R1技术创新与生态影响：强化学习，Long CoT，数据，Agent与开源生态

  2025年第一期OnBoard! 让大家久等了！没错，这个话题我们怎么能绕的过去：Deepseek!Deepseek 春节前夕发布的开源推理模型 Deepseek r1，无疑是整个世界最令人关注的新闻，不论你过去是否关注 AI，相信都已经被关于 Deepseek 的各种新闻和解读轰炸了好久。但是 OnBoard! 的硬核讨论，迟来却不过时。Hello World, who is OnBoard!?Deepseek R1 在数学、代码和各种推理能力比肩市面上最强的 OpenAI o1 正式版模型，同时又以其技术创新带来的极低的训练和推理成本，以及完全开源的特点，点燃了全世界对于推理模型，以及中国AI实力的关注。在各种讨论的虚虚实实中，OnBoard! 一直想做的，就是找到尽可能全面和客观的视角，追寻到技术和创新的本质。于是，我们邀请到了横跨中美的一线研究员和从业者，跟大家聊聊： 到底如何看待 Deepseek 一系列模型的创新？ 推理模型最核心的难点是什么？ DeepSeek 会对开源大模型生态带来哪些变化？这次嘉宾也是站在学术和开源的前沿： 有备受关注的、最早尝试复现 r1 能力的 TinyZero 项目的一作， 有来自卡耐基梅隆大学研究推理最核心的 Long COT (Chain of Thoughts) 的研究员， 还有返场嘉宾，前 Google Tensorflow 成员、Huggingface 社区资深贡献者。他们从推理、COT、infra和开源几个角度，从技术本质到行业影响，兼顾发散和深度地畅聊关于 Deepseek 的已知和未知，过去与未来。相信已经非常饱和的各种信息中，还可以给大家带来一些启发。需要说明的是，其中来自 SGlang 的嘉宾因为临时原因没有参与录制，与他的补录正好又是关于模型推理的专业话题，我们就决定放在下一期作为一个相对技术的 bonus episode. 很快会放出来，敬请期待！毫不意外，这次讨论又是长达三个多小时。但是一定值得你的时间！Enjoy!嘉宾介绍 Xiang Yue, 岳翔 (个人主页), Postdoc @CMU, 师从 Prof. Graham Neubig，专注于提升模型推理能力的前沿专家 Jiayi Pan, 潘家怡 (个人主页）, PhD @Berkeley AI Research, 师从 Alane Suhr Tiezhen Wang, Huggingface 资深工程师，前 Google Tensorflow 资深工程师 OnBoard! 主持：Monica（小红书/即刻：莫妮卡同学）：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人PS 欢迎关注 Xiang Yue 最新的论文，Demystifying Long CoT Reasoning in LLMs（arxiv.org）关于 Long CoT 在模型推理能力中的作用有很有意思的发现！我们都聊了什么解析 DeepSeek R1 技术核心03:34 几位嘉宾自我介绍，fun fact: DeepSeek R1 让你惊艳的使用场景是什么？ 好的文笔是背诵还是理解？17:53 如果用 RL 生产数据越来越重要，还需要人类标注数据吗？23:52 DeepSeek R1-Zero 为什么值得关注？跟R1是什么关系？TinyZero 复现 R1 的过程中有什么启发？35:11 为什么看似简单的 Long CoT 的做法，一直到现在才被广泛用起来？Long CoT 的研究沿革和进展是怎样的？48:29 推理模型的 Aha Moment 是什么？跟模型的“涌现能力”有什么关系？51:13 澄清一下！正确理解“成本30美金”！52:36 Long CoT 的实现有什么难点？DeepSeek 做了哪些值得关注的创新？58:33 做 Coding agent 的经验：模型 coding 能力能泛化到更广泛的 Agent 能力吗？62:32 SFT 在R1 训练中的作用？RL生成数据成本会比人工标注低吗？71:46 Scale up RL 的难点是什么？为什么说这是 DeepSeek infra能力中容易被忽视的点74:08 开源社区的 infra 限制，会对复现后续研究 RL 和推理模型相关工作有什么影响？79:57 为什么说 Rewards and Simulators are all you need：还有哪些挑战？94:34 MoE vs Dense model 的选择：业界已经是共识了吗？107:29 DeepSeek 蒸馏 OpenAI 的数据了吗？112:14 OpenAI o3 思维链中出现了中文应该如何理解？大模型开源生态会发生什么变化115:52 开源大模型需要将数据开源吗？123:01 开源和闭源模型的差距会一直存在吗？这个差距对于使用者和模型公司意味着什么？127:44 未来开源推理模型都会向 DeepSeek R1 的路线上收敛吗？对开源生态会有怎样的影响？131:36 从 DeepSeek V3 到 R1, 有了基座模型训练推理模型，只需要几周的时间吗？132:59 开发者选择开源还是闭源模型，有怎样的考量？今年开源大模型生态有哪些变化值得期待？142:13 如何理解：Agentic workflow 只有短期价值，长期会被模型能力取代？Agent 公司的核心能力是什么？未来展望与宏观思考149:30 2025年，几位嘉宾的工作重点是什么？155:22 AI 领域有什么过热的以及还没有被充分讨论的话题？160:36 过去半年有什么观点的变化？164:08 AI超越大部分人类智能的时候，你的生存意义是什么？重点词汇 Reinforcement Learning Chain of Thoughts SFT MoE Dense model Agentic workflow参考文章 Xiang 最新的论文：Demystifying Long CoT Reasoning in LLMs TinyZero: github.com DeepseekV3: github.com R1: github.com R1 zero: arxiv.org mp.weixin.qq.com万字解析DeepSeek 成长史 www.latent.space semianalysis.com arcprize.org欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！M小姐研习录 (ID: MissMStudy)欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

  --------  

  2:49:16
• EP 66. 深度解读Coding Agent与OpenAI o3：中美Agent 创业者、研究员与投资人眼里的未来

  终于来到了OnBoard! 2024 年压轴之作！那必须是绝对深度绝对精彩的一期！年底关于 AI 的新闻太多，但是最值得我们压轴深入探讨的，必须是 coding agent ——即使已经有很多讨论，或许也都还是被低估。不到两个月的时间，coding agent 产品完成了二连跳式的升级，从IDE 助手 Cursor 到 Replit Agent, Windsurf 为代表的 coding agent，到Devin 的惊艳发布，让我们意识到真正 end-to-end coding agent 的能力已经超过 coding 本身，打开了大模型未来全新的想象空间。Hello World, who is OnBoard!?更巧的是，就在我们录制这一期节目的凌晨，就是 OpenAI 12天发布会最后一天，OpenAI o3 横空出世，在编程和数学领域最有挑战的 Benchmark 上超越了绝大部分的人类，也让我们对大语言模型能力天花板的预期再次被刷新。要展望2025年AI领域还会发生什么，coding agent 以及强化学习为新范式的 o3系列，无疑是最核心的问题。这一期的嘉宾，汇集了国内和硅谷 coding agent 一线创业者、coding 大模型研究员和 AI 投资人，这次长达三个多小时的讨论，在全网恐怕都很少见了，有一线 coding agent 设计解读，还有最新鲜热乎的对 o3 实现难点和未来挑战的拆解，你是不是还不知道，在好几个开源项目里，OpenHands 已经超越人类成为最活跃贡献者了？我们还探讨了： 为什么说 Devin 展示了“完成工作”的 scaling law? 最早引领 coding agent 潮流的 Replit Agent，以及开源 Devin 项目 - Openhands, 是设计中有哪些关键决策？ Coding agent 未来是 Devin 形态赢家通吃吗？ 底层模型能力之外，coding agent 应用公司的核心能力和壁垒是什么？ Coding Agent 对于工程师和未来的组织和社会，会有哪些深远影响？ 如何看待 o3 超越大部分人类的能力？未来的发展空间在哪里？理解这次内容需要一些背景知识，非常强烈推荐大家去复习Onboard! EP 62. 与Google deepmind 研究员对o1的讨论，以及EP 53 对coding agent 的第一次探讨，其中一位嘉宾姚顺雨，作为 SWE bench 的提出人，已经加入OpenAI 负责 agent方向的研究。未来已来，不论你是否已经感知到，这3个小时，绝对值得你的时间。感谢大家这一年以来的支持，如果喜欢我们的内容，今年最后有机会在小宇宙里面打赏，在Apple podcast, spotify 里面给五星好评啦！我们明年见！Enjoy!嘉宾介绍 Yusen Dai,真格基金管理合伙人，聚美优品联合创始人。 Zhen Li, Replit Agent 核心成员，Replit 资深工程师，ex-字节，Google. Xingyao Wang, Allhands AI (开源项目 OpenHands) co-founder & Chief AI Officer, UIUC PhD. Binyuan Hui, 阿里巴巴通义实验室科学家 Cohost: Peak, 真格基金EIR，前猛犸浏览器创始人 OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学我们都聊了什么04:06 嘉宾自我介绍，最近用 coding agent 实现的有意思的任务15:17 投资人视角下，Coding agent 发展历程中的核心节点，为什么说 scale of work 是最令人兴奋的机会22:03 Replit Agent 诞生的历程，发展过程中的关键节点，从1-10 有什么计划36:04 如何看待与Devin 的竞争？未来不同 coding agent 产品形态会融合吗？39:01 OpenHands/All hands AI 不同寻常的诞生故事，打造开源 coding agent 的重要技术和商业决策？41:48 Openhands 的架构设计，与Devin 的异同意味着什么？49:24 Coding agent 与 Anthropic Computer Use 之间的关系？54:35 OpenHands 产品发布以来，社区的主要反馈和重要变化？开源有什么作用？1:04:40 Coding agent 产品的长期竞争力是什么？1:09:20 o3 最让人印象深刻的是什么？对 coding 和AGI 未来有什么影响？1:20:08 解决真实世界的复杂问题，o3 之后还需要什么？1:24:33 SWE bench 被“刷爆”之后，下一个有意义的 benchmark 是什么？1:36:27 Coding agent 领域今年还出现了哪些重要变化？1:41:33 未来需要怎样的工程师和怎样的组织？1:58:07 如何进一步提高模型 planning 的能力？完成多步骤任务能力如何实现？2:07:45 Agent 的普及会带来哪些底层技术栈和工具的新机会？2:17:25 投资人如何看待 AI agent 的价值和投资机会？未来中国 coding agent 的机会是怎样的？2:25:55 快问快答：未来1年和3年对AI的期望，coding agent 翻车的例子，AI被高估和低估的能力我们提到的公司和重点词汇 Cursor Cognition labs/Devin Replit Replit Agent OpenHands, github.com; OpenHands 论文: arxiv.org VisualWebArena: arxiv.org TheAgentCompany: 官网 the-agent-company.com，paper arxiv.org OpenAI o3 OpenAI o1 Anthropic Computer use by Anthropic SWE bench Windsurf Bolt.new参考文章 刚体验了一小时 Devin，这是我第一次见到真正意义上的 A - 即刻App Devin和Agent Cursor使用体验对比 www.latent.space Our Problems | Cursor - The AI Code Editor More Problems | Cursor - The AI Code Editor www.cognition.ai欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！M小姐研习录 (ID: MissMStudy)欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

  --------  

  2:47:13
• EP 65. 对话 Daloopa CTO Jeremy Huang:融资4千万美金，如何打造红遍华尔街的AI金融产品

  久违的 OnBoard! 全英文的访谈，这次的嘉宾 Jeremy Huang, 是美国AI创业公司 Daloopa 的联合创始人兼 CTO。Daloopa 是一家很低调但是很值得关注的公司。几位华裔创业者 2019 年成立的公司，他们的客户是企业服务软件公司都最想切入又最有难度的行业：金融服务业。今年5月，Daloopa 宣布了B轮融资$18M, 总融资额超过$40M。他们的AI 产品帮助华尔街的对冲基金、银行、PE等投资机构实现投资模型中的数据工作自动化，他们的客户覆盖了大部分大家耳熟能详的头部金融机构：Morgan Stanley, L/S hedge fund, Credit Suisse 等等。Hello World, who is OnBoard!?在两个多小时的对话里，Jeremy 真是非常坦诚地分享了很多从0-1的真实经历和非共识的观点，比如： 为什么要 sell before you build? 早期 startup idea 探索踩了那些坑？ 为什么 CTO 也要每天花 8 小时去跟客户打电话? 如何平衡大客户定制化要求和标准化产品的设计？ 如何管理遍布全球的远程团队？ 面向准确度要求很高的金融领域 AI产品，LLM有哪些机会和挑战？如果你也是创业者，或者未来想要成为创业者，这期满满创业者一线视角的分享，可千万别错过！Enjoy!嘉宾介绍 Jeremy Huang, Co-founder & CTO @Daloopa, ex-Software engineer @Meta, Airbnb OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学我们都聊了什么01:30 Jeremy 的自我介绍，如何开始创业旅程，一开始如何尝试不同的创业方向07:22 Jeremy 从 Airbnb 的经验中学到什么，为什么不需要写代码就可以验证 PMF14:32 如果你自己就是“目标用户”，你还需要做用户访谈吗？29:02 如何从潜在用户访谈中找到“对的” idea?35:02 Daloopa 早期如何设计 MVP 并找到种子用户41:13 对于一个准确度要求很高的AI产品，如何设计产品的 Human-in-the-loop 交互？49:19 如何应对早期大客户的定制化要求？54:01 为什么 founder-led-sales 是了解市场规模的最好方式59:01 面对金融行业的销售流程是怎样的？创业公司如何切入？Product-led-growth (PLG) 方式管用吗？如何从0到1开始打造销售团队？73:59 为什么CTO也需要每天8小时跟客户交流？82:25 为什么要打造全球 remote 团队？如何管理全球化团队？89:06 LLM 对于 Daloopa 的产品带来怎样的机会和挑战？对金融行业有什么影响？108:59 早期融资遇到哪些挑战？对初次融资的创业者有什么建议？114:53 快问快答：推荐的书籍，第一次校园创业，LLM的未来1年和未来3年展望参考文章 mp.weixin.qq.com daloopa.com www.prnewswire.com daloopa.com daloopa.com daloopa.com欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！M小姐研习录 (ID: MissMStudy)欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 或者 Spotify 收听，也请给我们一个五星好评，这对我们非常重要。最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

  --------  

  2:04:14
• EP 64. 对话 Comfy 核心中国力量：多模态生成全球狂奔之年，开源与商业化发生了什么

  OnBoard! 我们首次来到日本东京，在六本木新城森大厦，面对着著名的东京塔完成了录制。11 月 16 日，由 Comfy 中国社区创始团队发起的 Comfy Community Summit（CCS）全球社区峰会第二站来到东京，从 ComfyUI 主题出发，邀请了海内外知名的 AI 创作者、前沿论文作者、插件和工作流开发者还有大模型训练专家等到场分享，我们不仅看到了多模态生成领域各角色之间碰撞出的火花，更重要的是看到了中国创作者与开源爱好者在全球化中扮演了越来越重要的地位。Hello World, who is onboard?这一期趁着主办方还在东京，我们邀请了 CCS 的两位重要发起人，国内最大的 AI 社群 WayToAGI 的主理人 AJ 和前 Stability AI 的工程师 Yizhou，还有老朋友 Huggingface 工程师 Tiezhen，以及在图像生成领域创业的本地创业者 TheSEA AI 的创始人 Yanjin 一起，回顾多模态生成领域今年的里程碑与 Comfy 开源社区的兴起，以及在商业场景尤其是日本市场落地的探索，最后讨论了 AI 开源力量在中国以及全球化的崛起。嘉宾分别来自开源社区的创始团队、大模型及开源平台工程师，还有本地创业者，我们畅聊了以下话题： 过去一年多模态生成领域出现了哪些里程碑，背后又代表了什么趋势？ CCS 发起的历史背景，为什么这次会放在东京，以及有哪些不一样的收获？ 多模态生成具体在商业落地上有哪些突破，尤其在日本市场看到了哪些实践？ WaytoAGI 社区是如何建立的，为什么会成为中国最大的 AI 开源社区，未来还有哪些规划？ 今年国内开源基础大模型也在全球社区悉数亮相，海外内对开源投入的差异和挑战在哪里？希望本期节目对积极实践开源、全球化创业和 AI 的爱好者们都有帮助，enjoy！嘉宾介绍 AJ：国内最大 AI 开源社区 WaytoAGI 的主理人，也是 CCS 中国社区创始成员。CCS 是全球首次汇聚 AI 开源社区核心开发者与创作者的盛会，由中、美两地 AI 开源爱好者共同发起，于 2024 年正式启动，是亚洲生成式 AI 领域专业性最强、共创活跃度最高的开源社区之一。 Yizhou Zheng：曾在 StabilityAI 负责推理工作流优化及 SD3.5 基础模型训练，Diffusion 社区玩家，CCS、Diffusem发起人，GitHub: github.com/Dango233。 Tiezhen Wang：Huggingface 工程师，他可以说是中国与世界开源 AI 生态的桥梁，更是从 Google TensorFlow 时代到 Huggingface 早期员工，对中国和世界的开源 AI 生态都有极深的洞察。 Yanjin Li：TheSEA 联合创始人兼 CEO，同时也是东京大学在读博士生。TheSEA AI 专注于为品牌提供创新的视觉生成 GenAI 解决方案，致力于提升创意效率与视觉表达效果。 OnBoard!主持：高宁，Global SaaS/AI 社区 Linkloud 联合创始人。前美元 VC 投资人，公众号我思锅我在 (ID: thinkxcloud) 主理人，即刻：High寧。我们都聊了什么01:59 四位嘉宾自我介绍，以及举办或参加这次 CCS 的最大感受。09:27 在图像生成领域，今年对推动应用落地的重要节点是什么？10:51 什么是 ComfyUI 以及 CCS 社区的起源背景？12:51 ComfyUI 与 WebUI 的核心区别在哪里，为什么前者逐渐成为主流？20:20 现在有哪些方式在进一步降低 ComfyUI 的使用门槛？22:58 把作品最终交给商业客户之前，还需要做哪些产品化？26:06 CCS 全球峰会发起的背景以及为什么第二次放在东京？37:12 峰会里的嘉宾是如何挑选以及分别代表哪种角色？44:18 过去一年，多模态生成技术出现了哪些重要里程碑？49:45 Stable Diffusion 3.5 诞生的背景以及对产业最大的影响可能在哪里？56:00 从商业视觉角度，如何驾驭现在各类模型以便在特定行业做有效发散？61:11 如何快速在 SD 3.5 的基础上微调出想要的风格？63:00 视觉模型越来越大，端侧小模型的机会和空间在哪里？68:50 模型厂商该如何建设生态以及吸引更多开发者参与使用？72:53 TheSEA 成立的背景以及在日本市场看到了什么机会？77:30 文生图领域在日本哪些行业落地，挑战在哪里？82:36 哪些工作流已经发生改变，或者卡点又在哪里？85:30 商业视觉生成的需求中日之间的差异在哪里，预期有何不同？89:11 为什么 AI 不会让创作者“失业”，反而会增加？94:21 多模态领域还将出现哪些 AI native 的应用或者行业？98:43 回到商业落地，企业目前最关注的地方在哪里，如何能让他们用好？101:15 技术角度，目前是如何推动可控性的提升？103:55 WaytoAGI 社区的起源和定位是怎样的？107:25 如何能在社区里调动不同背景和角色的人积极做贡献？109:48 如何不断迭代优化知识库，坚持开源？112:50 国内大模型厂商在开源社区的里程碑有哪些，以及有什么最佳实践？116:35 对于开源初创公司，该如何高效地投入开源建设？119:45 四位嘉宾对明年的期望和工作重心将在哪里？提到的公司、技术或相关介绍 Comfy.org WaytoAGI.com Stable Diffusion 3.5 ComfyUI众星云集！IPA两大作者首次对谈！作者亲自答疑！ Coco Nita: iKHOR Labs FLUX Stable Diffusion WebUI Myshell.ai Purz Ideogram Recraft AnimateDiff Deforum ControlNet IP-Adapter In-Context-LoRA MAP（Multimodal Art Projection）以上就是我们本期播客的全部内容，如果各位也有想要我们去访谈的公司或者创始人，非常欢迎大家在评论区给我们留言。感谢大家的收听。如果你喜欢我们的 Podcast，欢迎你点赞并且分享给感兴趣的朋友。如果你在用 Apple podcasts 收听，也希望你花几秒钟打个五星好评，这对我们非常重要！最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

  --------  

  2:06:05
• EP 63. 直播回放：什么是开发大模型应用的新一代底层技术栈？对谈贾扬清，PingCAP黄东旭和AWS核心AI产品研发

  我们回来了！2024年转眼就剩下不到两周了，接下来要努力了！这一期是10月一场直播的录制。AI时代日新月异，最近几个月 windsurf, Devin 一众 AI 软件开发工具不断刷新我们对于软件开发范式的认知。这一期对于更底层 AI native 软件技术栈的讨论，仍然不过时。Hello World, who is OnBoard!?随着 GPT, Claude 等大模型的出现和迅速演进，AI 应用开发进入了全新的阶段。传统的软件开发流程正在被重新审视，新的开发框架、数据存储方式和调试方法层出不穷。这次的嘉宾，在软件技术栈的各个领域都可谓重磅。Andy Peng 是AWS 生成式AI核心产品 Bedrock 的核心成员，负责AWS上Anthropic 一系列重要 API 的同时，他也是 Linux Foundation 和 Cloud Native Computing Foundation (CNCF) 的重要成员，从云计算、分布式系统到AI 技术设施，都是绝对的一线专家。Dongxu 是我们的返厂嘉宾，开源数据库PingCAP的创始人兼CTO，本次的的话题也是受到他的一条朋友圈启发：围绕AI的应用开发，会对整个软件开发范式，包括开发框架、数据存储和处理方式、观测性工程和质量体系等等，带来怎样的变化？另一位返厂嘉宾也是绝对的大牛，Lepton AI 创始人 CEO贾扬清, 从 Google Brain 到 Facebook AI 到阿里巴巴，作为 Caffee2, Pytorch 的核心元老，到创立Lepton AI，致力打造 AI cloud，又看到整个AI开发生态有怎样的演进？有什么可以从上一代 AI infra 发展中可以参考的变与不变？这次讨论的话题需要一些技术基础知识，另外，嘉宾长期在海外工作生活，夹杂英文在所难免，不接受抱怨，欢迎评论区提出新的问题和观点。Enjoy!嘉宾介绍 贾扬清，Lepton AI 创始人 & CEO，ex-Facebook AI, Google Brain, 阿里云副总裁, 深度学习框架 Caffe 和 ONNX 的创建者之一 Andy Peng, AWS Bedrock 核心成员，Cloud Native Computing Foundation (CNCF) Ambassador 黄东旭，PingCAP 联合创始人兼 CTO，分布式数据库 TiDB 作者。 OnBoard! 主持：Monica：美元VC投资人，前 AWS 硅谷团队+ AI 创业公司打工人，公众号M小姐研习录 (ID: MissMStudy) 主理人 | 即刻：莫妮卡同学我们都聊了什么03:05 嘉宾自我介绍，最近关注到的 AI 相关产品：DSPy, 快手可灵，Anthropic Artifacts12:08 开发基于大模型的应用，为什么需要不一样的技术栈？18:45 为什么上一波 AI 的API商业模式不work, 这一次 Model as a service 的API业务会有什么异同？25:26 过去一年，应用开发工具有哪些重要变化？未来更复杂的应用还有哪些需求？33:35 AutoGPT 启发了 RAG？Agent 的实际落地情况怎样？35:13 AI 应用为什么会重构 Kubernetes 的资源调度方式？40:08 多模态和非结构化数据的增加，会对 Infra 和开发工具有哪些新的需求？对于现在的 data infra 公司意味着什么？51:15 AI 应用需要怎样新的可观测性体系？61:43 AI 和RAG系统中的搜索，与传统搜索有哪些异同？64:47 Agentic workflow 会对应用开发技术栈带来哪些新的需求？现在做工具“抽象化”还太早了吗？70:56 变革中，新的定义如何产生？为什么很多概念定义都是在美国诞生的？73:18 这一系列变化中，有哪些是新玩家的新机会？哪些适合现有玩家做改良？76:58 做一个开发工具，如何决定是否要开源？78:41 多模态实时交互会对开发技术栈带来哪些新的挑战？81:12 如何判断哪些开源项目可以做商业化？85:45 我们需要单独的向量索引吗？VectorDB 有多少机会会被现有数据库公司占据？93:43 未来技术选型的决策会由AI来做吗？软件开发会变成标品吗？95:40 云厂商和大模型提供商之间是相互竞争的吗？99:22 端侧模型和云端部署模型之间是怎样的关系？未来的格局会有什么变化？104:21 未来1-3年，期待 infra 领域还有哪些变化？109:51 嘉宾的产品未来还有哪些重要计划！我们提到的公司 LangChain: www.langchain.com - 一个用于开发语言模型应用程序的框架。 LlamaIndex: gpt-index.readthedocs.io - 一个用于 LLM 应用程序的数据框架。 Databricks: www.databricks.com （可能是指他们的模型服务和优化基础设施） Anyscale: www.anyscale.com一个用于构建和部署 Ray 应用程序的平台，通常用于扩展机器学习工作负载。 Mosaic: www.mosaicml.com一个用于高效、可扩展地训练大型 AI 模型的平台。 Modal: modal.com一个用于构建和部署机器学习模型的平台。 Vercel: vercel.com一个用于前端框架和无服务器函数的平台。 Guardrails: shreyar.github.io - 一个用于为 LLM 应用程序添加安全性和可靠性的开源库。 SQLite: www.sqlite.org一个轻量级的、基于文件的数据库。 DSPy: github.com - 一个用于构建 LLM 应用的框架， Factory.ai: factory.ai LiveKit: livekit.io - 一个用于构建和扩展实时音频和视频体验的开源基础设施。 Dify: dify.ai - 一个用于视觉化构建 LLM 应用的平台，提供可视化界面和 workflow 编排功能。 AWS Bedrock: aws.amazon.com - AWS Bedrock 让你能够通过 API 访问和使用来自不同提供商的各种强大的基础模型。 AWS App Studio: aws.amazon.com - AWS App Studio 简化了在 AWS 云上构建、部署和扩展 Web 应用程序的流程。 Phidata: www.phidata.com - Phidata 帮助你构建实时数据管道和应用程序，处理和分析流式数据。 NPI AI: www.npi.ai - The best tool for AI taking action. Unstructured.io: unstructured.io - Unstructured.io 帮助你从各种类型的文档和数据中提取有价值的信息，例如文本、图像和表格。 Datalogy: https://www.datologyai.com/ - 自动生成和管理训练数据集。 Rockset: rockset.com - Rockset 提供了一个实时分析数据库，用于构建需要快速查询和分析数据的应用程序。 Anthropic Artifact: Anthropic Artifact 是一系列专注于安全性和可靠性的 LLM，可用于各种任务，例如对话生成和文本摘要。 AutoGPT: github.com - AutoGPT 是一个实验性项目，旨在探索如何使用 LLM 来自动执行任务和目标。 artificialanalysis.com - Artificialanalysis.com 提供了工具和资源来帮助你评估和比较不同的 LLM。 GraphRAG: github.com - GraphRAG 将知识图谱与 LLM 相结合，以提供更准确和全面的信息检索和生成。 vLLM: github.com - vLLM 帮助你更高效地在各种硬件上部署和运行 LLM 推理。 PGvector: github.com - PGvector 让你能够在 PostgreSQL 数据库中存储和查询向量嵌入，这对许多机器学习应用程序至关重要。 DuckDB: duckdb.org - DuckDB 是一款高性能的分析型数据库，非常适合处理大量数据和复杂查询。重要词汇 RAG (Retrieval Augmented Generation): RAG 通过从外部知识源检索相关信息来增强 LLM 的能力，使其能够生成更准确和翔实的响应。 Embedding: 嵌入是一种将文本、图像或其他数据转换为数字向量表示的技术，使计算机能够理解和处理这些数据。 Function calling: 函数调用允许 LLM 调用外部函数或 API 来执行特定任务，例如获取实时信息或与其他系统交互。 Prompt engineering: Prompt engineering 是一种设计和优化 LLM 输入提示的技术，以引导模型生成所需的输出。 RPA (Robotic Process Automation): RPA 是一种使用软件机器人来自动化重复性任务的技术，例如数据输入和处理。 Agentic workflow: Agentic workflow 是一种 LLM 驱动的自动化流程，LLM 可以自主地执行任务和做出决策。 Data lake: 数据湖是一个集中存储各种类型原始数据的存储库，例如结构化数据、非结构化数据和半结构化数据。 ETL (Extract, Transform, Load): ETL 是一种将数据从各种来源提取、转换和加载到目标系统（例如数据仓库）的过程。 Vector database: 向量数据库专门用于存储和查询向量嵌入，这对于许多机器学习应用程序（例如相似性搜索和推荐系统）至关重要。 Observability (可观测性): 可观测性是一种通过监控系统行为来了解和诊断系统性能和问题的方法。参考文章 www.enceladus.ventures a16z.com www.supervised.news www.factory.ai blog.livekit.io www.harness.io OpenAI Acquires Rockset欢迎关注M小姐的微信公众号，了解更多中美软件、AI与创业投资的干货内容！M小姐研习录 (ID: MissMStudy)欢迎在评论区留下你的思考，与听友们互动。喜欢 OnBoard! 的话，也可以点击打赏，请我们喝一杯咖啡！如果你用 Apple Podcasts 收听，也请给我们一个五星好评，这对我们非常重要。最后！快来加入Onboard！听友群，结识到高质量的听友们，我们还会组织线下主题聚会，开放实时旁听播客录制，嘉宾互动等新的尝试。添加任意一位小助手微信，onboard666, 或者 Nine_tunes,小助手会拉你进群。期待你来！

  --------  

  1:52:52

More Technology podcasts

Trending Technology podcasts

About OnBoard!