唐杰 @jietang 是清华大学教授、智谱（GLM 系列模型出自他们家）AI 首席科学家，也是国内最懂大模型的人之一。他刚发了长微博（见评论），谈 2025 年对大模型的感悟。 有意思的是，唐杰和 Andrej Karpathy 的观察有不少共鸣，但也有一些不同的侧重点。两个顶级专家的视角放在一起看，能看出更完整的图景。 内容比较长，但有句话我要特别放在前面高亮一下： > AI 模型应用的第一性原理不应该是创造新的 App，它的本质是 AGI 替代人类工作，因此研发替代不同工种的 AI 是应用的关键 如果你是在做 AI 应用开发，应该反复思考一下这句话：AI 应用的第一性原理不是创造新产品，而是替代人类工作。想清楚这一点，很多事情的优先级就清楚了。 唐杰的核心观点有七层逻辑。 --- 第一层：预训练没死，只是不再是唯一主角 预训练仍然是让模型掌握世界知识和基础推理能力的根基。 更多的数据、更大的参数、更饱和的计算，依然是提升模型智商最高效的办法。这就像还在长身体的孩子，饭量（算力）和营养（数据）必须管够，这是物理规律，没法绕弯。 但光有智商不行，现在的模型有个毛病：容易“偏科”。为了刷榜单（Benchmark），很多模型都在针对性地做题，导致在真实复杂的场景下反而不好用。这好比孩子上完九年义务教育（预训练）后，必须把他扔到真实的职场里去实习，去处理那些书本上没有的烂摊子，这才是真本事。 所以接下来的重点是“中后训练”（Mid and Post training）。中后训练这两个阶段负责「激活」模型的能力，尤其是长尾场景的对齐能力。 什么是长尾场景？就是那些不常见但真实存在的需求。比如帮律师整理某类特殊合同、帮医生分析某种罕见病的影像。这些场景在通用测试集里占比很小，但在真实应用中至关重要。 通用 benchmark 一方面评测了模型效果，但也可能让很多模型过拟合。这和 Karpathy 说的「训练在测试集上是一门新艺术」观点一致。大家都在刷榜，但榜单刷了高分不等于能解决真实问题。 --- 第二层：Agent 是从「学生」到「打工人」的跨越 唐杰用了个形象的比喻： > 如果没有 Agent 能力，大模型就是个“理论博士”。一个人书读得再多，读到了博士后，如果不能动手解决问题，那也只是知识的容器，产生不了生产力。 这个比喻精准。预训练是上课，强化学习是刷题，但这些都还在「学习阶段」。Agent 是让模型真正「干活」的关键，是进入真实世界、产生实际价值的门槛。 不同 Agent 环境的泛化和迁移并不容易。你在一个代码环境里训出来的能力，换到浏览器环境就不一定好使。现在最简单的办法，还是不断堆更多环境的数据，针对不同环境做强化学习。 以前我们做 Agent，是给模型外挂各种工具。现在的趋势是，直接把使用工具的数据写进模型的“DNA”里去训练。 这听起来有点笨，但确实是当下最有效的路径。 Karpathy 也把 Agent 列为今年最重要的变化之一，他以 Claude Code 为例，强调 Agent 要能「住在你电脑里」，调用工具、循环执行、解决复杂问题。 --- 第三层：记忆是刚需，但怎么做还没想清楚 唐杰花了不少篇幅讲记忆。他认为，模型要在真实环境中落地，记忆能力是必须的。 他把人类记忆分成四层： - 短期记忆，对应前额叶 - 中期记忆，对应海马体 - 长期记忆，分布在大脑皮层 - 人类历史记忆，对应维基百科和史书 AI 也要模仿这个机制，大模型对应的可能是： - Context 窗口 → 短期记忆 - RAG 检索 → 中期记忆 - 模型参数 → 长期记忆 一个思路是「压缩记忆」，把重要信息精简后存在 context 里。目前的“超长上下文”只是解决了短期记忆，相当于把它能用的“便签纸”变长了。如果未来 context 窗口足够长，短中长期记忆都有可能实现。 但有个更难的问题：怎么更新模型自身的知识？怎么改参数？这还是个未解难题。 --- 第四层：在线学习和自我评估，可能是下一个 Scaling 范式 这一段是唐杰观点里最前瞻的部分。 现在的模型是“离线”的，训练好就不变了。这有几个问题：模型不能真正自我迭代，重新训练浪费资源，还会丢掉很多交互数据。 理想情况是什么？模型能在线学习，边用边学，越用越聪明。 但要实现这一点，有个前置条件：模型要知道自己对不对。这就是「自我评估」。如果模型能判断自己的输出质量，哪怕是概率性地判断，它就知道了优化目标，就能自我改进。 唐杰认为，构建模型的自我评价机制是个难题，但也可能是下一个 scaling 范式的方向。他用了几个词：continual learning、real time learning、online learning。 这和 Karpathy 提到的 RLVR 有一定呼应。RLVR 之所以有效，正是因为有「可验证的奖励」，模型能知道自己对不对。如果这个机制能泛化到更多场景，在线学习就有可能实现。 --- 第五层：AI 应用的第一性原理是「替代工种」 这是对我启发最大的一句话： > AI 模型应用的第一性原理不应该是创造新的 App，它的本质是 AGI 替代人类工作，因此研发替代不同工种的 AI 是应用的关键 AI 的本质不是创造新的 App，而是替代人类工作。 两条路： 1. 把以前需要人参与的软件 AI 化。 2. 创造对齐人类某个工种的 AI 软件，直接替代人类工作。 Chat 已经部分替代了搜索，同时还融合了情感交互，下一步就是替代客服、替代初级程序员、替代数据分析师。 所以，明年 2026 年的爆发点在于“AI 替代不同工种”。 创业者要思考的不是“我要开发个什么软件给用户用”，而是“我要造一个什么样的 AI 员工，去帮老板把某个岗位的人力成本砍掉”。 换句话说，别老想着做一个「AI+X」的新产品，先想想哪些人类工作可以被替代，再倒推产品形态。 这和 Karpathy 关于「Cursor for X」的观察遥相呼应。Cursor 本质上是「程序员这个工种的 AI 化」，那么各行各业都会出现类似的东西。 --- 第六层：领域大模型是个「伪命题」 这个观点可能会让一些人不舒服，但唐杰说得很直接：领域大模型就是个伪命题。都 AGI 了，哪有什么“领域专用（domain-specific）AGI”？ 之所以有领域大模型存在，是因为应用企业不愿意在 AI 模型公司面前认输，希望用领域 know-how 构建护城河，把 AI 驯化为工具。 但 AI 的本质是「海啸」，走到哪里都会把一切卷进去。一定会有领域公司主动走出护城河，被卷进 AGI 的世界。领域的数据、流程、Agent 数据，慢慢都会进入主模型。 当然 AGI 还没实现之前，领域模型会长时间存在。但这个时间窗口有多长？不好说，AI 发展实在太快了。 --- 第七层：多模态和具身智能，前景光明但道路艰难 多模态肯定是未来。但当下的问题是：它对提升 AGI 的智能上限帮助有限。 文本、多模态、多模态生成，可能还是分开发展更高效。当然，探索三者结合需要勇气和钱。 具身智能（机器人）更难。难点和 Agent 一样：通用性。你教会机器人在 A 场景干活，换个场景又不行了。怎么办？采数据、合成数据，都不容易，还贵。 怎么办？采数据，或者合成数据。都不容易，都贵。但反过来，一旦数据规模上去了，通用能力出来了，自然就形成门槛。 还有个问题往往被忽略：机器人本身也是个问题。不稳定、故障频繁，这些硬件问题也在限制具身智能的发展。 唐杰预判 2026 年这些都将取得长足进步。 --- 把唐杰这篇文章串起来，其实是一张相当清晰的路线图： 当下，预训练 scaling 依然有效，但要更重视对齐和长尾能力。 近期，Agent 是关键突破口，让模型从"会说"进化到"会做"。 中期，记忆系统和在线学习是必修课，模型要学会自我评估和迭代。 长期，工种替代是应用的本质，领域护城河会被 AGI 冲垮。 远景，多模态和具身各自发展，等待技术和数据的成熟。 --- 把唐杰和 Karpathy 的观点放在一起看，能看出几个共识： 第一，2025 年的核心变化是训练范式的升级，从「预训练为主」变成「多阶段协同」。 第二，Agent 是里程碑，是模型从学习走向干活的关键跨越。 第三，benchmark 刷分和真实能力之间有鸿沟，这个问题越来越被重视。 第四，AI 应用的本质是替代或增强人类工种，不是为了做 App 而做 App。 不同的侧重点也有意思。Karpathy 更关注「AI 是什么形状的智能」这个哲学问题，唐杰更关注「怎么让模型在真实场景落地」的工程问题。一个偏「理解」，一个偏「实现」。 两个视角都需要。理解清楚了，才知道方向对不对；工程跟上了，才能把想法变成现实。 2026 年，会很精彩。

Andrej Karpathy 是 OpenAI 联合创始人、前特斯拉 AI 总监，也是全球最有影响力的 AI 研究者之一。他刚刚发布了一篇 2025 年 LLM 年度回顾。 第一个大变化：训练方法的范式升级 2025 年之前，训练一个好用的大模型基本是三步走：预训练、监督微调、人类反馈强化学习。这个配方从 2020 年用到现在，稳定可靠。 2025 年多了关键的第四步：RLVR，全称是 Reinforcement Learning from Verifiable Rewards，翻译过来就是「可验证奖励的强化学习」。 什么意思？简单说，就是让模型在「有标准答案」的环境里反复练习。比如数学题，答案对就是对，错就是错，不需要人来打分。代码也一样，能跑通就是能跑通。 这和之前的训练有什么本质区别？之前的监督微调和人类反馈，本质上是「照葫芦画瓢」，人给什么样本，模型学什么样本。但 RLVR 不一样，它让模型自己摸索出解题策略。就像学游泳，之前是看教学视频模仿动作，现在是直接扔水里，只要你能游到对岸，怎么划水我不管。 结果呢？模型自己「悟」出了看起来像推理的东西。它学会了把大问题拆成小步骤，学会了走错路时回头重来。这些策略如果靠人类标注示范，根本标不出来，因为人自己也说不清「正确的思考过程」长什么样。 这个变化带来一个连锁反应：算力的分配方式变了。以前大部分算力砸在预训练阶段，现在越来越多算力用于 RL 阶段。模型的参数规模没怎么涨，但推理能力飙升。OpenAI 的 o1 是这条路的起点，o3 是真正让人「感觉到不一样」的拐点。 还有个新玩法：推理时也能花更多算力。让模型「想久一点」，生成更长的推理链条，效果就更好。这相当于多了一个调节能力的旋钮。 第二个大变化：我们终于搞懂了 AI 是什么「形状」的聪明 Karpathy 用了一个很妙的比喻：我们不是在「养动物」，而是在「召唤幽灵」。 人类的智能是进化出来的，优化目标是「在丛林里让部落活下去」。大模型的智能是训练出来的，优化目标是「模仿人类文本、在数学题里拿分、在评测榜单上刷分」。 优化目标完全不同，出来的东西当然也完全不同。 所以 AI 的智能是「参差不齐」的，英文叫 jagged intelligence。它可以在某些领域表现得像全知全能的学者，同时在另一些领域犯小学生都不会犯的错。上一秒帮你推导复杂公式，下一秒被一个简单的越狱提示骗走你的数据。 为什么会这样？因为哪个领域有「可验证的奖励」，模型在那个领域就会长出「尖刺」。数学有标准答案，代码能跑测试，所以这些领域进步飞快。但常识、社交、创意这些领域，什么是「对」很难定义，模型就没法高效学习。 这也让 Karpathy 对基准测试失去了信任。道理很简单：测试题本身就是「可验证环境」，模型完全可以针对测试环境做优化。刷榜变成了一门艺术。所有基准都刷满了，但离真正的通用智能还差得远，这是完全可能发生的事。 第三个大变化：LLM 应用层浮出水面 Cursor 今年火得一塌糊涂，但 Karpathy 认为它最大的意义不是产品本身，而是证明了「LLM 应用」这个新物种的存在。 大家开始讨论「X 领域的 Cursor」，这说明一种新的软件范式成立了。这类应用做什么？ 第一，做上下文工程。把相关信息整理好，喂给模型。 第二，编排多个模型调用。后台可能串了一堆 API 调用，平衡效果和成本。 第三，提供专业场景的界面。让人类能在关键节点介入。 第四，给用户一个「自主程度滑杆」。你可以让它多干点，也可以让它少干点。 有个问题被讨论了一整年：这个应用层有多「厚」？模型厂商会不会把所有应用都吃掉？ Karpathy 的判断是：模型厂商培养的是「有通用能力的大学毕业生」，但 LLM 应用负责把这些毕业生组织起来、培训上岗，变成能在具体行业干活的专业团队。数据、传感器、执行器、反馈循环，这些都是应用层的活。 第四个大变化：AI 搬进了你的电脑 Claude Code 是今年最让 Karpathy 印象深刻的产品之一。它展示了「AI 智能体」应该长什么样：能调用工具、能做推理、能循环执行、能解决复杂问题。 但更关键的是，它跑在你的电脑上。用你的环境、你的数据、你的上下文。 Karpathy 认为 OpenAI 在这里判断失误了。他们把 Codex 和智能体的重心放在云端容器里，从 ChatGPT 去调度。这像是在瞄准「AGI 终局」，但我们还没到那一步。 现实是，AI 的能力还是参差不齐的，还需要人类在旁边看着、配合着干活。把智能体放在本地，和开发者并肩工作，才是当下更合理的选择。 Claude Code 用一个极简的命令行界面做到了这一点。AI 不再只是你访问的一个网站，而是「住在」你电脑里的一个小精灵。这是一种全新的人机交互范式。 第五个大变化：Vibe Coding 起飞了 2025 年，AI 的能力跨过了一个门槛：你可以纯用英语描述需求，让它帮你写程序，完全不用管代码长什么样。Karpathy 随手发了条推特，给这种编程方式起了个名字叫 vibe coding，结果这个词火遍全网。 这意味着什么？编程不再是专业程序员的专利，普通人也能做。这和过去所有技术的扩散模式都不一样。以前新技术总是先被大公司、政府、专业人士掌握，然后才慢慢下沉。但大模型反过来，普通人从中受益的比例远超专业人士。 不只是「让不会编程的人能编程」。对会编程的人来说，很多以前「不值得写」的小程序现在都值得写了。Karpathy 自己就用 vibe coding 做了一堆项目：用 Rust 写了个定制的分词器、做了好几个工具类 App、甚至写了一次性的程序只为找一个 bug。 代码突然变得廉价、即用即弃、像草稿纸一样随便写。这会彻底改变软件的形态和程序员的工作内容。 第六个大变化：大模型的「图形界面时代」要来了 Google 的 Gemini Nano Banana 是今年最被低估的产品之一。它能根据对话内容实时生成图片、信息图、动画，把回复「画」出来而不是「写」出来。 Karpathy 把这件事放到更大的历史脉络里看：大模型是下一个重大计算范式，就像 70 年代、80 年代的计算机一样。所以我们会看到类似的演进路径。 现在和大模型「聊天」，有点像 80 年代在终端敲命令。文字是机器喜欢的格式，但不是人喜欢的格式。人其实不爱读文字，读文字又慢又累。人喜欢看图、看视频、看空间布局。这就是传统计算机为什么要发明图形界面。 大模型也需要自己的「GUI」。它应该用我们喜欢的方式跟我们说话：图片、幻灯片、白板、动画、小应用。现在的 Emoji 和 Markdown 只是初级形态，帮文字「化个妆」。真正的 LLM GUI 会是什么样？Nano Banana 是一个早期暗示。 最有意思的是，这不只是图像生成的事。它需要把文本生成、图像生成、世界知识全部绞在一起，在模型权重里融为一体。 Karpathy 的总结是这样的：2025 年的大模型，比他预期的聪明，也比他预期的蠢。两者同时成立。 但有一点很确定：即使以现在的能力，我们连 10% 的潜力都没挖掘出来。还有太多想法可以试，整个领域感觉是敞开的。 他在 Dwarkesh 的播客里说过一句看似矛盾的话： > 他相信进步会继续飞速推进， > 同时也相信还有大量的工作要做。 两件事并不矛盾。2026 年系好安全带继续加速吧。