AI 这辆车可能真的需要有人踩一下刹车了。 电脑端的 AGI，我现在觉得是一个不可阻挡的趋势。模型有眼睛，能操作电脑，长程任务越来越稳定，再加上 Agent，实际上已经开始具备“数字员工”的雏形。再这么发展下去，大量坐在电脑前办公的白领，可能会比我们想象中更早遇到麻烦。 更让我在意的是 RSI，也就是 AI 自我改进 AI。 前两天刚从 Anthropic 辞职的年轻研究员 Jacob Coxon 公开警告，OpenAI 和 Anthropic 都在奔向“自我改进的超级智能”，甚至用了“拿我们的生命赌博”这种很重的话。 最近发生的一堆事情放在一起看，也确实有点吓人。模型越来越强，Agent 能连续干几十个小时，AI 已经开始参与 AI 自己的研发。以前我们担心的是 AGI 什么时候来，现在突然发现，RSI 这条线也在往前拱。 一旦这个闭环真的跑起来，后面的事情就没人知道了。 人类未来可能只有两条路：要么 AI 把医学和生命科学干穿，大家活到一百多岁甚至更久；要么哪一步玩脱了，人类几十年后直接把自己玩没了。 以前说这个还有点科幻。现在越来越笑不出来了。 所以我觉得现在真正缺的，是一个 AI 吹哨人。 不是那些根本没摸过前沿模型、天天在外面喊 AI 威胁论的人，而是真正在 OpenAI、Anthropic 这种地方干过，见过最强内部模型，知道 RSI 已经做到什么程度的人。 有一天他站出来告诉大家： 我见过前面是什么，我们最好慢一点。 如果真有这么一天，我希望是在 ASI 出现之前。等它真的出现了，再讨论要不要踩刹车，就有点晚了。