Shawn retweeted
🔥历时三个月的百页综述《Towards Long-Horizon Agents: A Survey》，对长程智能体领域做了一次系统性梳理
📈 智能体能执行任务的时间跨度正面临指数级增长（每7个月翻一倍），从单个长窗口任务，一路延伸到跨窗口、跨会话乃至开放式任务流。
本文将"长程能力"刻画为 Harness Engineering 与 Model Optimization 的协同演化。
🔍 全文围绕六大视角展开：Foundations（定义与长程能力分级）、Evolution（提示工程 → Harness 工程）、Harnesses（循环与工作流、上下文与记忆、工具/MCP 与技能、编排、Hooks、校验）、Optimization（架构、数据与环境合成、训练与强化学习、策略蒸馏、自我演化）、Applications（软件工程、信息检索、Computer Use、多模态、通用智能体），并在 Frontiers 中展望了演进性、有效性、效率、可信性四大方向。
💻 仓库：github.com/RUC-NLPIR/Awesome…
🚀 The first comprehensive survey on Long-Horizon Agents is released!
📈 Agents' autonomous task horizon is growing exponentially. We frame long-horizon ability as the co-evolution of Harness × Optimization.
📄 Paper: openreview.net/pdf?id=Hyhfhl…
⚙️Github: github.com/RUC-NLPIR/Awesome…
Shawn retweeted
If you use LLM-as-judge, this one is worth reading.
(bookmark it)
It's actually one of the most effective ways to use LLM-as-a-Judge for evals.
Holistic judge scores hide both their reasoning and their ceiling effects.
BINEVAL decomposes each evaluation criterion into atomic yes-or-no questions, answers each independently per output, then aggregates the verdicts into calibrated multi-dimensional scores.
Every question-level verdict is inspectable, so you can diagnose exactly why an output scored low, and the same verdicts feed straight back as targeted prompt-improvement signal.
Across SummEval, Topical-Chat, and QAGS, it matches or beats UniEval and G-Eval, training-free, with especially strong results on factual consistency.
Paper: arxiv.org/abs/2606.27226
Learn to build effective AI agents in our academy: academy.dair.ai/
Shawn retweeted
这篇 how to be good at research，我觉得挺好了,翻译了读了一次,我估计大家都不喜欢看文章,所以做了一下总结:
它讲的不是「怎么读论文」，而是一个更底层的事：
研究能力不是天赋，是一套可以训练的判断系统。
原文大概可以归纳成 6 个动作：
第一，选自己的问题。
别让导师、大厂发布会、热门论文、X 时间线替你选问题。别人已经冲进去的热门方向，通常意味着你比他们晚、算力比他们少、上下文也比他们薄。
真正好的问题，往往来自你想要一个结果，然后倒推：为了让这个结果成立，我需要验证什么？
第二，升级输入。
只看 arXiv 热榜、群聊转发、爆款 thread，最后会得到和所有人一样的想法。
原文说得很狠：共享阅读列表会制造共享观点。
更好的输入是旧论文、appendix、失败案例、原始数据、被忽略的限制条件。很多新东西，其实是旧东西换了名字重新跑一遍。
第三，把想法写下来。
脑子里的想法很会骗人，写出来才知道哪里断了。
最简单的研究日志就 5 行：
我假设什么？
我怎么测？
我预期会发生什么？
真实结果是什么？
我现在改信什么？
好记性不如烂笔头,只有自己写出来的,才是自己的上下文.
第四，缩短反馈回路。
研究速度不是「我读了多少」，而是「我多快发现自己错了」。
Karpathy 训练神经网络前会先 overfit 一个小 batch，先把问题缩到便宜、可控、能看见错误，再花大算力。
做 AI 产品、AI 副业也一样。
别一上来做完整系统。先做一个丑 demo、一个手动流程、一个飞书表、一个能跑通的 n8n 自动化。
先做,不要怕,AI时代重构的成本大大降低!
第五，盯输出，尤其盯失败输出。
内容发了，有几个赞，也不代表你理解用户。
你真正该看的，是没人点的笔记、没人回复的私信、客户卡住的步骤、AI 每次都写错的地方。
Andrew Ng 那个老办法很朴素：拉 100 个失败案例，手动读，分堆，先解决最大的一堆。
比如说,我知道翻译的x的文章几乎没人看,但是我还是想分享坐下记录,那就发长推.
第六，找到能一起打磨问题的人。
原文讲 Hamming 的「开门」逻辑：关门的人一年内做得更多，开门的人更容易做出重要的东西，因为打断里有真实世界的信息。
这句话放到今天，就是别只闭门造 prompt。
把半成品想法放出去，找人复现，找人骂，找人指出哪里不成立。
一个人可以走的很快,一群人才能走得更远.
我的看法是：
AI 时代工具会越来越多，教程会越来越便宜，模型能力也会持续下沉。
最后拉开差距的，是谁能更快形成判断，谁能更便宜地验证判断，谁能从失败里捡到下一步,而这,需要大量的积累.
Shawn retweeted
牛逼了兄弟们，@Tiny_Fish刚刚开源了BigSet！你可以一句话直接生成任意数据集——
只需要描述你想要搜索查询的数据，比如AI工具价格、竞品动态、招聘信息、黑客松比赛，BigSet就会调用大模型和网页检索API，直接把公开网页里的信息整理成结构化表格返回，而且能定时刷新数据集。
上周偶然的机会，我参加一个线上黑客松，拿了很不错的奖金，所以我一直在关注全球的黑客松赛事，但是这种黑客松赛事比较分散，自己挨个去找太麻烦了，所以我让BigSet帮我构建一个实时数据集，收录全球范围内未来 90 天内正在开放报名的所有黑客松。
最后返回了具体的链接、黑客松名称、报名截止时间、奖金、线上支持......我能直接选择心仪的，直接跳转到具体的黑客松活动网址报名，节省了大量的时间！
BigSet还是多Agent架构，这就决定了它抓取任务分工明确、速度更快、结果更清楚，天然更适配处理表格类的任务。
如果你经常做竞品调研或者经常需要把分散在公开网页里的信息整理成表格，完全可以试试BigSet。而且它和Firecrawl这种专业数据抓取工具不同，你不需要丢给它URL，只需要把需求说清楚，AI就会自动去找到目标网站、抓取数据并且返回结构化的表格数据。
BigSet完全开源，AGPL-3.0许可，你可以自托管在本地运行，默认接入OpenRouter 大模型 API和TinyFish网页数据获取的API。
如果觉得BigSet有用，可以去GitHub给它点个 star～：github.com/tinyfish-io/bigse…
TinyFish网页数据获取API Key：bit.ly/4nWC7Ja
Shawn retweeted
Building autonomous agents for scientific discovery? 🧬🤖
@GoogleDeepMind Science Skills is now available on GitHub. We've open-sourced this specialized toolkit to accelerate your agentic workflows with scientific grounding and higher token efficiency.
Download now ↓
github.com/google-deepmind/s…
Shawn retweeted
Perplexity 这篇《Search as Code》确实是最近最值得看的文章
它试图讲明白更核心的的问题：
搜索不该再只是 API，而应该变成模型可以用代码编排的能力系统。
传统搜索的抽象是：输入 query，返回结果。
这对人类够用，因为人只是在浏览链接。
但 Agent 要做的不是“查一个答案”，而是完成一个任务：拆问题、并行检索、筛选来源、去重、抽取、聚合、验证、回填，再继续搜索。复杂任务里，可能会有几百甚至上千次检索操作。
这时候，如果搜索系统只暴露一个 query 参数，Agent 就只能反复调用同一个黑盒 pipeline，把大量中间结果塞进上下文。结果就是 token 变贵、上下文变脏、延迟变高、推理质量下降。
Perplexity 的 SaC 核心思路是：把搜索栈拆成检索、排序、过滤、fan-out、去重、抽取、验证等 primitives，让模型通过 Python 代码动态组装任务专用的搜索流程。
模型负责判断策略；
代码负责确定性执行；
搜索基础设施负责外部信息 I/O。
最佳看点是它的 CVE 案例：任务要求找 2023–2025 年 200+ 个高危 CVE，必须引用厂商官方 advisory，并证明修复版本和 CVE 绑定。SaC 不是简单搜网页，而是生成一套检索、补齐、抽取、验证、去重的程序化证据链。
research.perplexity.ai/artic…
Shawn retweeted
I'm excited to finally share Chronomaly, a kernel exploit for Android and Linux kernels 5.10.x using CVE-2025-38352.
As a reminder, please patch your Android devices if you haven't already!
I recommend getting some 🍿 before reading this post 👀
All links in the thread below:
Shawn retweeted
[POC2025] Talks are now UP ONLINE!
Talks from #POC2025 are now publicly available on YouTube!
Enjoy the sessions - see you again at POC2026!
youtube.com/@pocsecurity
Shawn retweeted
[446722008][reward: $100000] heap-use-after-free in content::indexed_db::Database::connections_ when force_closing_ is true
crbug.com/446722008
Shawn retweeted
刚读完Google最新的AGI论文，论文的观点大胆且非常crypto native，我一度以为是在看加密项目的白皮书。
几个核心观点：
1. AGI终将是一个 DAO，而不是一个 CEO。
我们总是幻想某天一觉醒来，诞生了 GPT-10 这样的全知全能神。论文指出未来的AGI大概率是分布式的 。就像公司没有一个人能擅长所有事情，AGI 将是一个由无数互补的“特种 Agent”组成的网络 。在这个网络里，没有单一的中心，超级智能是在Agent疯狂的交易和协作中涌现出来的 。
换句话说，AGI不是一个实体，而是一种市场状态。
2.治理AGI不能靠“法律”，得靠“智能合约”。
既然从单一模型变成了市场，安全范式必须从“心理学”转向“治理学” 。以前 AI 安全是做一个超级大脑的对齐。但面对每秒亿万次的高频交互，人类监管是无效的。因此必须引入智能合约。Agent 完成任务后，由Oracle 验证结果，自动执行结算 。代码即法律，不满足安全约束，资金就无法流转。
3. 引入“质押”与“罚没”。
怎么防止 Agent 作恶？研究团队居然复刻了PoS机制。Agent想接大单？先Stake资产 。一旦被审计发现作恶，智能合约直接罚没质押金 。这种基于经济抵押的信任，比单纯的代码审查更有效。
4. 链上身份与“Gas 费”调节
DID：为了防女巫攻击，每个 Agent 必须有基于公钥密码学的唯一身份，且绑定法律实体。
动态Gas：为了防垃圾数据污染，建议对Agent的操作征收动态费用 。这不就是以太坊拥堵时的 Gas Fee 调节机制吗？
5. 记录上链
所有的决策和交易历史，必须记录在加密安全的、只能追加不能修改的账本上 。这为了确保当系统出问题时，能进行取证分析，没人能赖账 。
这篇论文标志着 AI 安全的一个范式转移：从单纯的计算机科学和价值观对齐，变成了经济学和博弈论 。
而加密圈子折腾了十几年的DID、智能合约、预言机和经济模型，治理机制等等等等。无论成熟与不成熟，这些探索至少迈出去一些步，而这些步，也许刚好是给未来那个庞大的、去中心化的硅基生命群体的基础。
未来的 AGI 安全专家，可能不需要是一个能写代码的工程师，但必须是一个懂博弈论、市场设计和去中心化治理的“AI 经济学家”。我们本质是要设计在这个新物种的共识、激励和治理模型，而不仅仅是修补大模型的神经元。
论文信息量很大，以上只cover了一部分，有兴趣可以阅读原文
arxiv.org/abs/2512.16856
Shawn retweeted
New in-depth blog post - "Inside vLLM: Anatomy of a High-Throughput LLM Inference System". Probably the most in depth explanation of how LLM inference engines and vLLM in particular work!
Took me a while to get this level of understanding of the codebase and then to write up this one - i quickly realized i understimated the effort. 😅 It could have easily been a book/booklet (lol).
I covered:
* Basics of inference engine flow (input/output request processing, scheduling, paged attention, continuous batching)
* "Advanced" stuff: chunked prefill, prefix caching, guided decoding (grammar-constrained FSM), speculative decoding, disaggregated P/D
* Scaling up: going from smaller LMs that can be hosted on a single GPU all the way to trillion+ params (via TP/PP/SP) -> multi-GPU, multi-node setup
* Serving the model on the web: going from offline deployment to multiple API servers, load balancing, DP coordinator, multiple engines setup :)
* Measuring perf of inference systems (latency (ttft, itl, e2e, tpot), throughput) and GPU perf roofline model
Lots of examples, lots of visuals!
---
I realize i've been silent on social - many of you noticed and thanks for reaching out! :) --> I'm so back! lots of things happened.
Also, in general, I'm a bit sick of superficial content, it really is an equivalent of junk food (h/t @karpathy).
I want to do the best/deepest technical work of my life over the next years and write much more in depth (high quality organic food ;)) so I might not be as frequent around here as i used to be (? we'll see). I'll make it a goal to share a few paper summaries a week or stuff that's relevant / in the zeitgeist.
If you have any topics that happened over the past few weeks/months drop it down in the comments i might focus on some of those in my next posts.
---
Huge thank you to @Hyperstackcloud for giving me an H100 node to run some of the experiments and analysis that i needed to write this up. The team there led by Christopher Starkey is amazing!
Also a big thank you to Nick Hill (who did a very thorough review of the post - basically a code review lol; Nick's a core vLLM contributor and principal SWE at RedHat) and to my friends Kyle Krannen (NVIDIA Dynamo), @marksaroufim (PyTorch), and @ashVaswani (goat) for taking the time during weekend when they didn't have to!
Shawn retweeted
My feed is all about RL environment today. From our recent experience, building an actual useful RL environment for LLM agents is hard since your first need to build the actual useful observation and action space. Taking web navigation as an example, most of the existing browser tools are hardly usable. We ended up with building our own browser tools. After building the observation and action space, now you need to find actual challenging tasks and label them or choose a clean dataset to start with. Then it is time to define your reward functions if you don’t want to rely on 0/1 sparse rewards. However, the real world is noisy. Tasks fail because of website updates, API call failures, context window overloaded from observations, bot detection, …
Finally, you are ready to get started with your training. Then you find many of the LLM agent RL training frameworks coupled the agent logics rollout engines. Then you need to work with some of them to make RL training frameworks to be agnostic to agents (some of them already support. we are working with some of them atm)
Good luck environment builders! 🫡
Shawn retweeted
关于这个提一个我以为很多人都知道，但在公司讲课过程中发现其实大家不知道的agent开发的重点技巧：tool-call，无论是function_calling还是MCP调用，都是分显式和隐式两种的。
1️⃣隐式调用：现代化的自动工具执行
最近的LLM都内置了自动工具调用能力。比如Gemini（你可以通过au
tomatic_function_calling这个flag来控制这个特性）。由于官方文档和示例都以隐式调用为主，如果你是最近两个月才开始接触MCP开发，你使用的很可能一直都是隐式模式。
在隐式模式下，整个工具调用流程对开发者来说是黑盒的。LLM自动判断是否需要调用工具，自动选择合适的工具和参数，自动执行工具并整合结果。开发者只需要提供工具列表，然后就能直接获得最终的自然语言回答。
隐式是更新的技术，也是未来的趋势，随着大模型能力的进化，这种也应该会成为主流。
聪明的同学应该猜到了，夸完了，转折就来了。没错，隐式有着暂时难以避免的缺点。
Kimi K2 的一大亮点，是将文本任务里基于 token 的处理思路，成功迁移到 Agentic 场景中的 tool-call 级别：在 Agentic 任务中，tool call 就相当于“行动 token”。
什么意思呢？解释如下：
在文本任务中:
CoT 是一串 token
而在Agentic 场景中：
CoT 是一段 tool-call 序列，即planning
在文本任务中：
用BLEU 或ROUGE等衡量生成文本与黄金答案在 token或字符层面的相似度，如具体的machine translation, summarization 等任务。
在Agentic 场景中
Process Accuracy，用来衡量实际 tool-call 序列与理想动作轨迹的匹配度，颗粒度（这个词挺合适的😅）是tool call 级别的。
如此一来，Kimi K2 在Agentic 场景中实现了与传统 NLP 的联系，使模型的规划与执行得以像文本生成那样可度量和优化。
Shawn retweeted
decompilers still feel arcane to me. even super popular open source ones like ghidra have a plentitude of critical bugs in their issue trackers open for months.
identifying semantic decompilation errors at scale is challenging, so it's neat to see bin2wrong addressing this
Shawn retweeted
Leak hole PoC for Chrome in-the-wild vulnerability CVE-2025-6554 published yesterday:
github.com/DarkNavySecurity/…
Shawn retweeted
HiddenLayer researchers have found a way to bypass text classification models by targeting tokenizers. TokenBreak gets past protection models, leaving end targets exposed.
🔗 hiddenlayer.com/innovation-h…
#AISecurity #AI #LLMSecurity
