AI 应用 · Agent · AI Systems 工程师｜15 年弧线：嵌入式 → Python 后端 → LLM 平台｜正在做 Agentic EDA 与 vLLM 推理平台｜博客与项目：https://xitter.cf/t.co/OtexD6NmQr
Hangzhou, China
Joined December 2018
- Tweets572
- Following129
- Followers16
- Likes668
bingo retweeted
试了下之前X友推荐的这个skill：Answer me with HTML
效果蛮不错，以前问AI稍微复杂点的问题，甩回来一大堵文字墙，看得头疼，用这个skill可以顺手给你生成一页排版好的 HTML：有时序图、状态图、对比表等等，比纯文字可读性要好的多，喜欢这种输出风格的可以装一个
github.com/QingYunA/answer-m…
bingo retweeted
太离谱了！
🔥一张静态2D平面户型图，用 AI 几分钟就生成了3D样板间视频！
这个户型来自真实楼盘，我完整跑了一遍整个流程，效果远超预期！
以前动辄10万+，耗时几个月的样板间展示，现在普通人也能快速实现！
完整3步工作流分享👇
bingo retweeted
打通云端Grok Bot和本地Agent，我想到一个超级无敌简单，人人一学都会的方法。
本地Chrome浏览器登录Grok网站，然后把Grok Bot的URL贴给本地Agent，让本地Agent在Chrome浏览器里和Grok Bot对话。本地Agent甚至可以直接操控云端Grok Bot了，太帅了。
两边还是完全隔离的环境，也不用担心数据安全问题。
我靠，我不得不佩服自己的脑子，这么简单就解决掉了打通问题。
我之前的解决方案显得如此愚蠢，又是 GitHub 同步，又是 Webhook 唤醒，白折腾半天，还不如我现在通过本地Chrome浏览器直接搞定。
以下截图：第一张是云端Grok Bot；第二张是本地Paseo。
你可以用 Grok Bot 干些什么呢？这是我目前的用法：
1. 帮我收邮件回邮件，谈合作；
2. 帮我收X 私信，回私信，谈合作；
3. 每天抓取X，生成每日新闻，发布 news.fankai.me
4. 记录代办事项并分派给其他Bot；
5. 记录便笺和备忘信息，并每周整理；
6. 随时聊天，值得记录的想法，转到便笺Bot，需要办理的事情，给代办事项Bot。
7. 其他随手就可以完成的小活。
我每天正式的工作，包括内容创作、项目开发、客户提案和演示文稿这些，还是在 Mac Studio 上通过 Paseo 完成的。
但是很多小活，在我的本地知识库上用 Paseo 调用本地 Agent 干活就太重了。我需要一个多 Bot 解决方案，还要能支持 Webhook，可以主动唤醒的。
Paseo Bots 插件满足需求，但还是太重了。现在 Grok Bot 很好的满足了我的需求，而且非常轻巧、贴手。
总结下来：
1. 在手机上用 Grok Bot 随时随地干小活；
2. 在Mac 上用 Paseo 认认真真干大活；
不要小看随时随地干小活，当把事情启动的门槛降到很低，我们真的会去尝试很多事情，这也是个体创业者OPC必须培养的习惯。
Grok Bot 怎么和本地 Agent 协作呢？
Grok Bot 毕竟弱鸡，复杂的事情，它干不好，还是要用本地 Agent，那么两者怎么协作？怎么交接工作呢？
这决定了 Grok Bot 究竟能否纳入到我的日常工作流里。Grok Bot 究竟是玩具，还是生产力工具，就在此举了。
1. 把 Grok Bot 的工作目录同步到 GitHub 上，既备份也方便你本地的 Agent 修改。
2. Grok Bot 干完活，工作都保存并同步到 GitHub 上。
本地 Agent 定期拉取 GitHub，获取 Grok Bot 所有信息。所以 Grok Bot 的小活干完，就同步给了本地的 Agent。
如果这个事情需要投入更多精力做，本地 Agent 就直接接手了。
这就是一个从云端的小活 -> 本地大活 的交接过程。
如果本地想把一个小活派给云端的 Grok Bot 呢？
稍微有点工作量：
1. 本地 Agent 把任务写到 workspace/tasks/inbox ，并提交；
2. 触发 GitHub Actions，调用 Webhook，唤醒了我的 Grok Bot 主控 Friday；
3. Friday 拉取 GitHub，读取 inbox 里面的任务，然后自己执行，或者派给其他 Bot 执行。
4. 执行完毕，写入 workspace/tasks/results，汇报任务完毕。
这就完美实现了本地 Agent 给云端 Grok Bot 派任务了：大活自己干，小活或者定时任务交给 Grok Bot。
为啥不让 Grok Bot 控制本地环境？
有人说：Grok Bot App 可以接管本地的 Mac Studio，干嘛不全部交给 Grok Bot 呢？何必来回交接？
那我只能说，你是大心脏，真不怕本地敏感数据被卷包汇。我可不想把自己所有的东西一股脑交给云端。更何况让一个弱鸡 Grok Bot 替代本地强大的 Agent。
所以，让合适的工具干合适的事，不能拿一把锤子，看什么都像钉子，都想敲一把。
bingo retweeted
刷到孙宇晨在token2049与金明的最新采访，发现他对 BTC、ETH 和纳指都比较谨慎，反而更看好 AI 应用和 RWA。
羊羊看完有个感受：现在的热点太多了，今天 AI，明天 RWA，感觉每天都有新故事。
但一个赛道被大家看好，就真的值得参与吗？
AI 最后能不能做出实际应用，RWA 能不能解决真实需求，我觉得这些比单纯听故事重要得多。
还有一点挺有意思：看空 BTC，不代表一定要清仓；看好一个赛道，也不代表现在就要冲进去。
比起追着热点跑，我更想先搞明白一件事：这个机会到底靠什么赚钱？
bingo retweeted
GitHub 狂揽 9.7K Star！有人做了个 AI 新闻雷达，直接帮你从全网挖掘高价值信息！
1、聚合 X、Telegram、Reddit、GitHub、Hacker News、RSS 等多个信息源。
2、AI 自动筛选、评分、去重，把真正值得看的内容留下来。
3、自动生成中英文每日简报，还能补充事件背景和网友讨论。
GitHub： github.com/Thysrael/Horizon
DeepSeek API 今早 8:11–13:04 故障近 5 小时，补偿公告：10.8–10.14 七天内消耗金额全额以赠金返还，自动到账，后续计费优先扣赠金。
按上周真实账单直接全退，这补偿力度是真舍得。
bingo retweeted
深圳一个22岁大学生，花900块买了台红米手机，一个月赚了1.47万美元。
他爸妈还以为他在准备考研。
其实手机每30分钟就自动打开6款中文新闻App，截图、提取摘要，发给Claude分析。
AI再拿这些信息去对比Polymarket的行情，然后给出下注建议。
全程零代码。核心工具是一个叫PhoneDriver的开源项目，让AI像人一样看屏幕、自己操作。
关键就在时间差：中文新闻出来，到英文交易员反应过来，通常差20到50分钟。
主页：
polymarket.com/zh-hant/profi…
微博、头条先把消息放出来，Polymarket后面才慢慢定价。
这6个App里有3个反爬虫，但PhoneDriver厉害就厉害在，它只看像素。
#Polymarket
🤝 Paid partnership
bingo retweeted
有个网友听 ChatGPT 的建议，一口气买了 ESP32、电机驱动、小车底盘、18650 电池。
东西到了，他傻眼了："这不是玩，这是入行啊！！！"
想玩 ESP32 的，先别下单。
我手上一块板子都没有，但翻完 8 个平台的帖子，整理了一条小白最稳的路线。连哪种数据线会坑你都写了。
bingo retweeted
REA is the most dangerous thing on the internet right now...
And 99% of people have no idea how to use it.
You pay every month for apps whose features are already sitting on your computer.
Send this single prompt to Opus 5.5 and reverse-engineer any paid closed-source app
Then save the article below on how to become REA engineer👇
bingo retweeted
AI 写代码太快，git 扛不住了：Anthropic 为什么自己造了 Scion？
视频1: 英文版
视频2: 中文版
这一年，GitHub 隔三岔五就出故障。GitHub 在自己的可用性报告里说，流量涨得飞快，很大一块来自 AI：AI 帮人写代码，AI 智能体自己提交修改。他们四个月里把有效容量翻了一倍多，还是扛得很吃力。
Anthropic 自己的代码库更夸张：今年五月平均每天合并约 2500 次修改，到了九月，一天超过 3 万次，涨了十倍以上。
全世界程序员都在用的 git，扛不住了。Anthropic 干脆自己造了一个版本控制系统，叫 Scion，五个月就把整个代码库从 git 换了过去。git 为什么扛不住？Scion 到底改了什么？
git 是干什么的
你可以把 git 想成一个带时光机的共享文件夹。每改一次，就存成一个版本，叫一次提交。谁改了哪一行、什么时候改的，都查得到，改坏了还能退回去。
GitHub，就是全世界最大的、帮大家存放 git 仓库的网站。
很多大公司会把所有项目的代码放进同一个大仓库，这叫单体仓库（monorepo）。Anthropic 用的就是这种。
每人一整座图书馆
git 有个特点：每个人拿到的，都是一整份完整的仓库，连全部历史一起。打个比方，就像借书的时候，顺手把整座图书馆复印一份搬回了家。好处是断了网也能翻历史、查记录。
仓库小的时候，这没问题。可 Anthropic 的仓库，光主分支的历史就接近 100 GB，压缩后的一份工作副本也超过 25 GB。
搬不动了
再看要搬多少次。光是自动构建和测试（CI）这一个环节，每天就要把代码检出到机器上大约 2500 万次，这还没算开发环境、AI 智能体的沙盒和研究任务。要是每次都老老实实整份拉取，一天的流量会超过 600 PB。换算一下，差不多是 60 万块 1 TB 的硬盘。
原来的补丁架构：层层加缓存
他们想过各种办法：浅克隆、稀疏检出这类只拉一部分的功能都试过。原来的架构，是层层加缓存：机器要代码，先找本地的打包缓存（packfile cache）；没有，再找镜像服务器（mirror replicas）；镜像再去找镜像主库，最后才是最上游的那份仓库。每个集群都有一套。新机器启动时，还会先从云存储拷一份仓库快照，省得从零开始拉。
最多的时候，同时开着几百台 git 镜像服务器。可修改越来越多，快照一拷下来就落后一大截，镜像也越来越难养。
换一个问题
后来他们发现，git 那些为离线工作准备的本事，自己几乎用不上。
这里说的“在线”，不是指能不能上网，而是随时能连上公司的代码服务器。你带着笔记本上飞机，没有网也想写代码、翻历史，git 那套“每人一整份”的本事才派得上用场。可在 Anthropic，用代码的几乎都是 AI 智能体和后台任务，它们本来就跑在公司的机器上，跟代码服务器之间的网一直是通的。
于是他们换了个问题：如果从一开始就假设，用的人永远在线、随时连得上服务器，代码管理该长什么样？
要哪页，取哪页
答案是：别再搬图书馆了，改成去前台借。
Scion 的客户端不存整份仓库，只留一个容量有限的本地缓存。需要哪个目录、哪个文件，再去服务器取。查历史、查某一行是谁写的、合并和变基，这些重活全交给服务器。这些查询能力都通过接口开放出来，很多任务连代码都不用拉，直接问服务器就行。
提交就在服务器上
在 git 里，你先在自己电脑上提交，再推送给大家。在 Scion 里，提交直接发生在服务器上，一提交，所有人马上能看到，根本没有“推送”这一步。
每次提交只记下这次改了哪几个文件，像一张修改清单，不用把整个目录重抄一遍。清单上每个文件只记一个编号，真正的内容存在云存储里，一模一样的内容只存一份。所以仓库再大，一次提交的成本只跟这次改了多少有关。
一层层的分馆
那么多机器同时来借，服务器忙得过来吗？靠的是一层层缓存：每台机器上有个“小管家” scion-daemon，每个区域有个“分馆” scion-cache，最后才是“总馆” scion-server，它背后连着数据库和云存储。
每份文件都按内容算出一个编号，存进去就再也不会变，所以哪一层都能放心缓存，不用跟别人核对。结果，每一层的缓存命中率都超过 99%，绝大多数请求在家门口就解决了。
Scion 的整张架构图
把这些拼起来，就是原文配图里的 Scion 架构。请求分两条路走：
一条是“问事”（控制面）：查历史、看差异、提交修改，所有客户端，包括代码审查工具 Antique、开发者电脑、集群里的任务，都直接找总馆 scion-server。
另一条是“取货”（数据面）：目录和文件内容走缓存。开发者的电脑直接找区域分馆 scion-cache；集群里的任务先找本机的小管家 scion-daemon，没命中再一层层往上找。
总馆背后，修改记录、分支和目录结构存在 Spanner 数据库里，文件内容存在云存储里。新机器上线，小管家先拷一份定期快照，省得从头拉。
效果
整套设施占用的 CPU 和内存，比原来的 git 镜像集群小了 200 倍。测试和研究任务拉代码，从几分钟缩短到几秒钟，光 CI 这一项就省出了 25% 的 CPU。原文配图里还有一组数字：AI 智能体新开一个工作区，中位耗时从 7.1 分钟降到 5.1 秒，快了 84 倍。
这么大的系统，得多少人做？
一个七个人的团队，用五个月做完了 Scion 和配套的代码审查工具 Antique，还顺手做了五六个周边系统，并把整个仓库迁了过去。而且这期间每天合并的修改量涨了十倍。放在过去，这种迁移往往要大得多的团队花上好几年。
一个例子：他们手写的第一版数据导入程序，交给 Claude 一个早期的内部版本（Claude Mythos Preview 的早期快照）重写，没加任何额外要求，新版本内存降了 20 倍，速度快了 4 倍，原有的约束条件也都保住了。
AI 写代码这么强，工程师还干什么？
参与的工程师都承认，单论写代码，Claude 已经比他们强了。但工程师的活变了：把握各个系统怎么配合，权衡架构上的取舍，围绕要解决的问题和预期的规模做决定。很多时候，他们的工作是对 Claude 说“不”。
比如，有好几个系统想一条条扫提交记录，去找某次修改是什么时候合进主分支的，其实直接问代码审查工具就行。现在团队成员依然审查每一个变更，但审的是修改背后的意图，不再逐行读代码。
大家都该扔掉 git 吗？
不用。Anthropic 自己说，Scion 不是 git 的通用替代品，只有极其庞大的单体仓库才用得上：背后要么有几万名工程师，要么有成群不知疲倦写代码的智能体。
它和 git 差别太大，想用就得把代码审查、代码搜索、CI 这整条工具链重做一遍，所以他们没打算做成通用产品。他们更希望这些思路被借进 git 生态：服务器多干活、提供更完整的查询接口，客户端按需取。他们预计，未来 6 到 12 个月，这类扩展问题会在业界越来越常见。
记住三句话
第一，git 让每个人拿一整份仓库，AI 把修改量推高十倍以上，就搬不动了。
第二，Scion 假设用的人永远在线、随时连得上服务器：要什么取什么，重活交给服务器，一层层缓存兜底。
第三，AI 写代码越快，瓶颈就越会跑到别处：代码管理、构建、测试，都得按 AI 的规模重新设计。
以前，是每人搬回一座图书馆；现在，楼下就有分馆，要哪页，借哪页。
资料来源：Anthropic 工程博客《Redesigning source control at Anthropic》（2026 年 10 月），anthropic.com/engineering/re…
New on our Engineering blog: Creating in-house source control.
In May, we merged around 2,500 code changes per day. In September, we merged more than 30,000 per day. As a result, we became bottlenecked by developer infrastructure built for human (rather than agent) scale.
Here, we share how we built a new version control system—and fully migrated our monorepo from git—in five months: anthropic.com/engineering/re…
bingo retweeted
💥太全面了吧！RSI资源地图来了！开源神器 Awesome RSI 资料库正式整理完成！这是一份精选的 GitHub 研究合集，专为探索递归自我改进的开发者与研究者打造！
RSI 不是普通迭代，而是 AI系统不仅提升自身能力，还能改进“产生改进的机制”本身。从自训练、记忆演化、Harness优化，到自动化AI研发、具身系统、安全对齐，全都系统梳理好了，再也不用一篇篇论文自己拼图。
核心亮点
🔹先打基础：奠基论文、形式化分析与综述一网打尽
🔹术语清晰：区分自我精炼 / 持续自改进 / 递归自改进 / RSI基底
🔹分层拆解：模型层、Harness层、多智能体、自演化框架全覆盖
🔹评测路径完整：直接自改进评测 + AI研发/智能体能力基准
🔹社区驱动、CC0开源，持续更新中（已600+ Star，增长飞快）
RSI资源主要分类
1️⃣基础与入门 — 奠基论文与术语厘清
2️⃣模型层RSI — 自训练、自奖励、合成数据、自博弈
3️⃣Harness层RSI — 提示优化、记忆演化、脚手架演化、自演化智能体
4️⃣多智能体自改进 — 协同演化与辩论机制
5️⃣编码/软件工程自改进 — 自修改编码Agent
6️⃣自动化AI研发
7️⃣具身与物理自改进
8️⃣进化与u开放式RSI
9️⃣安全、对齐与理论
🔟基准与评测 + 框架工具合集
非常适合做RSI研究和从事AI的人系统学习，快速建立全局认知。
👉 直达链接：github.com/lobehub/awesome-r…
#大模型 #算法 #人工智能发展 #AINEXT #RSI #RecursiveSelfImprovement #AwesomeList #开源AI #AI智能体 #AI安全
🫨卧槽，万物皆可RSI了！一个模型居然通吃写代码、点GUI、做实验、优化反应！
PhAI Labs / Gen-Verse 刚开源的 RSI-Anything 直接把「递归自我改进」做成了跨域通用框架，基于 JEPA-Anything 世界模型，让 AI 自己提出候选 → 预测后果 → 选择执行 → 真实反馈学习 → 保留改进，循环进化。
核心亮点：
🔹同一套 RSI 流程覆盖 代码修复、GUI操作、实验室规划、化学反应优化、免疫科学
🔹代码修复成功率从 26.3% 提升至 31.2%（同等测试开销）
🔹实验室规划分数连续五代从 21.8% 翻倍至 46.01%
🔹反应优化平均最佳产率 96.15%（同预算下远超贝叶斯优化的 82.16%）
🔹GUI 任务动作数减少 39.4%，成功率显著提升
3步上手玩转万物RSI：
1️⃣git clone github.com/Gen-Verse/RSI-Any… + pip install -e .
2️⃣按需下载资产：rsi assets --profile full
3️⃣直接跑：rsi run --config configs//default.json
论文 + 代码已全开源，真正实现「预测万物 → 自我进化万物」。
Paper: arxiv.org/abs/2610.13912
Code: github.com/Gen-Verse/RSI-Any…
这波直接把RSI从纸上谈兵推进到可跨域落地，值得盯紧。
#RSI #WorldModels #AIAgents #AIforScience #JEPA #万物皆可RSI #开源
bingo retweeted
《深入理解AI Agent》这本开源书免费可读，一天涨了2k星，翻完后还让AI学了一遍，确实写得不错。
日常用AI踩的那些坑，它都掰开揉碎讲：
1️⃣ 上下文一长就变笨
2️⃣ 工具调用老翻车
3️⃣ 同样是Agent，有的好用有的像人工智障
关键是从工程落地角度讲，每章都配能跑的实验代码。
懒人玩法：把GitHub链接丢给Hermes，让AI带着过一遍，比干啃强多了。
🔗 github.com/bojieli/ai-agent-…
bingo retweeted
搞定了一键发布微信公众号文章，一键发布 Substack，这下爽了。
现在我写文章，都是调用我自己写的 create-article 技能。
我先通过 AI 语音输入软件 大段大段口述，然后让 AI 帮我整理润色一下，最后我再手工修改一遍。
写文章最麻烦的是准备物料和发布，能烦死你。但我的技能可以一键生成标题，简介，封面图片，推荐语，我再确认一下就没问题了。
最爽的就是可以帮我把文章直接一键发布到微信公众号草稿箱和 Substack 草稿箱，内容都是排版好的。
我最后预览一下，没问题就手工点发布。
AI 现在让我的写作心理摩擦降到了最低。内容和观点还是应该来自于人，但是繁琐的事都交给 AI 吧。
bingo retweeted
最近给组里做了一次 AI 开发分享，顺手整理成了文章。
写了我平时怎么用 Codex、Claude，常用哪些 Skill 和提示词，怎么让 Agent 自己测试，以及最后我怎么 Review。
欢迎大家分享自己的见解～
Manus 新出的个人 AI 助理 Cue 上手了：给 Agent 配了手机号、邮箱和一台自己的电脑，能接电话、发消息、自己干活。早鸟期 Plus 免费、不用绑卡，唯一门槛是邀请码。亲测 10-08 依然有效：MEETCUE（官方公共码，手慢无）
bingo retweeted
🎁 Karpathy 又给行业发福利了！codex / claude code 给你生产一大堆文字，你还一个字不落地读吗？ 别这样，效率太低了，试试下面 Karpathy 提出的几个方法。
你只能感慨，牛人终究是牛人，聪明的同时，还努力，还不断想办法让自己高效。
Karpathy 提了一个很多人忽略的问题：当 AI 的产出速度超过人的理解速度，继续让它写更多文字，只会把瓶颈越堆越高。
模型可以在几分钟内生成几万行代码、研究报告和复杂方案，但人仍然要判断它做了什么、逻辑是否成立、结果能不能使用。
所以 Karpathy 提出的几个方案：怎样把模型的输出转换成人更容易理解和验证的形式。
1️⃣ 用 ASD-STE100 约束文字。
普通模型喜欢使用长句、抽象词和模糊表达。同一个概念写了很多字，读完仍然不知道重点。
ASD-STE100 最初用于航空维修文档，它限制词汇、句式和表达方式，要求每句话清楚、直接、含义唯一。
可以提示模型：“用 80% 的 ASD-STE100 风格解释这个问题。”
它的收益是降低语言噪声，减少歧义，让技术文档和复杂概念更容易检查。
2️⃣ 生成图表。
有些内容的难点来自关系复杂，例如系统架构、调用链、因果关系和模块依赖。线性文字很难同时展示这些结构。
让模型生成流程图、架构图或概念图，可以直接看到节点之间如何连接、数据如何流动、问题可能出现在哪里。
它的收益是降低理解成本，也更容易发现缺失关系和逻辑断点。
3️⃣ 生成交互式网页。
如果一个问题包含状态、参数或动态变化，静态文字和图片都不够。
这时可以让模型输出 HTML，通过按钮、滑块和动画展示：参数变化后结果会发生什么，系统在不同状态下如何运行。
它的收益是把“阅读结论”变成“亲手验证”。用户可以修改参数、观察结果，快速建立因果理解。
4️⃣ 生成解释视频。
算法执行、物理过程和抽象概念都包含时间顺序。视频可以逐步展示变化过程，同时结合动画、旁白和重点标注。
Karpathy 建议直接让模型制作 3Blue1Brown 风格的解释视频。
它的收益是帮助人建立直觉，尤其适合只看文字很难想象的概念。
这几个方案背后的真正变化，是“可丢弃软件”的成本正在接近零。过去，为一个问题单独制作网页、动画或视频不划算。
现在模型可以根据你的知识水平临时生成，用完就扔，别再傻傻完整读完模型给你输出的所有内容了，效率太低了，试试上面的方法。
We'll be spending a lot more time trying to understand the outputs of language models. A few thoughts, tips & tricks:
Writing. Something I've had success with: Ask your LLM to explain something in ASD-STE100, it's a controlled language specification originally developed for aerospace maintenance documentation. LLMs well-versed in this language and it comes with heavy constraints on clean writing style that I often find a lot more readable. Sometimes I've tried to soften it a bit e.g. ask for "80% of the way to ASD-STE100" because the spec is quite stringent. But even better:
Diagrams / images. Instead of writing, ask your LLM to create a diagram. These can be a lot easier to process, parse, and understand. But even better:
Web pages. Ask for output "in HTML" to get a beautiful, interactive webpage. LLMs are getting really good at frontend and can create beautiful experiences, animations, etc. But even better:
Explainer videos. The output format I am most bullish on is fully custom / bespoke explainer videos generated on any arbitrary topic. Experiment with things like "Create a 3b1b style video explainer on X. Use my ElevenLabs API key for audio narration". (you'd need an API key for the latter or you can ask your LLM to find you decent free alternatives that use your local compute). This is actually starting to work!
In summary:
- As LLMs get better, they will do more and more of the legwork autonomously, and a lot more of our work will rise up the abstractions into oversight and understanding.
- Luckily, LLMs can help here too because as intelligence and code are increasingly abundant, you can ask for large, custom, discardable software artifacts (e.g. web apps, video explainers) that would have never made sense to create before. Push the boundaries here and you'll be surprised.
bingo retweeted
We'll be spending a lot more time trying to understand the outputs of language models. A few thoughts, tips & tricks:
Writing. Something I've had success with: Ask your LLM to explain something in ASD-STE100, it's a controlled language specification originally developed for aerospace maintenance documentation. LLMs well-versed in this language and it comes with heavy constraints on clean writing style that I often find a lot more readable. Sometimes I've tried to soften it a bit e.g. ask for "80% of the way to ASD-STE100" because the spec is quite stringent. But even better:
Diagrams / images. Instead of writing, ask your LLM to create a diagram. These can be a lot easier to process, parse, and understand. But even better:
Web pages. Ask for output "in HTML" to get a beautiful, interactive webpage. LLMs are getting really good at frontend and can create beautiful experiences, animations, etc. But even better:
Explainer videos. The output format I am most bullish on is fully custom / bespoke explainer videos generated on any arbitrary topic. Experiment with things like "Create a 3b1b style video explainer on X. Use my ElevenLabs API key for audio narration". (you'd need an API key for the latter or you can ask your LLM to find you decent free alternatives that use your local compute). This is actually starting to work!
In summary:
- As LLMs get better, they will do more and more of the legwork autonomously, and a lot more of our work will rise up the abstractions into oversight and understanding.
- Luckily, LLMs can help here too because as intelligence and code are increasingly abundant, you can ask for large, custom, discardable software artifacts (e.g. web apps, video explainers) that would have never made sense to create before. Push the boundaries here and you'll be surprised.
bingo retweeted
Jev for RAG, clearly explained!
Hybrid search gives you a shortlist. It does not decide which passages contain evidence, which are merely adjacent, or whether the evidence is strong enough to answer.
That missing judgment is where Jev fits.
Jev sits between retrieval and generation. It does not replace BM25, embeddings, or the LLM. It evaluates the candidates they produce before those candidates enter the context window.
→ Retrieve wide
Combine dense and keyword search, then merge the results with reciprocal rank fusion. This gives Jev a broad candidate pool, such as the top 20 passages shown in the visual.
Retrieval still sets the ceiling. If the right passage is missing from this shortlist, Jev cannot recover it.
→ Judge every candidate together
Send the query as Jev’s state. For each candidate, ask a typed yes-or-no question such as “Does C7 help answer this query?”
Jev evaluates every question in one packed request and returns a calibrated probability for each passage. This avoids making a separate model call for every query-passage pair.
→ Let code apply the threshold
Your application compares each probability with a threshold. Candidates above it continue to the LLM. Everything below it is removed before generation.
Jev makes the fuzzy judgment. Code remains responsible for the actual decision.
→ Gate the entire answer
The same request can check whether the retained passages make the query answerable. It can also flag signs of prompt injection inside a candidate.
If answerability falls below the threshold, the application can skip the LLM and return “not in the documents.” The injection score should remain a filtering signal, not a security boundary.
The result is a cleaner division of work.
Hybrid search retrieves broadly. Jev reranks, filters, and decides whether sufficient evidence exists. The LLM writes only from the passages that survive.
Jev’s value here is not simply moving passages up or down a list. It turns relevance into an explicit probability that your application can inspect, threshold, and act on.
To summarise:
- Retrieval finds the candidates.
- Jev decides what deserves context.
- The LLM writes the grounded answer.
----
I also built an open-source project showing how to use Jev as a judge for AI observability with Comet Opik.
It evaluates support traces for groundedness, request coverage, action honesty, and helpfulness, then records the results as an auditable experiment.
You can explore the project here: github.com/patchy631/jev-as-…
My article on how Jev works is quoted below.
