自己服务器跑生图最烦动不动几个 G 的 torch 和环境冲突。stable-diffusion.cpp 纯 C++ 跑 SD 和 Flux,跟 llama.cpp 一样没依赖,打包做独立服务省心很多。你们测过它出图速度跟 diffusers 比差多少吗?
github.com/leejet/stable-dif…
自己租卡跑模型最怕显存不够。英伟达出的 Model-Optimizer 把量化和蒸馏剪枝打包了,优化后的模型能直接喂给 vLLM 跑推理。做独立开发能省下大把算力费,大家自建部署都在用什么量化?
github.com/NVIDIA/Model-Opti…
我现在哪怕只挂两个 agent 协作,出 bug 互相对话三轮之后方向就偏到太平洋去了,翻 log 像在看两个神棍吵架。而且最要命的是重试成本,排查几次的 token 费肉疼得要命。你现在试下来有哪家做 observability 的稍微能用吗?
调 API 容易但底层一出 bug 就抓瞎。这套开源教程把手写 agent 和 MCP server 串得极细,每课都带可复用代码。直接跳到工程实战部分抄作业最省时间。你们搭 agent 习惯手搓还是套框架?
github.com/rohitg00/ai-engin…
Honestly the architecture changes so fast that hardcoding it into an ASIC feels like lighting money on fire, but the token speed would be ridiculous. At this point Id settle for Cerebras or Groq just hosting it without the enterprise markup.
跑 agent 最烦为查几次数据买上百刀月费。treg 就像工具版 OpenRouter,一个 token 调几十家 API 按次付费还支持自托管,不用到处绑卡了。这基建真能帮独立开发省钱,你们平时接外部工具头疼吗?
github.com/superdesigndev/tr…
想让 Claude Code 调那些没 API 的传统软件,以前只能干瞪眼。CLI-Anything 把各种软件封装成 CLI 给 agent 用,连 CAD 都能跑。省了我大把写胶水代码的功夫,这种封装思路能成主流吗?
github.com/HKUDS/CLI-Anythin…
自己写 agent loop 最烦补 token 预算和中断控制。strands 把这些脏活全包了,本地跑无托管平台,自带 mcp。一个人做小产品挺省事,你现在会用现成 harness 还是继续手搓?
github.com/strands-agents/ha…
我们在应用层调 agent 也是这感觉,瓶颈经常不是模型生成速度,而是等环境响应和状态同步耗死。这种把沙箱调度和 GPU 状态深度绑定的思路确实比硬套传统容器聪明太多,好奇这种架构如果用来跑那种生命周期很长的多 agent 协作,容错和状态恢复成本会不会高很多?
DeepSeek 的 Agent 沙箱平台 DSec 是《深入理解 AI Infra》一个很好的例子。跟我当年在微软用 FPGA 加速网络、Bing 搜索,在华为用 UB 去掉抽象层的开销一样,都是打破旧的抽象边界,实现极致性能。传统操作系统和云要服务大量互不相关的程序,所以必须通用,有足够好的可编程性。而 AI Infra 的负载就是 LLM 和 Agent 用的沙箱,通信模式事先已知,可以协同设计。
Agent RL 和传统云计算的很多假设都是不同的:
1. 云上的负载来自大量相互独立的租户,可以靠统计复用把峰谷削平。RL 负载则是一个作业一次申请 32K 个沙箱,需求高度相关。
2. 云上的容器按自己的节奏运行。沙箱约九成时间在等模型生成,CPU 平均只用 5%。所以优化目标不是 CPU 成本,而是不让 GPU 空等。
3. serverless 平台假设少数热门镜像被大量复用。RL 用的镜像数量极大、复用极少。
4. 威胁模型不同。云安全防的是外部攻击者。RL 里运行在沙箱里的程序,本身就在被优化去寻找漏洞。
5. DSec 知道哪些 GPU 作业被抢占了,所以能主动暂停对应的沙箱,通用的容器云做不到。
书里面也加入了 DSec 的内容,主要在第 11 章:
github.com/bojieli/ai-infra-…



