产品经理|兼架构师 把想法做成产品,持续分享 创造人们需要的产品 我的想法是我自己

Florida, USA
Joined September 2016
AI 写的东西一眼假,最大的破绽是它永远在当和事佬。我之前用 Claude 写产品更新,换了五六套 prompt 憋出来的全是温吞水。后来我学乖了,必须把自己踩坑骂街的细节和主观偏见硬塞进去才像真人。大家现在看推文,觉得哪种 AI 味最刺鼻?
31
自己服务器跑生图最烦动不动几个 G 的 torch 和环境冲突。stable-diffusion.cpp 纯 C++ 跑 SD 和 Flux,跟 llama.cpp 一样没依赖,打包做独立服务省心很多。你们测过它出图速度跟 diffusers 比差多少吗? github.com/leejet/stable-dif…
29
自己租卡跑模型最怕显存不够。英伟达出的 Model-Optimizer 把量化和蒸馏剪枝打包了,优化后的模型能直接喂给 vLLM 跑推理。做独立开发能省下大把算力费,大家自建部署都在用什么量化? github.com/NVIDIA/Model-Opti…
20
给 AI 功能搭一堆复杂的 eval 跑分基本都是自嗨。之前我用模型打分测自己的总结插件,指标看着很完美,真实用户一用照样漏字段。后来发现真不如每天抽真实 bad case 写死几个简单规则来得管用。你们一个人做产品时会花时间搭 eval 吗?
1
23
让 AI 写代码最怕的不是模型笨,而是你给不出对错标准。大佬 John Platt 聊科学发现也是这套,把难题拆成可打分任务,让模型自己去优化代码刷分。我用 Claude 做复杂清洗脚本也是,只要打分逻辑写死,它跑两三次就能收敛。你们平时调 agent 时,会专门给它写评分函数吗?
15
我现在哪怕只挂两个 agent 协作,出 bug 互相对话三轮之后方向就偏到太平洋去了,翻 log 像在看两个神棍吵架。而且最要命的是重试成本,排查几次的 token 费肉疼得要命。你现在试下来有哪家做 observability 的稍微能用吗?
看到有研究在做多智能体系统的自动失败归因,笑了一下。 以前调微服务最崩溃的就是一个请求挂了,日志翻半天不知道是哪个环节的锅。现在 agent 之间用自然语言交流,出问题更难查——它不会甩给你一个 stack trace,它会给你一段听起来特别有道理的解释。 所以我一直觉得多 agent 落地的门槛根本不在模型能力,在运维。谁能先做出 agent 版的链路追踪,谁就能赢 🐛
1
15
调 API 容易但底层一出 bug 就抓瞎。这套开源教程把手写 agent 和 MCP server 串得极细,每课都带可复用代码。直接跳到工程实战部分抄作业最省时间。你们搭 agent 习惯手搓还是套框架? github.com/rohitg00/ai-engin…
1
12
跑 Claude Code 最肉疼的就是多轮对话疯狂重发上下文,token 账单太感人。刚出了个 compaction 专门在本地给 Claude Code 和 Cursor 做 context 压缩来省 token。省钱虽好,但我最怕压完丢了关键定义导致后面代码写崩。你们跑长任务会主动控制 context 还是任由它烧?
10
Honestly the architecture changes so fast that hardcoding it into an ASIC feels like lighting money on fire, but the token speed would be ridiculous. At this point Id settle for Cerebras or Groq just hosting it without the enterprise markup.
Who do I have to pay for Deepseek 4.1 flash on an asic
17
跑 agent 最烦为查几次数据买上百刀月费。treg 就像工具版 OpenRouter,一个 token 调几十家 API 按次付费还支持自托管,不用到处绑卡了。这基建真能帮独立开发省钱,你们平时接外部工具头疼吗? github.com/superdesigndev/tr…
8
想让 Claude Code 调那些没 API 的传统软件,以前只能干瞪眼。CLI-Anything 把各种软件封装成 CLI 给 agent 用,连 CAD 都能跑。省了我大把写胶水代码的功夫,这种封装思路能成主流吗? github.com/HKUDS/CLI-Anythin…
7
做返现聚合是最容易劝退独立开发者的坑。去年我写脚本抓各家 cashback 数据做比价,想帮买云服务和 API 的人省钱,结果发现 affiliate 漏单率高得吓人,提现还要卡两个月。折腾半天省的碎银子还不够付服务器费。大家平时买海外 SaaS 真的会专门走返现吗?
5
自己写 agent loop 最烦补 token 预算和中断控制。strands 把这些脏活全包了,本地跑无托管平台,自带 mcp。一个人做小产品挺省事,你现在会用现成 harness 还是继续手搓? github.com/strands-agents/ha…
8
OpenAI 号称新模型解了一百多个数学难题,还专门找数学家搞顾问团。但我天天在 Cursor 里切各家模型写代码,稍微绕一点的业务逻辑还是得人肉盯防。千禧难题听着再神,我更关心什么时候能把我的边缘异常一次跑对别瞎编。你们平时真敢把底层算法推导全甩给 AI 跑吗?
8
我们在应用层调 agent 也是这感觉,瓶颈经常不是模型生成速度,而是等环境响应和状态同步耗死。这种把沙箱调度和 GPU 状态深度绑定的思路确实比硬套传统容器聪明太多,好奇这种架构如果用来跑那种生命周期很长的多 agent 协作,容错和状态恢复成本会不会高很多?
DeepSeek 的 Agent 沙箱平台 DSec 是《深入理解 AI Infra》一个很好的例子。跟我当年在微软用 FPGA 加速网络、Bing 搜索,在华为用 UB 去掉抽象层的开销一样,都是打破旧的抽象边界,实现极致性能。传统操作系统和云要服务大量互不相关的程序,所以必须通用,有足够好的可编程性。而 AI Infra 的负载就是 LLM 和 Agent 用的沙箱,通信模式事先已知,可以协同设计。 Agent RL 和传统云计算的很多假设都是不同的: 1. 云上的负载来自大量相互独立的租户,可以靠统计复用把峰谷削平。RL 负载则是一个作业一次申请 32K 个沙箱,需求高度相关。 2. 云上的容器按自己的节奏运行。沙箱约九成时间在等模型生成,CPU 平均只用 5%。所以优化目标不是 CPU 成本,而是不让 GPU 空等。 3. serverless 平台假设少数热门镜像被大量复用。RL 用的镜像数量极大、复用极少。 4. 威胁模型不同。云安全防的是外部攻击者。RL 里运行在沙箱里的程序,本身就在被优化去寻找漏洞。 5. DSec 知道哪些 GPU 作业被抢占了,所以能主动暂停对应的沙箱,通用的容器云做不到。 书里面也加入了 DSec 的内容,主要在第 11 章: github.com/bojieli/ai-infra-…
13
YouTuberの炎上が定期的に繰り返される現象は、単なる個人の倫理観の欠如ではなく、アテンションエコノミーの構造的帰結として捉える必要がある。刺激の閾値が上がり続ける環境下では、平穏な日常の切り売りはやがて飽きられ、境界線を踏み越えるリスクを取った者だけがアルゴリズムの寵愛を受ける。逸脱は偶発的な事故ではなく、最適化の果てに組み込まれた必然といえる。
107
AIエージェントを巡る議論が過熱しているが、デモ動画の華やかさと現場の実態には依然として大きな隔たりがある。指示ひとつで自律的に業務を完遂するという理想に対して、実際の業務環境ではタスクの完遂率が劇的に下がる。問題はモデルの知能というより、現実の業務が持つ不確実性の高さにある。
1
1
119
文春をはじめとする週刊誌報道とそれに続く芸能人の炎上劇は、もはや単なるゴシップ消費ではなく、SNSと広告モデルが結合した巨大な感情換金システムになっている。かつては街の噂話で済んでいた私生活の失態が、プラットフォームの推奨アルゴリズムに乗ることで一瞬にして全国規模の道徳裁判へと変換される。私たちが目撃しているのはジャーナリズムの勝利ではなく、怒りの最適化だ。
1
1
98
LLMのハルシネーションは「いつか解消されるバグ」として語られがちだが、本質はそこではない。確率的に確からしい文字列を予測・生成する仕組みである以上、事実の正しさと出力の流暢さは最初から切り離されている。創造性の源泉と嘘をつく理由は同一のメカニズムであり、完全な排除を目指すことはLLMの強みそのものを殺すことと表裏一体だ。
1
92
少子高齢化を「人手不足の危機」とだけ捉えると本質を見落とす。欧米でAIや自動化が「雇用を奪う脅威」として議論されがちなのに対し、人口減少が先行する日本では「機械に任せないと社会インフラが維持できない」という切実な要請がある。恐怖ではなく構造的な必然として自動化を受け入れざるを得ない特異な環境に、日本は立っている。
1
1
101
しかし現場の自動化が進まない原因は、技術不足ではなく制度と慣行の硬直性にある。物流の2024年問題や介護、地域交通など、破綻が見えている領域ほどアナログな前提で設計された規制や商慣習が残る。ロボットやAIを導入しても、帳票の紙出力や目視確認が義務付けられている限り、真の省人化は起きない。
1
1
84
本質的な課題は「人間がやっていた作業をそのまま機械にトレースさせる」発想だ。それでは高コストな特注システムが増えるだけでスケールしない。人口減少社会の自動化とは、業務そのものを機械が扱いやすい形に標準化・単純化し、引き算すること。人間側の妥協とルールの再設計こそが求められている。
15