
低强度工作,高强度刷推,摸鱼主理人,不键政,不喜欢粉红 #老婆@whikylucky
People's Republic of China
Joined November 2017
- Tweets1.4K
- Following798
- Followers886
- Likes732
这周太爆炸了
让我们想象一下你司架构是 NGINX v1.23.0 作为边缘节点,后面挂着 PHP-FPM 7.3 (刚花了几周时间从 5.6 升级上来) 的源站 + 前段时间刚花了大价钱采购来的 TiDB NewDB + Node.js 24 LTS Brotli 中间件,开启了 Brotil 压缩功能、Go 作为对外访问的网络沙箱、使用 Python + LiteLLM AI 企业内部 Harness 工具 (CI 昨晚刚从 PyPI 拉了新包并推送到了生产环境,现在全公司电脑都装上了这套 Harness)、公司服务器全部跑在 Linux 内核 c6e50df8 之前、网站的 HTTPS 证书由公司前段时间刚采购的无保险低价 Sectigo DV 证书(还没上 ACME 自动签发)、公司的 Vyper 智能合约部署在 Docker 29 + Kubernetes + Traefik Ingress 上开着 mTLS fail-open,宿主机还跑着 ASP.NET Core 面板和 .NET 本地服务、公司的软件和外发机密文件通过 emSign 代码签名,根证书库用 Go crypto/x509 + Rust webpki-roots + Python certifi
而你,是这家公司的核心 on-call 运维。
不出事不知道...竟然这么多用 PHP 的,真是世界上最好的语言😭
席卷全球!仅今天晚上,多个国家领导人、政府网络安全部门、AI 公司,纷纷就 PHP 编程语言重大漏洞紧急发文,包括芬兰、荷兰和法国在内,已将政府网站紧急下线。
而原因是今天 PHP,爆出两个超高危漏洞,合称 PHP2Shell,还是研究员借助 AI 发现的。黑客不用登录,发一个请求就可能控制整台网站服务器。
他们能通过这个漏洞,在你家用 PHP 搞的网站上,装木马、偷数据,甚至能把网站搞瘫。
据估算,暴露在互联网上的 PHP 服务器,已超 510 万台。
所以现在的情况是,PHP 团队紧急更新了补丁,要求所有人立刻马上升级。
而 CDN 厂商 Cloudflare 的 CTO 也说,已经看到有早期攻击现象出现。
英国国家网络安全中心 NCSC 也建议,补不了的系统先下线,欧洲有不少网站因此停掉。
0xNullPath retweeted
给一点 Deepinfer推理侧的速度锐评
1. 感觉 git repo 本身,对我们这样研发来说意义不太大,有一点点吧,但是好些东西没开。但是论证了我 kern 的想法,per model per repo 。
2. 精华本身在 zhihu 那篇文章,这篇文章很有价值,zhuanlan.zhihu.com/p/2095560…。主要是确定了一些 ds 内部的并行,decode 侧就还是经典的 wideep,ep64 什么的。
有价值的就在几个 load balancer,第一个是分桶(这个其实是比较生产的),不知道开源 router 有没有人做,但生产来说,其实之前 together 就探索过一下。
prefill 的路由策略很有意思,不做任何的 cache aware,靠池化兜底。
dp group 直接用 compute tokens 作为负载 平衡的指标,dp 组内,也是。这个有点什么的味道,我想不起来了。可能和 hash 那边的一些东西有关,maybe 是,bitmap 什么的,我只是说思想好吧。
fifo,这里有个有意思的,它也做了一个估计器,其实前不久我也做了一个(只不过链接失效了hh),我当时是想给 pp 做的,但是我觉得无论 ep pp,这个思路是一致的,不固定 chunk size,然后固定“耗时”,总之就是一个离线你先跑出来嘛,然后给个表,然后让 scheduler 去估到合适的时间,组 batch。
当然我有一个想法是,prefill 到底是 pp 还是 ep,当然现在模型训成 每一个 Layer 都不一样的,那天生也就对 pp 不友好,那也没招。但是 ep 要完整做完 ds 这一套,需要不少流量和 prefill worker。总的来说在中小部署我看好 pp(几个 prefill worker 这种),大部署我才看好 ep。
decode 和我想的也差不多,就是一个 kv cache + num running 的组合是吧。当然具体怎么调配就是一个 case by case 的事情。
eplb 呢,就是冗余换 lb 吧。不过有个在线的 eplb,不知道开源出来没有。这里的 trade off 就是,eplb 会占用更多显存是吧,但是呢它也能提升吞吐,而且越复制收益越小,所以要找到一个比较合适的点。也是 case by case 的。
然后是 router 的pd 动态扩缩容,prefill 还是 整体compute tokens,deocde 是 num running。
kv cache 呢就是 3fs,然后 3天的 ttl,能换到 0.5 - 1% 的命中率。kv cache 管理由 decode 主导?这样输出也能被 hit。
关于 I/o,精华是这句,换入从 shm 到 HBM 在 engine 进程内的线程里做,目标是实现逐层 H2D (Host-to-Device) 传输与前向计算重叠,由于 CUDA copy engine 对于 KVCache Block 细粒度的拷贝性能不佳,换入使用 GDR 实现,用 RDMA 网卡就能打满 PCIe 带宽,并且不占 SM。
这个我有空后面再讲吧。
dspark 变长验证,这个真上了,挺好的。
异步调度,先忽略。
ds弄了一个结构化输出库,good!
为了防止说我在蹭,我截个图,我之前思考过的路由策略,开源我的 thinking content !
0xNullPath retweeted
DeepSeek just open sourced its high-performance, large-scale inference framework DeepInfer in Apache-2.0 license.
github.com/deepseek-ai/DeepI…
Supported features:
- Optimized kernels, model and sampler runtime
- Parallelism: Attention DP / balanced CP, MoE EP + EPLB
- DSpark and confidence-scheduled verification
- SWA bounded replay
- Asynchronous scheduling (zero-overhead batch scheduler)
- Batch-invariant inference
- Deterministic sampling
- Structured output
昨天看离离子大佬发布的 astrlink-guard 的模型,出于好奇就稍微了解一下相关的背景和一些用法。水了一篇小文章
blog.0xnullpath.cc/posts/not…
DeepChat也支持AstrLink啦,AstrLink不只是简单的订阅聚合,它可以帮你过滤掉不小心发送给上游的密钥等敏感信息,同时还能在本地还原
github.com/Calcium-Ion/AstrL…
DeepChat 内置了 @Ion_Mio_ 开发的 AstrLink 作为内部供应商,开箱即用 (support 的比较晚,原谅我🥰
github.com/Calcium-Ion/AstrL…
0xNullPath retweeted
这是我正在做的 DSH-LayerFS。
github.com/Ephemeral-AI-Lab/…
基于 LayerFS 的存算隔离架构和存储压缩能力,做了一个极简的 multi-agent harness:
- Agent 的每一步执行都有记录可追溯
- 每条 Bash 命令都在独立的 Workspace 中运行
- 内置冲突检测机制
- 支持递归嵌套 Fork(Recursive Nested Forking)
再配上这么可爱的鲨鱼娘视图——
大家愿意再给 DSH 一次机会吗?🦈
@tianyi
我们更新了自研模型 astrlink-guard 到 v0.1.2,它是AstrLink的隐私过滤模型
我们进一步优化了密钥过滤的准确性,降低了误报率,同时它是开源权重的,int8不到40M,CPU就能运行,可以轻松接入到您的应用中
huggingface.co/QuantumNous/a…
0xNullPath retweeted
slime 是一个非常优秀的RL后训练框架!
重写后的 slime 主页里面尽可能包含了目前的 llm + rl 的一些基本逻辑,希望这个文档能对刚开始做 rl 的朋友有一些帮助,然后对于老手来说,如果想给身边的人解释自己在做啥,也可以随手打开 slime 的官网做个辅助~
We've rebuilt slime's docs with an interactive homepage for LLM + RL!
We hope it can be a place for beginners to learn, and a handy tool for practitioners to explain what they do.
Have a look at:
thudm.github.io/slime/
0xNullPath retweeted
“先把蛋糕做大,再分蛋糕”,最容易让人忽略的是,蛋糕每天都在分。
所以他们禁止了炫富的视频,垄断企业禁止晒巨额工资单和福利,发现即开除。
有时他们的吃相还非常难看,比如宇树科技就把他们丑恶的嘴脸暴露的淋漓尽致...
0xNullPath retweeted
‼️The Bitter Lesson for context management: Giving LMs unrestricted control over their context beats human-designed SOTA!
Introducing 🩵Context Language Models (CLMs)🩵
- Natively manage their own context
- Treat context as a file
- Learn policies in CLM weights, no harness
0xNullPath retweeted
Sigh.
I wrote this post below, but then I didn't post it because I am tired of the consistent pushback I get from folks with the same safety worldview as Anthropic. I guess that means I should send it. Here goes!
This post is pretty solipsistic and doesn't properly take recent events in cyber risks into it's discussion. It is really hard for me to watch how the US frontier labs like Anthropic don't have the ability to consider other approaches to safety and ways things could play out.
It insinuates that Z ai (Chinese lab, builds GLM series) doesn't really care about safety and is reckless to take their business strategy.
Saying things like "Given this evidence, we think it's likely both state and non-state actors will use models like GLM-5.3 to cause real-world harm." and "This is unlike any other similarly capable AI model, all of which were released with safeguards or through limited access programs." while closed models have been used on more of the documented cyber attacks is just bowing out of the interesting question.
A plausible view is that open model weights and closed model apis (with some safe guards) are both far closer to being easy to mis-use, rather than API models being closer to safe. The trope "Open Dangerous, Closed Safe" may be closer to "Open Unsafe, Closed Unsafe"
Closed models have stronger capabilities and stronger safeguards, but the stronger capabilities part could matter more in net harm if both the safeguards are porous.
At the same time, as the authors do acknowledge (thanks - thats progress!), open models without extreme cyber guardrails are important to rapidly diffuse cyber readiness in the economy -- as programs like project glasswing are not perfect in getting all critical industry onboarded.
There will be more issues like the time when Fable was released and Amazon found a workaround, which allowed them to access the full capabilities of the model served readily at an API.
The blog overall is reasonable in it's narrow line, but it's a very effective tool in a complicated, rapidly evolving media ecosystem to reinforce a certain type of safety thinking.
nihui 大佬还是一如既往的强
用 ncnn 跑 Qwen-Image-2.1:完整 BF16、2GB 显存和全平台 Vulkan
zhuanlan.zhihu.com/p/2088230…
github.com/nihui/qwenimage-n…
辞达正式上线了,希望大家喜欢!
- 多国语种翻译/润色
- 选中翻译 / 截屏翻译 / 图层翻译
- macOS 原生,120 帧渲染
- 免费,无追踪无广告
- 开源,漩涡独裁模式
cida.xuanwo.io/
构建一些让自己开心的东西 🥰
这个工具我在本地用了很久,稍微收拾了一下发出来。
辞达:辞达而已矣
在 Mac 的任何地方翻译和润色文字,没有广告,没有冗余的功能,纯粹的辞达
(第一个可以下载的版本还在构建,可以先点赞让我开心开心)
github.com/Xuanwo/cida
tql,牛逼的人遇到了对的时代
《晚点 LatePost》获悉,小米 9 月 22 日对内发布晋升名单,31 岁的小米大模型团队负责人罗福莉@_LuoFuli晋升至 22 级,还有若干其他业务负责人也获得了晋升。接近小米的人士称,22 级已是小米职级体系的最高级别,继续晋升主要体现为职务变化。
当天, MiMo 发布 MiMo-V2.6-Pro 和 MiMo-V2.6-Flash 两款模型:Pro 主打复杂项目和长程任务,Flash 则主打高频调用和大规模工作流。
今年 7 月,小米调整小爱同学组织架构,将技术能力拆分为基础模型、云端和端侧三部分。其中,基础模型能力由罗福莉负责的 MiMo 团队提供,手机、汽车等业务的 OS 团队负责端侧能力,栾剑负责云端工程化。 罗福莉的业务范围进一步扩大。
0xNullPath retweeted
这两天拿 Opus 5.5 做了一个 40 多分钟的长教程,配图、配音、字幕、音效、动效、分 EP、响度统一和封面,基本都由它自己安排。
顺手把这次跑通的长视频制作流程、提示词、工具,以及网上比较惊艳的案例整理成了一篇记录。以后再做视频,可以直接回来抄作业~
视频很抱歉我在这里不能公开 But 大家看 B 站上各种视频应该也能感受到x 或者就当这篇博客不存在也行
用 Opus 5.5 做视频:制作流程与提示词资源记录
blog.cosine.ren/post/opus-5-…









































