认识我对象的那天，我们俩在紫荆操场。那是我毕业典礼结束后的第二天，她见我只是半瓶天猫超市买的日式清酒，已然烂醉如泥，便深有哲理对我说，“生活把我绊倒，我却在原地烧烤。” 我非常喜欢她的人生智趣，荒诞话语中蕴应该是含着深刻的思考。这句话对我的工作和生活也是如此。我时常碰壁，生活把我绊倒，有时就地烧烤，但是许多时候，要反抗，要积极作出改变，要把自己能改变的事情做大，分享给更多需要的人。 在开源社区也是如此，我经常发现我有某种需求，开源社区居然有某种项目，能满足这种需求。亲身试一试，才发觉还有缺漏。好在，我还年轻，不应该放任这种没有被满足的需求不管，不能在此处就地烧烤了。 几个月之前，雪松给我讲，他发现语音输入法很无敌。真的和我合作过的人都知道，我根本不是高冷之人，而且常常操之过胜，实则啰嗦。语音输入法会让我能够以成倍的速度去 dump 出头脑里的琐碎的想法，输出速度极大提高。我很快爱上并且尝试了一款叫做 voxt 的开源语音输入法。没错，现在 voxt 已经加入了 SGLang Omni 的生态全家桶，我们和作者关伟老师能够一同继续做好这个项目。但是最开始，这个项目半年前的时候，我先试用了 voxt。原理很简单，MLX Audio 来 serve ASR 模型做简单转录得到 user input，再接上一个 LLM 根据指令去润色 user input。 用了一天，我很快发现，Qwen ASR + Qwen3 4B 模型的延迟有些奇怪。直觉告诉我即便是 MLX LLM 来 serve Qwen3 4B，这个模型也不该如此之慢。仔细查了查发现，原来最开始 Voxt 的作者团队拼接错了 prompt。能够复用 KV Cache 的方式是 system prompt + user input，但是一开始 Voxt 传给 LLM 的是 user input + system prompt。我马上提交了我的第一个 PR。我想要有更快的输入速度，我喜欢开源软件，当然开源软件不完美，我也不会写 swift 软件栈。 但是，看上去我们一起努力努力，这些困难都是可以克服的。生活当然没有那么顺利，我可以在大多事情上选择认了，就地烧烤，但是至少开源软件，我想交个 PR 试试。 这就是我和 voxt 缘分的开始，也是又一个从“没有被满足的用户转变为开发者”的故事。 前几天我们也发布了 voxt 0.16，很荣幸能够和关伟老师一起构建如此优秀的本地输入系统。让 ASR 运行在 SGLang Omni MLX，而 LLM 润色也即将运行到 SGLang MLX 生态。 无独有偶，我和 SGLang 的故事也是一个“用户到开发者”的经历。我在 2024 年 8 月做一个用 embedding model retrival + LLM Agent Memory Tree Search 的项目。现在想来，那时候是 LLM Inference 的蛮荒时代。我跑自己的实验总觉得慢慢的，结果有天下午，我读《机器之心》看到了对 SGLang 的介绍。看到 Radix Tree for KV Cache 那个瞬间，我猛然醒悟，怎么会有这么巧妙的设计，这不是专门为我的 Agent Tree Search 做的系统么？ 我果断爽快换用了 SGLang，Agent 跑起来果然快多了。美中不足，我发现在 8 个 GPU 上运行 8 个 LLama 8B 似乎不那么 trivial，随机发送请求到随机的一张卡似乎不是最优的。我那时候甚至也不知道什么是 DP Rank，什么是 round robin。但无所谓，我的需求就是快。聪明的我（实际上在 inference 圈子不聪明）的我马上想到，要让一个 Agent 的请求尽量发给一个 DP Rank，KV Cache 利用率应该会好很多。 另一方面，我发现 SGLang 还不能 serve 我要的 emedding model。同时用两套 Inference framework serve 模型很麻烦，于是我想办法实现了一个版本支持我要的 embedding model。 抱着这两个想法，我发邮件给了 ying 老板和怜悯的邮箱，顺带看看能不能和两位即将入职 UCLA 的教授学习学习。okay，正如大家看到的那样，这就是一切故事的开始了。 我只记得那时候 inference infra 很难用，但我需要，我不想让实验就这么慢慢的跑下去，我想要力所能及，甚至是竭尽全力突破所能的去改变些什么。 写这么多，其实是今天给 SGLang Omni 的 full duplex 做 demo 的时候，发生的小插曲。大家读取这篇博客的话，可以发现我们团队的两位帅小伙 wenyao 和 Jeffro 录制了清晰优雅的 Demo。但是 Demo 的剪辑依赖的开源软件是 Recordly。为了这次严谨的录制，文耀给 Recordly 修了两个很关键的 bug。 我们在群里开玩笑说，“wenyao 都可以给 rocordly 提 pr 了”，“至少可以提两个”。 我很严肃的说，是的，就应该提出来。然后分享了我在 Voxt 和 SGLang 两个项目上，从被生活绊倒的用户，变成了积极去反抗的开发者。 故事仍在继续，人们的需求在改变，开源软件总有问题，我们有无数的需求得不到满足。生活一次次将我们绊倒，我已经接受了，毕竟烧烤挺好吃的，我在飞机上写这段文字，我现在已经落地了，马上要去和同事吃烧烤。 但是，如果可以，我们还是会反抗下去，从这些泥泞中试图站起来。一次次被绊倒，却永远希望能做的更好。 sglang.io/blog/omni-interact…