くまちゃん retweeted
YASAKANIエンジンで、RTX 5090 の単一デコード 1,220 tok/s を達成!!
今回は世界最速のエンジンである証明をしました。
RTX 5090 1枚・Qwen3.8-27B・1本の生成で、公開されている最速記録を5本すべて上回った(定格・同じ土俵の条件で、最大2.5倍)。
「5090で最速」を名乗る MegaCapybara 1.39 とは、同じPC・定格・同じ問題で直接対決。動画は実際の生成を、記録した時刻どおりに再生しています。
■ 公開記録 → YASAKANI(tok/s)
- mkyt(JSON)500 → 1,220(2.44倍)
- NInfer(構造化3問)377 → 937(2.49倍)
- TensorFold(英語)298 → 424(1.42倍)
- ignis(コード)491 → 532(1.08倍)
- MegaCapybara(コード)540※ → 498(同じPC・定格では466、1.07倍)
※540はメモリ+20% OCと自前のプロンプトでの値
■ 同じPCで直接対決(MegaCapybara 1.39 Tiny、思考オフ・greedy)
- JSONL 160行:1,220 vs 635(1.9倍)
- 英語の推理小説:424 vs 253(1.7倍)
- 中→英 翻訳:613 vs 366(1.7倍)
- SQL:745 vs 603(1.2倍)
- コード編集(ファイル全文の書き戻し):1,241 vs 440(2.82倍)
- JSONL 8,192トークン:1,260 vs 666(1.89倍)
12問の平均でも、構造化1.4倍・散文1.6倍・翻訳1.6倍。
■ エージェントの仕事ほど速い
コード編集は「約4,700トークンのファイルを1か所直して、全文を返す」課題。AIエージェントが毎日やっている作業です。
3つのエンジン(YASAKANI 高速版・標準版・MegaCapybara)の出力は完全に同じ(4,711トークンが一致)で、違うのは速さだけ:1,241 / 1,136 / 440 tok/s。
■ Qwen推奨設定(思考あり・温度1.0)でも
雑談・説明・コード・数学・JSON・長文入力の6課題の中央値:YASAKANI 381、SGLang 184、vLLM 183、llama.cpp 147(10/18、同じPC、他社は課題ごとに一番速い設定)。
この条件で250 tok/sを超える公開記録は、10月中旬の調査では見つかっていません。
■ 長い文脈でも
25万トークンの文書を140秒で読み、続きの返事は0.3秒で開始。25万トークンを積んだ状態でも152 tok/s。262,144トークンの窓でVRAM 24.9GB(32GBのカードに収まる)。(10/30計測)
■ 速いだけではない
元モデルとのズレ(KLD):標準版 12.4GB で 0.021。MegaCapybara Tiny は 0.058(16.6GB)。
1,220 は高速版(11.7GB、KLD 0.044)。標準版でも 1,114。
■ 正直に書いておくこと
- ゼロから書くコードは僅差(1.04〜1.08倍)。540はOC込みの値で、定格では向こうも406〜533
- MegaCapybara以外の相手の数字は各自の公表値(別のPC・別のプロンプト・別の日)。同じPCで測ったのはMegaCapybaraだけ
- 中国語の物語は英語より遅い(176〜302 tok/s)
- 第三者の再現は公開後。それまでは「この条件で測って」と言われれば、同じPCで測って出します
■ 測り方
RTX 5090 ×1(定格600W・OCなし)、Windows、2026-11-03。NInferが公開している12問(コード3・物語3・翻訳3・構造化3)+自作のコード編集・長いJSONL。上限4,096トークン(長いJSONLは8,192)、思考オフ、greedy。速度=(出力トークン数−1)÷生成時間(読み込みは除く)。MegaCapybaraは公開版1.39を公式の1会話設定で起動し、向こうのサーバーの表示とこちらの計測は一致。
エンジンもモデル形式も自作。オープンソース・無料で公開予定。日程はこのアカウントで。
#YASAKANI
🤯逆天了!Qwen 3.8 27B注意力层被彻底击穿了!10M超长上下文下,Prefill注意力快72.4倍、Decode快42.5倍!端到端首token延迟砍到约1/9!
闲置GPU的朋友注意了:把这个新方法丢给Claude/Codex,让它直接移植到Qwen 27B上!注意力算法“移植”已经被验证可行。
惊人之处:
🔹10M token(约1000万)超长上下文下,传统稀疏注意力有98%时间都在“找该看哪些token”,真正算注意力反而没那么贵
🔹新方法Latent Sparse Attention (LSA):先把Key按“意思相近”聚类成层级结构,Query只看聚类中心,再挑最相关的几个桶去算。从“全扫”变成“树搜索”
🔹实测(Qwen-3.8-27B):单层注意力Prefill快72.4倍,Decode快42.5倍!端到端首token延迟也能降到约1/9
🔹精度几乎不掉,甚至在RULER等长上下文任务上还略好一点
🔹只需要短蒸馏训练Indexer(基座模型冻结),就能套到现成模型上。Native训练版本也能跟上全注意力精度,还更快
🔹对GPU紧缺党意义巨大:超长上下文(百万级)不再需要堆满H100/H200才能跑,单卡/少量卡也能玩得起真正长上下文Agent
适配步骤:
1️⃣git clone 仓库后用 uv sync 安装(Python 3.12)
2️⃣官方已放出Qwen3.8-27B的蒸馏权重(d-lsa-weights-v1 release),直接下载即可
3️⃣用他们的SGLang fork镜像启动服务,挂载仓库+权重
4️⃣启动时加 --json-model-override-args '{"lsa": {"projections": "/maps/qwen38_27b.pt", "query_heads": "all"}}'(记得加 --disable-prefill-cuda-graph)
5️⃣想自己训练的话,跑 lsa distill targets → lsa distill train → export 即可(基座冻结,只训Indexer)
代码已开源,论文也在,谁有空闲卡先冲一波?
论文:arxiv.org/abs/2610.42147
GitHub:github.com/Prefrontal-AI/lat…
#Qwen #LSA #LongContext #AI #GPU #LocalLLM #注意力优化 #Qwen38 #阿里巴巴
Today we are happy to share one of our first open research releases: Latent Sparse Attention (LSA), a step towards subquadratic attention that matches accuracy of full attention at ultra-long context.
Sparse attention attends to only a few tokens per query, but it has to find the right ones. At 10M tokens, that search takes 98% of the attention layer's time. LSA makes sparse attention up to 22.7× faster and full attention 72.4x faster.
With @kubicek_ales @caciolai @PengLiangzu @SukritSumant @Ben_Hoov @FraserGreenlee @RMBattleday @radim_urban @thoefler @jcrwhittington
くまちゃん retweeted
MITのRikiyaTakehi氏らによるヤバ研究。Qwen3.5-0.8Bに数学問題を解かせると同じ思考を延々とループして一向に答えが出ないバグ的な挙動があった。そこで研究者はAstraに「Qwenを修正してくれない?」って丸投げしてみた。するとAstraはウエイトの中身を見ながら「あー、多分この辺が故障してますね~」つって微調整とか学習とかじゃなくて生のウエイトを直接弄りだした!Astraがアタリをつけてウエイト操作を試行錯誤した結果、Qwenの思考ループが修正されてMATH-500スコアは7.9→48.1に6倍に爆上がり!IFEvalも21→62.3に!研究者は「え…?Astraってウエイトの中身理解できるの!?」と驚愕してさらなる実験を試みる。Astraにゲームプレイを学習させたモデルをいくつか見せたら「これはブロック崩しをプレイするモデルでしょ。これはPong、これはパックマン…」と全部言い当てた!やはりモデルの中身が読めている!次はジャンプ台を乗り越えるのに失敗しちゃう車のモデルを渡したらこれも見事に修正してくれた!その次はブロック崩しのソースコードを渡したらなんとそれをプレイするAIモデルを直接出してくれた!!この結果から、やはりAstraレベルの最先端フロンティアモデルはAIモデルの中身のウエイトを読んで理解する能力があるらしいと分かった!今まで人間はモデルウエイトの中身サーパリ理解できなくて「AIの中身はブラックボックス!」とか言ってたのにいつの間にかAIはAIの中身読めるようになってた!あまつさえウエイトを直接編集、修正、生成する事さえできる!!研究者はこれはWeight-Space Programmingと名付けた
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math.
rikiyat.github.io/blog/weight-sp…
github.com/RikiyaT/lm_und…
huggingface.co/Qwen/Qwen3.5-0…
huggingface.co/RikiyaT/Qwen3.…
くまちゃん retweeted
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math.
It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training.
We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵
Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math.
rikiyat.github.io/blog/weight-sp…
github.com/RikiyaT/lm_und…
huggingface.co/Qwen/Qwen3.5-0…
huggingface.co/RikiyaT/Qwen3.…
くまちゃん retweeted
🚨 حدث تاريخي في عالم التقنية! تشغيل نموذج ذكاء اصطناعي بحجم 2.78 تريليون بارامتر على 8GB RAM فقط! 🤯
أداة مجانية ومفتوحة المصدر تُدعى kimi-k3-in-c أحدثت زلزالاً تقنياً بقدرتها على تشغيل نموذج Kimi K3 بالكامل على وحدة المعالجة المركزية (CPU) العادية وبدون أي كرت شاشة!
⚡ المواصفات والإمكانيات الصادمة:
• النموذج الكامل: تشغيل 2.78T بارامتر بالكامل وليس نسخة مصغرة أو مقتطعة!
• ذاكرة ضئيلة: يستهلك فقط 8.24GB من RAM وبدون الحاجة لـ GPU.
• خفة أسطورية: محرك التشغيل بالكامل مكتوب بلغة C بحجم 176 كيلوبايت فقط، بدون PyTorch أو CUDA!
• دقة مطابقة: يعطيك نفس المخرجات الصادرة من أجهزة خارقة بذاكرة 128GB (ولكن بسرعة أقل).
• توافق شامل: يدعم وضع المحادثة (Chat mode)، ويعمل على Linux و macOS و Windows.
🔥 كيف تقوم بتشغيله على جهازك؟
1️⃣ انسخ المستودع من GitHub: FareedKhan-dev/kimi-k3-in-c
2️⃣ نفّذ أمر make ثم شغل السكريبت لتقييم كفاءة جهازك: ./scripts/k3-doctor.sh
3️⃣ قم بتحميل الـ Checkpoint واختر الإعداد المناسب لحجم الذاكرة لديك.
صحيح أن السرعة بطيئة ويتطلب مساحة تخزين SSD كبيرة.. لكن تشغيل نموذج بتريليونات البارامترات على جهاز مكتبي عادي بـ 8GB RAM هو جنون تقني يعيد تعريف المستحيل! ⏱️🤖
(رابط المستودع المباشر تجدونه في أول تعليق 👇)
📌 احفظ التغريدة بمفضلتك فوراً لتجربتها على جهازك وشاركنا رأيك 🔖👇
くまちゃん retweeted
高市首相が今回のPHP脆弱性騒ぎで現場エンジニアの人から評価されてる理由を簡単に
くまちゃん retweeted
原作の小説を渡して、Codexで漫画を作る仕組みを公開しました!
脚本、コマ割り、画像生成、文字入れ、検品、PDF出力まで自動で進めます。
コマンドが分からなくても始められるよう、Codexに貼り付ける導入用プロンプトも用意しました。
ツールは無料。Codexの契約プランの利用枠内なら、追加料金はかかりません。
github.com/stockedge/manga-g…
くまちゃん retweeted
【悲報】余命宣告の帰り道に2200万円拾って「寿命バグらせた男」の事件がヤバすぎる
がん再発で「余命2〜3カ月」と絶望の宣告を受ける
↓
失意の帰り道、路上で現金2200万円入りのバッグを拾う神引き
↓
「神様からの贈り物」と確信し1800万円を豪遊
↓
伊勢&ベトナム旅行で遊び倒し、ちゃっかりがん治療費にも課金
↓
結果、金の力で宣告された余命を余裕で突破し4カ月半後に元気に逮捕
↓
弁護士「この状況なら神様が見てると思うのも分からなくはない」とガチの同情弁護
↓
現在、保険会社に「月3万円」の約60年ローンで絶賛返済中
余命3カ月だった男に「完済まで60年かかる返済プラン」を組ませた保険会社、誰よりもこいつの生命力を信じてて草
くまちゃん retweeted
「日本人!うるせえ!黙れ!核攻撃してやろうか!」 という煽りをしてくる外国人、特に欧米のキリスト教徒に対して。
実は一番効くのは、
・長崎浦上天主堂の被爆マリア像の写真
・原爆で倒壊した浦上天主堂の写真
という痛烈な皮肉がある。
オーマイゴッドって泣き叫ぶらしいよ、マジで(頭痛)。
くまちゃん retweeted
フラット・ワールド
chatGPT特有のガビガビ感を消したくて、スッキリとシンプルでフラットな絵になるプロンプトを作ってみたので紹介いたします。
良かったら使ってみてください♪
(プロンプトは下のポストに記載します)
"フラットな世界" の魅力が広がると嬉しいです!
🤖 Made with AI
くまちゃん retweeted
Plugin ExtensionsがあるとかなりChatGPT内で完結させるがやりやすくなるから、もっと使い道探っていきたいところ!
developers.openai.com/plugin…
くまちゃん retweeted
箱庭世界のつくりかた【第1弾】
ブラウザで動く3Dの「箱庭」を、ClaudeやCodexを使って作る方法をまとめました。
第1弾は、いちばん簡単な作り方です。
これから、いろんな作り方をどんどん更新していきます。
記事は、⬇️のリンクから
箱庭の作品をまとめたサイト「箱庭世界」に載せています。
claude.ai/artifact/Ku3hLznte…
まあまあ箱庭が好きすぎて、みんなの作った箱庭を集めるサイト『箱庭世界』を作りました😆
「載せてもいいよ」という方は、サイトの掲載フォームからぜひ!
自分で作品の名前や紹介を書いてもいいし、面倒なら「あかくま屋にお任せ」を選んで作品のURLを送るだけでOK。
私が勝手に箱庭へ遊びに行って、紹介文を書きます😆
claude.ai/artifact/PPSchejbn…
くまちゃん retweeted
github.com/Niko1221/Strata
こちらのリポジトリです
難しい説明は読まなくてOK
チャッピーやクロードに「貼ったURLをパソコンに入れて欲しい。Web検索を与えたいからついでにLibreChatも入れて、簡単起動.batも作って」と伝えて放置でいい
Opus5.5は勝手にベンチ回して最適化までやってた
くまちゃん retweeted
AIにコードを書かせる前に、作るものの仕様をAIと合意しておける「OpenSpec」が良さそう
チャットで頼むだけだと、途中で何を作ってたのかブレたり、最初に言ったことが抜け落ちたりするけど、それを「先に仕様をファイルに書かせる」ことで防ぐ仕組み
例えば「ダークモードを追加したい」と頼むと、コードを書く前にAIがこの4つを作ってくれる
・なぜやるのか
・要件と「〜したら〜になる」のシナリオ
・技術的な進め方
・実装のチェックリスト
人間はそれを読んでOKを出してから実装させて、終わったら仕様が履歴として残る
仕様ファイルは特別な書き方じゃなくて普通のMarkdownなので、読むのも直すのも気軽なのがいい
しかもOpenSpec自体がOpenSpecで開発されてて、リポジトリに本物の仕様と進行中の変更がそのまま置いてあるので、書き方の見本にもなる
Claude CodeやCursor、Codexなど30以上のAIツールで使える
AIで1つアプリを作り切ったあと、2つ目を作るときに入れてみると違いがわかりやすいはず















































