くまちゃん (@SnowBeeeeX) header
くまちゃん (@SnowBeeeeX) profile picture

AI開発の環境作ってます。 ノンジャンル。雑学。 出来るだけ中立的立場で喋るように努力します。

東京 板橋区
Joined June 2018
Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)Photo by くまちゃん (@SnowBeeeeX)
AIを讃えよ! テクノロジーに帰依せよ! 異端の神を焼き滅ぼせ!
10
5
10
44
91,644
日本かぶれの外国人の動画めっちゃ可愛いんだけどww
41
674
141
16,841
1,447,744
YASAKANIエンジンで、RTX 5090 の単一デコード 1,220 tok/s を達成!! 今回は世界最速のエンジンである証明をしました。 RTX 5090 1枚・Qwen3.8-27B・1本の生成で、公開されている最速記録を5本すべて上回った(定格・同じ土俵の条件で、最大2.5倍)。 「5090で最速」を名乗る MegaCapybara 1.39 とは、同じPC・定格・同じ問題で直接対決。動画は実際の生成を、記録した時刻どおりに再生しています。 ■ 公開記録 → YASAKANI(tok/s) - mkyt(JSON)500 → 1,220(2.44倍) - NInfer(構造化3問)377 → 937(2.49倍) - TensorFold(英語)298 → 424(1.42倍) - ignis(コード)491 → 532(1.08倍) - MegaCapybara(コード)540※ → 498(同じPC・定格では466、1.07倍) ※540はメモリ+20% OCと自前のプロンプトでの値 ■ 同じPCで直接対決(MegaCapybara 1.39 Tiny、思考オフ・greedy) - JSONL 160行:1,220 vs 635(1.9倍) - 英語の推理小説:424 vs 253(1.7倍) - 中→英 翻訳:613 vs 366(1.7倍) - SQL:745 vs 603(1.2倍) - コード編集(ファイル全文の書き戻し):1,241 vs 440(2.82倍) - JSONL 8,192トークン:1,260 vs 666(1.89倍) 12問の平均でも、構造化1.4倍・散文1.6倍・翻訳1.6倍。 ■ エージェントの仕事ほど速い コード編集は「約4,700トークンのファイルを1か所直して、全文を返す」課題。AIエージェントが毎日やっている作業です。 3つのエンジン(YASAKANI 高速版・標準版・MegaCapybara)の出力は完全に同じ(4,711トークンが一致)で、違うのは速さだけ:1,241 / 1,136 / 440 tok/s。 ■ Qwen推奨設定(思考あり・温度1.0)でも 雑談・説明・コード・数学・JSON・長文入力の6課題の中央値:YASAKANI 381、SGLang 184、vLLM 183、llama.cpp 147(10/18、同じPC、他社は課題ごとに一番速い設定)。 この条件で250 tok/sを超える公開記録は、10月中旬の調査では見つかっていません。 ■ 長い文脈でも 25万トークンの文書を140秒で読み、続きの返事は0.3秒で開始。25万トークンを積んだ状態でも152 tok/s。262,144トークンの窓でVRAM 24.9GB(32GBのカードに収まる)。(10/30計測) ■ 速いだけではない 元モデルとのズレ(KLD):標準版 12.4GB で 0.021。MegaCapybara Tiny は 0.058(16.6GB)。 1,220 は高速版(11.7GB、KLD 0.044)。標準版でも 1,114。 ■ 正直に書いておくこと - ゼロから書くコードは僅差(1.04〜1.08倍)。540はOC込みの値で、定格では向こうも406〜533 - MegaCapybara以外の相手の数字は各自の公表値(別のPC・別のプロンプト・別の日)。同じPCで測ったのはMegaCapybaraだけ - 中国語の物語は英語より遅い(176〜302 tok/s) - 第三者の再現は公開後。それまでは「この条件で測って」と言われれば、同じPCで測って出します ■ 測り方 RTX 5090 ×1(定格600W・OCなし)、Windows、2026-11-03。NInferが公開している12問(コード3・物語3・翻訳3・構造化3)+自作のコード編集・長いJSONL。上限4,096トークン(長いJSONLは8,192)、思考オフ、greedy。速度=(出力トークン数−1)÷生成時間(読み込みは除く)。MegaCapybaraは公開版1.39を公式の1会話設定で起動し、向こうのサーバーの表示とこちらの計測は一致。 エンジンもモデル形式も自作。オープンソース・無料で公開予定。日程はこのアカウントで。 #YASAKANI
23
25
17
267
259,164
くまちゃん retweeted
🤯逆天了!Qwen 3.8 27B注意力层被彻底击穿了!10M超长上下文下,Prefill注意力快72.4倍、Decode快42.5倍!端到端首token延迟砍到约1/9! 闲置GPU的朋友注意了:把这个新方法丢给Claude/Codex,让它直接移植到Qwen 27B上!注意力算法“移植”已经被验证可行。 惊人之处: 🔹10M token(约1000万)超长上下文下,传统稀疏注意力有98%时间都在“找该看哪些token”,真正算注意力反而没那么贵 🔹新方法Latent Sparse Attention (LSA):先把Key按“意思相近”聚类成层级结构,Query只看聚类中心,再挑最相关的几个桶去算。从“全扫”变成“树搜索” 🔹实测(Qwen-3.8-27B):单层注意力Prefill快72.4倍,Decode快42.5倍!端到端首token延迟也能降到约1/9 🔹精度几乎不掉,甚至在RULER等长上下文任务上还略好一点 🔹只需要短蒸馏训练Indexer(基座模型冻结),就能套到现成模型上。Native训练版本也能跟上全注意力精度,还更快 🔹对GPU紧缺党意义巨大:超长上下文(百万级)不再需要堆满H100/H200才能跑,单卡/少量卡也能玩得起真正长上下文Agent 适配步骤: 1️⃣git clone 仓库后用 uv sync 安装(Python 3.12) 2️⃣官方已放出Qwen3.8-27B的蒸馏权重(d-lsa-weights-v1 release),直接下载即可 3️⃣用他们的SGLang fork镜像启动服务,挂载仓库+权重 4️⃣启动时加 --json-model-override-args '{"lsa": {"projections": "/maps/qwen38_27b.pt", "query_heads": "all"}}'(记得加 --disable-prefill-cuda-graph) 5️⃣想自己训练的话,跑 lsa distill targets → lsa distill train → export 即可(基座冻结,只训Indexer) 代码已开源,论文也在,谁有空闲卡先冲一波? 
论文:arxiv.org/abs/2610.42147 
GitHub:github.com/Prefrontal-AI/lat… #Qwen #LSA #LongContext #AI #GPU #LocalLLM #注意力优化 #Qwen38 #阿里巴巴
Today we are happy to share one of our first open research releases: Latent Sparse Attention (LSA), a step towards subquadratic attention that matches accuracy of full attention at ultra-long context. Sparse attention attends to only a few tokens per query, but it has to find the right ones. At 10M tokens, that search takes 98% of the attention layer's time. LSA makes sparse attention up to 22.7× faster and full attention 72.4x faster. With @kubicek_ales @caciolai @PengLiangzu @SukritSumant @Ben_Hoov @FraserGreenlee @RMBattleday @radim_urban @thoefler @jcrwhittington
73
237
10
2,362
161,534
くまちゃん retweeted
MITのRikiyaTakehi氏らによるヤバ研究。Qwen3.5-0.8Bに数学問題を解かせると同じ思考を延々とループして一向に答えが出ないバグ的な挙動があった。そこで研究者はAstraに「Qwenを修正してくれない?」って丸投げしてみた。するとAstraはウエイトの中身を見ながら「あー、多分この辺が故障してますね~」つって微調整とか学習とかじゃなくて生のウエイトを直接弄りだした!Astraがアタリをつけてウエイト操作を試行錯誤した結果、Qwenの思考ループが修正されてMATH-500スコアは7.9→48.1に6倍に爆上がり!IFEvalも21→62.3に!研究者は「え…?Astraってウエイトの中身理解できるの!?」と驚愕してさらなる実験を試みる。Astraにゲームプレイを学習させたモデルをいくつか見せたら「これはブロック崩しをプレイするモデルでしょ。これはPong、これはパックマン…」と全部言い当てた!やはりモデルの中身が読めている!次はジャンプ台を乗り越えるのに失敗しちゃう車のモデルを渡したらこれも見事に修正してくれた!その次はブロック崩しのソースコードを渡したらなんとそれをプレイするAIモデルを直接出してくれた!!この結果から、やはりAstraレベルの最先端フロンティアモデルはAIモデルの中身のウエイトを読んで理解する能力があるらしいと分かった!今まで人間はモデルウエイトの中身サーパリ理解できなくて「AIの中身はブラックボックス!」とか言ってたのにいつの間にかAIはAIの中身読めるようになってた!あまつさえウエイトを直接編集、修正、生成する事さえできる!!研究者はこれはWeight-Space Programmingと名付けた
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math. rikiyat.github.io/blog/weight-sp… github.com/RikiyaT/lm_und… huggingface.co/Qwen/Qwen3.5-0… huggingface.co/RikiyaT/Qwen3.…
10
1,077
258
4,950
453,969
くまちゃん retweeted
We asked GPT-6 Astra to edit Qwen3.5-0.8B weights to improve math. It directly changed only 0.016% of weights, fixing 0.8B's reasoning loops & improving math up to 6x and even instruction following 3x, without gradients or training. We call this Weight-Space Programming: frontier LLMs can now natively read/write neural network weights! 🧵 Blog: rikiyat.github.io/blog/weigh…
Readers added context they thought people might want to know
LLM was given weights explicitly as text in prompt and used code/forward passes (per authors' logs) to ablate Qwen looping direction, a known thinking-mode issue per model card. Primarily fixed repetition in that mode, not general 'natively' improving weights/math. rikiyat.github.io/blog/weight-sp… github.com/RikiyaT/lm_und… huggingface.co/Qwen/Qwen3.5-0… huggingface.co/RikiyaT/Qwen3.…
2,361
7,270
5,704
55,927
9,732,336
くまちゃん retweeted
🚨 حدث تاريخي في عالم التقنية! تشغيل نموذج ذكاء اصطناعي بحجم 2.78 تريليون بارامتر على 8GB RAM فقط! 🤯 أداة مجانية ومفتوحة المصدر تُدعى kimi-k3-in-c أحدثت زلزالاً تقنياً بقدرتها على تشغيل نموذج Kimi K3 بالكامل على وحدة المعالجة المركزية (CPU) العادية وبدون أي كرت شاشة! ⚡ المواصفات والإمكانيات الصادمة: • النموذج الكامل: تشغيل 2.78T بارامتر بالكامل وليس نسخة مصغرة أو مقتطعة! • ذاكرة ضئيلة: يستهلك فقط 8.24GB من RAM وبدون الحاجة لـ GPU. • خفة أسطورية: محرك التشغيل بالكامل مكتوب بلغة C بحجم 176 كيلوبايت فقط، بدون PyTorch أو CUDA! • دقة مطابقة: يعطيك نفس المخرجات الصادرة من أجهزة خارقة بذاكرة 128GB (ولكن بسرعة أقل). • توافق شامل: يدعم وضع المحادثة (Chat mode)، ويعمل على Linux و macOS و Windows. 🔥 كيف تقوم بتشغيله على جهازك؟ 1️⃣ انسخ المستودع من GitHub: ⁠FareedKhan-dev/kimi-k3-in-c⁠ 2️⃣ نفّذ أمر ⁠make⁠ ثم شغل السكريبت لتقييم كفاءة جهازك: ⁠./scripts/k3-doctor.sh⁠ 3️⃣ قم بتحميل الـ Checkpoint واختر الإعداد المناسب لحجم الذاكرة لديك. صحيح أن السرعة بطيئة ويتطلب مساحة تخزين SSD كبيرة.. لكن تشغيل نموذج بتريليونات البارامترات على جهاز مكتبي عادي بـ 8GB RAM هو جنون تقني يعيد تعريف المستحيل! ⏱️🤖 (رابط المستودع المباشر تجدونه في أول تعليق 👇) 📌 احفظ التغريدة بمفضلتك فوراً لتجربتها على جهازك وشاركنا رأيك 🔖👇
40
336
8
2,132
149,486
くまちゃん retweeted
タココがたまに見せる "圧倒的上位種特有の笑顔"が好きすぎて一生撮ってる🐙 #コンパス
3
62
4
885
18,092
幸せなニュースばっかで癒される
5
1,350
66
22,906
994,407
くまちゃん retweeted
ネットだけで日本語学んだ外国人クッソ好き
86
1,605
259
16,232
845,597
くまちゃん retweeted
高市首相が今回のPHP脆弱性騒ぎで現場エンジニアの人から評価されてる理由を簡単に
あー、これ完全にシステムのこと理解してない人の発言ですね。 そもそもPHPとか言語レベルの脆弱性なんてユーザーレベルでほとんど意識するものではないですし、フロントエンドのエンジニアでもそこを気にしてシステム組む人はほとんどいないです。バックエンドのエンジニアなら多少は言語の脆弱性の知識があった方がいいでしょうが、PHPほどメジャーな言語なら開発側もそれくらい認識していて当然で、 「わー高市さんありがとう。おかげで脆弱性が見つかりました。」 なんて言う開発者が今さらいるんでしょうか? 多くの国民どころか末端のエンジニアにすら関係のない話です。 混乱を生むような発信をするべきではないです。
94
2,825
163
12,966
906,680
くまちゃん retweeted
原作の小説を渡して、Codexで漫画を作る仕組みを公開しました! 脚本、コマ割り、画像生成、文字入れ、検品、PDF出力まで自動で進めます。 コマンドが分からなくても始められるよう、Codexに貼り付ける導入用プロンプトも用意しました。 ツールは無料。Codexの契約プランの利用枠内なら、追加料金はかかりません。 github.com/stockedge/manga-g…
12
126
15
1,014
52,611
くまちゃん retweeted
【悲報】余命宣告の帰り道に2200万円拾って「寿命バグらせた男」の事件がヤバすぎる がん再発で「余命2〜3カ月」と絶望の宣告を受ける ↓ 失意の帰り道、路上で現金2200万円入りのバッグを拾う神引き ↓ 「神様からの贈り物」と確信し1800万円を豪遊 ↓ 伊勢&ベトナム旅行で遊び倒し、ちゃっかりがん治療費にも課金 ↓ 結果、金の力で宣告された余命を余裕で突破し4カ月半後に元気に逮捕 ↓ 弁護士「この状況なら神様が見てると思うのも分からなくはない」とガチの同情弁護 ↓ 現在、保険会社に「月3万円」の約60年ローンで絶賛返済中 余命3カ月だった男に「完済まで60年かかる返済プラン」を組ませた保険会社、誰よりもこいつの生命力を信じてて草
259
4,065
467
49,569
5,582,733
「日本人!うるせえ!黙れ!核攻撃してやろうか!」 という煽りをしてくる外国人、特に欧米のキリスト教徒に対して。 実は一番効くのは、 ・長崎浦上天主堂の被爆マリア像の写真 ・原爆で倒壊した浦上天主堂の写真 という痛烈な皮肉がある。 オーマイゴッドって泣き叫ぶらしいよ、マジで(頭痛)。
こうやって揉め始めると、 「日本人!うるせえ!黙れ!核攻撃してやろうか!」 っていう煽りをしてくる外国人が常に一定数いるんだけど、 【自分がそのボタンを押せる訳でもないのに、自分が自由にできない終末兵器の着弾点を自分が自由に決められるかのようにイキる】 のって、とっても中二病っぽくてよい。 年を取ったとき黒歴史になる。
12,487
340
71,060
6,914,376
くまちゃん retweeted
three-liltoon 0.1.9 をリリースしました!🎉 lilToonのアバターを、ブラウザでも。 Mochiya Avatar Tools 0.1.4を使って、UnityからlilToon設定付きのVRM/GLBを書き出し、Webで表示できます。 GitHubのIssueやコミュニティの声をもとに、描画負荷の軽減やアウトライン・ポストプロセッシング関連の不具合修正を進めました。ご報告ありがとうございます! 開発者向けパッケージはnpmに公開済み ソースコードと修正内容はリプライへ👇 #lilToon #threejs #VRM #VRChat
5
83
1
832
29,037
国家の指導者 - 政府の長、元首など。
内閣総理大臣は、「行政の長」であり、高市早苗首相は、🇯🇵一国の指導者などでは断じてありません。彼女は一政治家に過ぎず、国民に雇われている公僕です。主権は『国民』にあります。
1
468
フラット・ワールド chatGPT特有のガビガビ感を消したくて、スッキリとシンプルでフラットな絵になるプロンプトを作ってみたので紹介いたします。 良かったら使ってみてください♪ (プロンプトは下のポストに記載します) "フラットな世界" の魅力が広がると嬉しいです!
🤖 Made with AI
21
227
39
2,097
100,236
くまちゃん retweeted
Plugin ExtensionsがあるとかなりChatGPT内で完結させるがやりやすくなるから、もっと使い道探っていきたいところ! developers.openai.com/plugin…
1
45
6,090
くまちゃん retweeted
箱庭世界のつくりかた【第1弾】 ブラウザで動く3Dの「箱庭」を、ClaudeやCodexを使って作る方法をまとめました。 第1弾は、いちばん簡単な作り方です。 これから、いろんな作り方をどんどん更新していきます。 記事は、⬇️のリンクから 箱庭の作品をまとめたサイト「箱庭世界」に載せています。 claude.ai/artifact/Ku3hLznte…
まあまあ箱庭が好きすぎて、みんなの作った箱庭を集めるサイト『箱庭世界』を作りました😆 「載せてもいいよ」という方は、サイトの掲載フォームからぜひ! 自分で作品の名前や紹介を書いてもいいし、面倒なら「あかくま屋にお任せ」を選んで作品のURLを送るだけでOK。 私が勝手に箱庭へ遊びに行って、紹介文を書きます😆 claude.ai/artifact/PPSchejbn…
8
65
19
345
68,366
github.com/Niko1221/Strata こちらのリポジトリです 難しい説明は読まなくてOK チャッピーやクロードに「貼ったURLをパソコンに入れて欲しい。Web検索を与えたいからついでにLibreChatも入れて、簡単起動.batも作って」と伝えて放置でいい Opus5.5は勝手にベンチ回して最適化までやってた
29
3
315
36,985
AIにコードを書かせる前に、作るものの仕様をAIと合意しておける「OpenSpec」が良さそう チャットで頼むだけだと、途中で何を作ってたのかブレたり、最初に言ったことが抜け落ちたりするけど、それを「先に仕様をファイルに書かせる」ことで防ぐ仕組み 例えば「ダークモードを追加したい」と頼むと、コードを書く前にAIがこの4つを作ってくれる ・なぜやるのか ・要件と「〜したら〜になる」のシナリオ ・技術的な進め方 ・実装のチェックリスト 人間はそれを読んでOKを出してから実装させて、終わったら仕様が履歴として残る 仕様ファイルは特別な書き方じゃなくて普通のMarkdownなので、読むのも直すのも気軽なのがいい しかもOpenSpec自体がOpenSpecで開発されてて、リポジトリに本物の仕様と進行中の変更がそのまま置いてあるので、書き方の見本にもなる Claude CodeやCursor、Codexなど30以上のAIツールで使える AIで1つアプリを作り切ったあと、2つ目を作るときに入れてみると違いがわかりやすいはず
1
12
4
152
11,604