@making

Senior Principal Architect at @VMwareTanzu / @Broadcom | Ex @Pivotal | Bichon Frise 🍋🐩

 Tokyo, Japan
ik.am
Joined April 2007
  • Tweets36.6K
  • Following201
  • Followers3.7K
2.4KMedia
Include

Only show posts containing:

Exclude

Hide posts containing:

Time range
-
Minimum likes
Replying to @Bizuayeu
Python版との各種差分をzigで実装し直して、TP=3で8並列捌けるようにはなりましたが、改善を繰り返して、計測してもまだPython版には及びません... 今の所、Python版のままの方がよかったのでは感が...
1
1
11
Replying to @Bizuayeu
github.com/ashhart/TensorFol… ですね。watchします!

Proposal: GLM-5.3-Flash on CUDA takes its streams' KV pages from the core pool, and kept prompt...

#781 gave stream memory one owner in core, and #935 piloted it on Nemotron CUDA. GLM-5.3-Flash on CUDA still keeps a full window for every stream, and each kept prompt state copies that whole windo...

github.com
1
2
85
Replying to @Bizuayeu
今はMiaAI版のパッチとの差分を調査させてます。MiaAIパッチを育てるか、upstreamを直すか。後者がいいのですが。ただ、自分の所属企業のポリシーで、OSSに許可なくpull reqを送れないのですよね... NVDIAの方はちょっと気になりますね。あんまりあれこれ試す時間はないですが。
24
Replying to @Bizuayeu
github.com/ashhart/TensorFol… のGLM版が対応されればKVキャッシュの方は改善されるのかなと思いました。 MiaAI版は独自パッチで対応しているようでした。

KV pages: one core owner with reservation leases, Nemotron CUDA pilot (#781) by jschmied · Pull...

The first slice of #781, as agreed there: a model-free core layout and reservation owner, then Nemotron on CUDA. Rebased on main 46a08c1 (1.0.12). Core (zig/src/core/kv_pool.zig) Layout: fixed byt...

github.com
1
1
66
Replying to @Bizuayeu
1.1.1でEXL3をTP=3で試したところKVキャッシュがストリームごとにコンテキスト長いっぱいを確保するので1Mだと2並列まで。プロンプトキャッシュも1件が1M分(約13G)あってキャッシュできず、長い会話は毎ターン最初から読み直しで数分かかり使い物にならなそうでした。この辺、対応の予定はありますか？
1
1
1
436
TensorFold、自分が検証した限りだとzig版よりpython版の方が性能が良いのだが...
1
1
342
10年契約すごい
PR TIMESテクノロジー
@PRTIMES_TECHOct 20
Broadcom、VMware Cloud FoundationでNTTドコモのプライベートクラウド高度化を推進 prtimes.jp/main/html/rd/p/00…

Broadcom、VMware Cloud FoundationでNTTドコモのプライベートクラウド高度化を推進

ヴイエムウェア株式会社のプレスリリース（2026年10月20日 15時53分）Broadcom、VMware Cloud FoundationでNTTドコモのプライベートクラウド高度化を推進

prtimes.jp
1
473
どうでもいいトリビアですが、"making"というハンドルはハイスタの"MAKING THE ROAD"から来ている。初代のホームページのタイトルも"Making The Road"だった。 gmailのアカウント作る前のメールアドレスにも"staygold"を入れていた。
音楽ナタリー
@natalie_muOct 19
Hi-STANDARD大ファンの妻夫木聡、Indeed新CMで共演＆「STAY GOLD」を一緒に演奏 natalie.mu/music/news/694384 #ハイスタ #妻夫木聡
4
338
やはりもう一台目追加かな...
jaiball
@jaiball7Oct 19
GLM5.3-fullをDGX Sparkで 「とにかく大きい KV キャッシュでできるだけ高精度で使いたい」 人向けにレシピを作りました。 ctx:1M / prefill:1520tok/s / decode:53.2tok/s parallelism:TP=4 / TP=8 / DCP=2 GitHub: github.com/fiore-labo/fiore-… model: huggingface.co/fiore-lab/GLM… huggingface.co/fiore-lab/GLM…
337
MiaAI-Labのレシピに頼らず自力で(Claude Codeをつかって)upstreamのTensorFoldを使ったレシピを作らないとな。
223
Replying to @Bizuayeu
ありがとうございます! 公式watchして待ちます！
31
Replying to @Bizuayeu
@Bizuayeu こんにちは。最新のTensorFoldでGLM 5.3 Flash on 3 x DGX sparkを試したいのですが、こちらを参照すれば良いでしょうか？ github.com/Bizuayeu/GLM-5.3-…

GLM-5.3-Flash-NVFP4-DGX-Sparks-BIZ/v3/README.md at main · Bizuayeu/GLM-5.3-Flash-NVFP4-DGX-Sparks...

NVFP4 BIZ: nvidia/GLM-5.3-Flash-NVFP4 as distributed, on DGX Spark-class GB10 systems. 2.x serves it with TensorFold (TP=2 or TP=3, FP8 KV, MTP, drafted replies equal serial); 1.x with a pinned vLL...

github.com
1
1
509
wasmにコンパイルする言語も、作ったwasmを実行するランタイムも全部自作になってきた。 wasmの適用領域を増やしていきたい。
1
306
Structuredのtok/sを載せてモデルをアピールするのノイズなのでやめてほしい
243
Replying to @danielmorris @MiaAI_lab
Does it already work with 3 sparks as well?
1
44
TP=3版を待ってます！
Mia
@MiaAI_labOct 16
GLM 5.3 Flash now runs on TensorFold with ZIG 🔥 2x DGX Sparks only for now, 3-4 Sparks coming next. The work on this started a while ago. Big thanks to @hecisaza for taking this over the finish line and helping out! Currently it sits on its own branch, separate from main. Get it here: github.com/MiaAI-Lab/GLM-5.3…
308
3台少ないな。中途半端なのかな
そのだ@緑タイツマン@sonoda_mjOct 15
今日のDGX Spark勉強会ですが、6割がDGX Spark互換機所有者でした！！ Maxは5台持ちでした！！ #みんな持ってるDGXSpark
1
1
373
DGX Spark 3台以内で動いて欲しい
AI at Meta
@AIatMetaOct 12
Replying to @TheINAOG
The open weights for Muse Spark are coming soon, Muse Wonder models are large models that are too big for many people to use, in addition to potential safety concerns.
437
DGX Spark 1台持ってる人は絶対2台目買った方が良いです
1
6
592
258
Load more