DeepSeekは、自社の推論フレームワークDeepInferを公開するとともに、DeepSeek V4.1 Flashの大規模推論システムに関する技術報告も公開した。 この報告によれば、V4.1 Flashは単一クラスタで1日あたり155兆トークンを処理し、GPUあたり毎時38ドルのAPI売上換算値を達成している。また、Decodeのベンチマークでは、GPUあたり毎秒14,466トークンという出力スループットを報告している。 この報告では、PrefillとDecodeの分離、Expert Parallelism（EP）、KVキャッシュの長期保存、投機的デコード、負荷分散などについて、実際の運用を踏まえた設計が詳しく説明されている * PrefillとDecodeの並列化 PrefillではExpert Parallelism（EP）を2〜8、Data Parallelism（DP）を2〜8とし、モデルの重みがHBMに収まる範囲で、できるだけ小さいEPを利用する。 DecodeではEP64〜128、DP64〜128という大規模な並列化（Wide EP）を採用している。 V4.1 Flashは各MoE層に256個のRouted Expertを持つためEP64であれば、単純に均等配置した場合、GPUあたり平均4個のExpertが配置される。人気のあるExpertを複製し、各GPUの負荷に応じて再配置するExpert Parallel Load Balancing（EPLB）も導入している。 このようにEPを大きくすることで、各GPUが読み込むExpert重みの量を減らし、同時に多数のトークンを集約してExpertのGEMMを効率化できる。一方で、GPU間通信の負担は増えるため、通信側の負担は大きくなっている。 * KVキャッシュの長期保存と再利用 本番トラフィックでは、入力長の平均が77Kトークンで、そのうち約96%がキャッシュヒットしていると報告されている。 KVキャッシュは分散ファイルシステム3FS上に保存され、どのPrefillノードからでもアクセスできるように設計されている。これにより、リクエストを特定のGPUに固定する必要がなく、柔軟な負荷分散が可能になる。 また、Sliding Window Attention（SWA）はキャッシュ再利用時に必要な状態を厳密に再構築するには、層数分だけ、より長い範囲の再計算が必要になるが、そこを直近128トークンだけの再計算に置き換えている。これは近似だが、Prefill全体の計算量をほぼ半減できると報告している。 * GPUあたりの処理性能と売上 DeepSeekは、GPUあたり毎時38ドルのAPI売上換算値を報告している。これを単純に年間換算すると、GPUあたり約33万ドル（1ドル150円換算で約5,000万円）となる。 主要な処理性能は次の通りである。 - Prefill処理量（キャッシュ込み）：約150万トークン/秒/GPU - Prefill処理量（新規計算）：約6万トークン/秒/GPU - Decode処理量：約14,000トークン/秒/GPU - Decode同時実行数：約60系列/GPU - 1ユーザーあたりのDecode速度：約230トークン/秒 - PrefillとDecodeのGPU数：約1対1 これらの値とAPI料金を組み合わせると、GPUあたり毎時38ドルという売上換算値と概ね整合する。 1日155兆トークンという処理量からGPU規模を逆算すると、上記のスループットを継続的に達成できるという仮定のもとで、Prefill約1,200基、Decode約1,200基、合計約2,400基という規模が推定される。 この構成が年間を通じて同じ稼働率と売上単価を維持した場合、年間売上換算値は約8億ドルとなる。 例えば、GPU原価を毎時5ドル、その他のインフラ原価を毎時3ドルと仮定すると、GPUあたり毎時38ドルの売上に対して粗利益率は約79%となる。これは原価を仮定した試算であり、実際の利益率を示すものではないが十分採算がとれていることを示している。 * GPUの演算効率 次に、Decode性能をB200やGB200のピーク演算性能と比較してみる。 V4.1 FlashのDecode時のActive Parametersを16Bとすると、1トークンの主要な行列積演算量は約32 GFLOPsとなる。 GPUあたり14,466トークン/秒で生成する場合、出力トークンに対応する演算量は約463 TFLOPS/GPUである。 さらに投機的デコードにおける検証トークンの増加を考慮すると、主要モデルの演算量は約516 TFLOPS/GPUと推定される。 これはB200やGB200のFP8・FP4ピーク演算性能に対して約5〜12%に相当する。 また、GPUあたり60系列を同時に処理し、投機的デコードによって1ステップで平均3.21トークンを生成するとすると、1ステップの処理時間は約13.3ミリ秒と推定される。 * HBM帯域とExpert重みの読み込み メモリ帯域の観点からも考えてみると、仮に552BパラメータをすべてFP4で格納し、EP64で均等に分割すると、GPUあたり約4.31 GBの重みを保持することになる。 これを1ステップごとにすべて読み込むと仮定すると、13.3ミリ秒のステップ時間で平均約324 GB/sの読み込み帯域が必要になる。 B200のHBM帯域は約8 TB/sなので、ステップ全体で平均すればピーク帯域の約4%に相当するので十分間に合う上、重みの読み込みとGEMMは一部をオーバーラップできる。 ただし、13.3ミリ秒の間にはAttention、Expert間通信、GEMMなどの処理も必要であり、重みの読み込みに13.3ミリ秒すべてを使えるわけではなく、例えば重み読み込みに使える時間が1ミリ秒しかないなら、必要帯域は4.31 TB/sとなり、B200のピーク帯域の約54%を使用する計算になる。 * SSDを利用したKVキャッシュ保存 今回の推論インフラでSSDは中心的な役割をはしている。 推論中のKVキャッシュと状態はGPUのHBMに保持される。一方、SWAのKVキャッシュはCPU RAMに、Paged Block KV Cacheは3FS上のSSDに保存される。 SSDはDecode中のKVキャッシュをHBMから退避させるためではなく、主に数日間にわたるPrefixの再利用に使われる。 本番システムでは、KVキャッシュ用のSSDストレージを約100 PiB確保しており、GPUあたりの論理ストレージ容量は約14.4 TBである。 キャッシュ保持期間は、Agentトラフィックで3日間、Chatbotトラフィックで7日間に設定されている。 また、キャッシュヒット率は約96%である一方、API料金ではキャッシュヒットした入力トークンと新規計算が必要な入力トークンの価格差が50倍に設定されており、Prefill売上においてキャッシュヒットした場合とそうでない場合がちょうどバランスされている。 コメント === 今回の報告は、現在の大規模LLM推論インフラについて、実際の利用状況と、それを支えるシステムの構成や設計上の工夫を具体的に示している点で参考になる。 KVキャッシュをSSD上に長期間保存してPrefillの再計算を削減し、Decode側でWide EPを採用してExpert重みの読み込み負担を減す上、単に推論カーネルを高速化するのではなく、ストレージ、通信、負荷分散、投機的デコードまで含めて最適化することで、システム全体のスループットと経済性を改善している。 また、推論フレームワークDeepInferが公開されたことで、今後コミュニティによる性能検証や改善が進むことも期待できる（ただし、本番で使われているKVキャッシュ管理や負荷分散システムなどは公開されていないようである）

うちのPGXをマスコットにして3Dにした。金色のはずが白くなった

4ステップ版にしたら137秒→10秒になった。頼んでない文字まで書き足してくる

DeepSeek、まじで全てを曝け出すんじゃないか？ ってくらい何でも公開してくれるな.... 推論フレームワークまで公開しちゃって... SM100、Huawei Ascend 950 向けだから全GPUに最適なわけではないけど、これで誰でも(金さえあれば)高効率DeepSeekホストか.... 日本でもさくらインターネットがDeepSeek v4.1 Flashホストするって話もあったし、使わせてもらえるんじゃないか？ もしかしたら国内ホストのDeepSeekも増えるかも！？

同じ指示をGLMに出したら一発で動いた。2.8秒で電源落ちるけど

6回目でやっと動いた。温度は0℃から上がらん

さっき、レシートを傾けたりぼかしたり途中で切ったりして読ませてみたけど、MiniCPMもQwen2.5-VLも全部正解だった。もっと崩さないとダメか

直させるたびに別のエラー出てくる。今4回目

ローカルのQwenにゲーム作らせたら、変数を162個目まで宣言し続けて力尽きた

AIに描かせたホワイトボードを別のAIに読ませたら、「明細」が「明细」になって返ってきた

手書きのホワイトボードを写真で読ませて図にするの、家の画像を読めるモデルでどこまでいけるか試したくなった。たぶん自分の字の汚さで負ける #レバテックMeetUP

漫画描かせたら、エンジニアが現場の人になった

中国の結婚式で、新婦から新郎へのサプライズがまさかのGeForce RTX 5090。箱を開けた瞬間に新郎が泣き出して、箱を頭上に掲げたまま会場を一周していました。 AI時代のGPUは指輪並みのプレゼントになっているのかもしれない、、 ・ステージで手渡されたのはRTX 5090の箱 ・VRAM 32GB、米国の希望小売価格は1,999ドル ・ローカルでLLMや画像生成を回す人の憧れの1枚 ・元投稿者のコメントはwife material（理想の嫁）

ついでにこれで描いたちびキャラを3Dにしてみた。前は髪がバキバキに割れてたけど、元の絵を描き直したらほぼ消えた。元絵って大事なんやな

調子乗って貼り紙6行やらせたら「下認までご連絡ください」「よらよくお願いいたします」になってた。小さい字になった瞬間崩れる

ラーメン屋のメニュー4行もいけた。醤油の漢字まで普通に書けてるのずるい

これ夜中に試してた。付箋に「PGX 熱い ファン回せ」って書かせたら日本語そのまま出てきた。うちの現状まんまで草