Preferred Networksでは、仲間を募集しています。 私たちは今、AIを社会に届けるための技術と事業を、半導体、計算基盤、基盤モデル、AI製品・ソリューションまで、一気通貫で強化しています。 これほどの規模で、これほど幅広い領域を通じてAIの社会実装に本気で挑める環境は、世界を見ても多くありません。 次の時代に必要な技術や基盤がなければ、自らつくる。そして、つくった技術を研究成果で終わらせず、実際に社会で使われるところまで持っていく。それが私たちの仕事です。 現時点ではまだ公表できない、重要かつ大規模なプロジェクトも数多く動いています。これから世の中に出ていくものを、まさに今、自分たちの手でつくっています。 AIはこれから、国や企業、そして一人ひとりの生活を支える社会の基盤になっていきます。そうした基盤を、自分たちの手でつくっていきたいと考えています。 世界で通用する新しい技術を生み出し、それを社会に届く形にする。その挑戦のど真ん中で、一緒に未来をつくってくれる方に来てほしいと思っています。 スレッドに採用ページを貼ります。興味のある方はぜひご覧ください。質問などあれば、気軽にコンタクトしてください。

Frontier Pre-training at Microsoft AI microsoft.ai/news/frontier-p…

MAI-Base-2は、2.8Tパラメータ、80B activeのMoEモデルを、16000基のGB200を用いて38日間、50Tトークンで事前学習したと報告している。 前回のMAI-Baseに続き、公開情報が限られている大規模事前学習について、技術的な詳細や実験結果、開発手法がまとめられており、参考になる。 今回も、改善ループが回せるよう、小規模モデルの実験結果から大規模モデルの性能を正確に予測するために、Source Scalingという手法を導入している。 具体的には、あるデータソースについて本番モデルで8 epoch繰り返す場合、小規模実験でも同じ8 epochを繰り返すように、使用するデータソースのサイズを調整する。 通常、小規模実験では本番学習よりも学習トークン数が少ないため、同じデータソースを使うと繰り返し回数が少なくなる。しかし、それではデータの反復による過学習などの影響を再現できず、小規模実験で得られた最適な設定が本番モデルでも最適になるとは限らない。 Source Scalingでは、学習トークン数だけでなく、ユニークなデータ量やデータの反復率も調整することで、大規模学習の挙動を小規模実験から予測しやすくしている。 もう一つの重要な結果は、学習率（LR）とWeight Decay（WD）を独立に探索するのではなく、その積に着目することで、最適なハイパーパラメータについて次の経験則を得ていることである。 LR × WD = 17.04 / S また、最適な学習率は次の関係を満たす。 log LR = -1.51 + 0.175 log(TPP) - 0.573 log S ここで、Sは学習ステップ数、TPPは学習トークン数をActive Parameter数で割った値である。 なお、LRとWDの積に着目する考え方は、既存研究でもいくつか見られ、初出ではない。 Weight Decayによる累積的な重みの縮小効果を考えると、学習率が一定であると単純化した場合、 W_{t+1} ≒ (1 - LR × WD) W_t となる。これをSステップ繰り返すと、 W_S ≒ exp(-S × LR × WD) W_0 となる。 今回の経験則では、S × LR × WD = 17.04なので、 W_S ≒ exp(-17.04) W_0 となり、学習全体を通じたWeight Decayの累積的な強さは、設定によらず一定に保つという意味を持つ。 なお、実際には学習率のスケジュールや勾配による重みの更新が存在するため、重みのスケールがこのようになるわけではない。 また、これらの係数は今回の実験設定で得られた経験値であり、異なるOptimizerやモデル構造でもそのまま成り立つとは限らない。 このほか、Activation Gradient Clippingによって学習の安定性を大きく改善したことも興味深い。 通常のGradient Clippingでは、重みに対する勾配のノルムを制限する。しかし、巨大なバッチのうち1サンプルだけが異常に大きな勾配を発生させた場合でも、バッチ全体の勾配が縮小されてしまう。 そこで、ネットワーク内の特定箇所におけるActivationの勾配をクリップする方法を採用している。 Activationに対する勾配は、Backward Passではバッチやトークンの次元が保持されているため、重み勾配として合算される前に、個別の勾配を制限できる。 これにより、異常なサンプルの影響を局所的に抑えつつ、正常なサンプルの学習信号を残すことができる。 さらに、異常に大きな勾配を発生させたサンプルを調査したところ、データの前処理のバグにより、想定しない位置でトークンが出現していることが判明し、データ前処理の修正にも役にたった。 計算効率についても注目に値する。MAI-Base-2は、総パラメータ数2.8T、活性化率約2.9%という非常に大規模かつ疎なMoEモデルであるにもかかわらず、モデル全体でMFU 21%を達成している。 GB200のピークBF16性能を2.5 PFLOPSとすると、これは1GPUあたり525 TFLOPSの有効学習演算性能に相当する。特に、MoE層単体ではMFUを24%から35%まで改善しており、全層MoEを採用できるようになったことも重要である。 コメント === 前回のMAI-Baseに引き続き、大規模モデルの事前学習について詳細な技術情報を提供している。 前回は、様々な後続タスクに関連するテキストの予測誤差を指標として、同じ損失に到達するための投入計算資源をどこまで減らせるかという、学習効率の最適化に重点が置かれていた。今回は、こうした開発手法をさらに大規模なモデルへと適用し、実際に学習を完了させた成果といえる。 特に、総パラメータ数が約3T、活性化率が3%を下回るモデルを実際に学習している点は重要であり、モデル規模としてはフロンティアモデルに近い。 今回の報告において独自の評価指標ではDeepSeek-V4-Proの事前学習などを上回る結果が得られたと報告している。今後、Post-trainingによって推論能力やエージェント性能がどの程度向上するのかが注目される。 もう一つ注目したいのは、これほど大規模な事前学習を38日間で完了させたことである。 従来、大規模モデルの事前学習には3〜4か月程度をかける例も多いが、今回は16,000基のGB200を投入し、高い疎率にもかかわらずMFU 21%という学習効率を実現していることで、1ヶ月強で終了させている。 このような短期間で終わるようになれば大規模事前学習でも、アーキテクチャ、データ、Optimizer、学習条件などを改善して再学習するサイクルをすすめらえっるようになる。

ノエトラを紹介いただきありがとうございます。 多くの産業領域、分野で使える土台を作っていきたいと思っています。 引き続きよろしくお願いします。 （当日同席できずすいません。みかんありがとうございます）

Are We Overthinking One-Step Generation? arxiv.org/abs/2610.20331

Priming Modelsは、拡散モデルやFlow Matchingのような複雑な生成過程を学習しなくても、単純な復元学習による事前学習と、生成分布を目標分布に合わせる事後学習を組み合わせることで、高品質な1ステップ生成モデルを実現する。 ImageNet 256×256の1ステップ画像生成ではFID 1.19を達成し、同程度の品質を持つ従来手法と比較して学習計算量を大幅に削減している。さらに、事後学習にFD-lossを使用した別の実験では、FID 0.94を達成している。 この手法は画像生成だけでなく、行動を条件として次時刻の画像を予測する世界モデルにおいても有効であることが示されている。 現在の画像生成では、複数ステップの生成過程を用いる拡散モデルやFlow Matchingが広く使われている。また、これらの生成過程を1ステップに短縮するMeanFlowやConsistency Models、あるいは分布を直接学習するDrifting Modelsなども登場している。 1ステップ生成で実現したいことは、ガウスノイズzを入力したとき、生成器f(z)の出力分布qが実データ分布pと一致することである。これを最も直接的に実現するには、適切な分布間距離D(q,p)を定義し、それを最小化すればよい。 しかし、ニューラルネットワークをランダムに初期化した状態から、勾配降下法によって直接生成分布を実データ分布に一致させることは不可能なくらい難しい。 そこでPriming Modelsは、この問題を2段階に分けて解決する。 第1段階：ノイズから画像を復元する事前学習 まず、実画像にノイズを混ぜた画像を作り、そこから元の画像を復元するように学習する。クラスラベルやテキストなどの条件がある場合には、それらも入力する。 通常の拡散モデルでは、複数のノイズ強度を使って復元を学習する。しかし、Priming Modelsでは、固定したノイズ強度での復元学習だけでも、その後の生成学習に有効な初期化が得られることが示された。 興味深いのは、元画像の情報を完全に消すほどノイズをいれると、最終的な生成性能が大幅に悪化することである。つまり、第1段階から純粋なノイズを入力して元画像を予測するように学習する方法は、うまく機能しなかった。 ImageNetの実験では、ノイズ強度をs=0〜1としたとき、s=0.8程度が最も良い結果となった。 ノイズからの復元が可能な程度に元画像の情報を残しつつ、最終的な生成時に用いる純粋なガウスノイズに近い入力で学習することが重要だと考えられる。 なお、ImageNetの最高性能モデルでは、単純なピクセル単位の復元損失だけでなく、LPIPSやConvNeXtの特徴量を用いた知覚損失も併用している。 第2段階：生成画像の分布を実画像の分布に合わせる事後学習 復元学習を終えたモデルに純粋なガウスノイズを入力すると、1ステップで何らかの画像を生成できる。しかし、この時点では生成分布は実データ分布と一致しておらず、生成画像の品質も低い。 そこで、生成画像と実画像を学習済みの特徴抽出器に通し、特徴空間で両者の分布が一致するよう追加学習する。 この際の主な学習目標は、最適輸送（Optimal Transport）を利用したSinkhorn divergenceである。 最適輸送は、ある分布を別の分布に変換する際、確率質量をどのように移動させれば全体の輸送コストが最小になるかを求める方法である。 エントロピー正則化付き最適輸送の目的関数をD(q,p)としたとき、Sinkhorn divergenceは次のように表される。 S(q,p) = D(q,p) - 1/2 D(q,q) - 1/2 D(p,p) 第1項は生成分布と実データ分布の間の輸送コストであり、両者を近づける。 第2項は生成分布自身の輸送コストを補正するもので、生成サンプルが過度に集中することを防ぐ方向に働く。第3項は実データ分布自身に関する補正項であるが、今回、実データ分布は固定されているため、モデルのパラメータ更新には影響しない。 この目的関数をそのまま微分することもできるが、本研究では同じパラメータ勾配を与える次の損失関数を使用する。 L = D(q,p) - D(q,sg[q]) ここでsgはstop-gradientを意味し、その引数を通じた誤差逆伝播を止める操作である。 元の目的関数ではD(q,q)の前に1/2が付いているが、D(q,q)を微分すると、2つの引数の両方から勾配が流れるため、打ち消される。 さらに、最適輸送の勾配計算には包絡定理（Envelope Theorem）を利用する。 最適輸送では、生成サンプルiと実サンプルjの間の輸送コストC_{ij}を定義し、それぞれの間でどれだけの確率質量を輸送するかを輸送計画π_{ij}として求める。 エントロピー正則化を含む目的関数を、輸送計画πについて最小化することで、最適な輸送計画π*が得られる。 ここで生成画像が変化すると、輸送コストCだけでなく、最適輸送計画πも変化するため、勾配を計算するにはπの変化まで微分する必要があるように思える。 しかし、π*はすでに輸送計画の最適解である。したがって、輸送計画が制約を満たしながら微小に変化しても、その変化が最適化済みの目的関数に与える一次の寄与は、最適性条件により0になる。 このため、最適輸送計画が正確に求められ、輸送計画の制約が固定されている場合には、π*を固定して輸送コストCのみを微分すればよい。 具体的には、 ∇θ D(q,p) = Σij π*_{ij} ∇θ C_{ij} となる。ここでDはエントロピー正則化項を含む最適輸送の最適値を表す。 つまり、Sinkhornアルゴリズムによって最適輸送計画を計算した後、その輸送計画をstop-gradientで固定し、生成画像と実画像の特徴量間の距離を変化させる勾配だけを逆伝播すればよい。 実際の有限ミニバッチと有限回のSinkhorn反復では近似となるが、この方法によって複雑な輸送計画の微分を計算せずに、分布を一致させるための学習を実行できる。 ここで、単純な復元事前学習によって分布学習が容易になるのかについて、著者らは、復元事前学習によって、分布学習に適したJacobianが形成されるのではないかと考え、実験的に分析している。 モデルの出力特徴量をhとし、分布損失Lの特徴量に関する勾配をvとする。 v = ∇h L モデルのパラメータθに関する出力特徴量のJacobianを J = ∂h / ∂θ とする。 連鎖律より、損失のパラメータに関する勾配は ∇θ L = J^Tv となる。 これは、特徴量に関する損失勾配vを、Jacobianの転置によってパラメータ空間の勾配に変換していることを意味する。 学習率ηで勾配降下した場合、パラメータの更新量は Δθ = -ηJ^Tv となる。 一方、パラメータが微小に変化したとき、出力特徴量の変化は一次近似によって Δh ≈ J Δθ と表される。これは、通常の微分における「出力の変化 ≈ 微分係数 × 入力の変化」を多変数に拡張したものである。 ここにパラメータの更新式を代入すると、 Δh ≈ -ηJJ^Tv となる。 つまり、分布損失が要求する修正方向がvであっても、実際の出力変化はJJ^Tvによって決まる。 JJ^Tは出力特徴量に対するNeural Tangent Kernel（NTK）に相当する。この行列の固有ベクトル方向のうち、固有値が大きい方向には、同じ勾配に対して出力を大きく変化させやすい。 逆に、固有値が小さい方向では、分布損失が適切な修正方向を示していても、パラメータ更新によって出力を十分に動かせない。 著者らは、復元事前学習を行ったモデルについて、分布損失が要求する主要な修正方向に対するJacobianの応答を測定した。その結果、復元事前学習が長いほど、一般にその方向へのJacobianの相対的な応答が大きくなり、その後の分布学習でもFIDが速く改善する傾向が確認された。 つまり、復元事前学習によって、分布を修正するために必要な方向へ出力を変化させやすいモデルが形成されていると考えられる。 ただし、現時点ではJacobianの応答と学習効率の相関を示したものであり、それが性能改善の直接的な原因であることまで証明したわけではない。 コメント === 生成モデルの出力分布を目標分布に直接一致させる方法は、GANやMMDを利用した生成モデルなど、以前から研究されてきた。しかし、ランダム初期化からの直接的な分布学習には安定性や学習効率の問題があり、高品質な生成モデルを簡単に学習することは難しかった。 今回の研究では、単純な復元タスクによる事前学習によって、直接的な分布学習が効率的に進むモデルを構築できることが示された。 構成は非常に単純だが、従来手法を大幅に上回る学習計算効率を達成しており、重要な結果だと思う。 また、事前学習が単に画像の特徴や構造を獲得するだけでなく、その後の学習に適したパラメータ空間の幾何学的構造を形成している可能性である。これは他の事前学習に対しても同様の示唆を与える。 また、ノイズ強度として0.8程度が有効だった点について、画像の大局的な構造や意味的な特徴が形成される重要な領域に対応する。他のデータや問題はどう設定するかは未解決である。

Multi-Stream Attention Residuals arxiv.org/abs/2610.13630

MSAR（Multi-Stream Attention Residuals）は、Transformerの残差接続を改良し、過去の層の情報を複数の異なる視点から選択的に取り出す手法である。特に、従来のAttnResをマルチヘッド化し、異なる局所文脈に基づいて過去の情報を読み出すことで、同じ学習損失に到達するための計算量を、通常の残差接続と比べて約37%削減できると報告している。 通常のTransformerでは、各層の出力を残差接続によって足し合わせる。 h_{l+1} = h_l + f_l(h_l) ここで、h_lは第lサブレイヤーへの入力、f_lはAttentionまたはMLPによる変換である。 各サブレイヤーが新しく計算した出力をv_l = f_l(h_l)とすると、この式は h_l = h_1 + Σ_{i=1}^{l-1} v_i と表せる。つまり、通常のTransformerでは、過去のすべてのサブレイヤーの出力を係数1で加算している。 この仕組みは勾配を安定して伝え、各層が既存の表現を徐々に更新する形で計算を分担できる一方、初期の層で生成された情報を後続の層が選択的に取り出すことは難しい。 この問題に対して、HC、mHC、AttnResなど、残差接続を改良する研究が進んでいる。 特にAttnResでは、 h_l = Σ_{i=0}^{l-1} α_{i,l} v_i とし、過去の各層の出力に対する読み出し重みα_{i,l}をAttentionによって決める。ここでv_0はEmbeddingであり、v_iは先程と同様に各層の計算結果である。 このAttentionでは、各層に学習可能なQueryを用意し、過去の各層の出力をKeyとValueとして利用する。通常のSelf-Attentionが系列方向に情報を選択的に取り出すのに対し、AttnResは深さ方向に情報を選択的に取り出す。 MSARは、このAttnResをマルチヘッド化する。通常のMulti-Head Attentionでは、特徴ベクトルを複数のHeadに分割し、それぞれ独立したAttentionを計算する。 しかし、Depth Attentionでは、各層の出力を単純に特徴次元方向に分割すると、性能が悪化することが先行研究で報告されている。 そこでMSARでは、系列方向のCausal Depthwise Convolutionを利用し、異なる局所文脈を取り込んだ複数の表現を生成する。 標準構成では4つのStreamを使用する。 ・Stream 0：元の表現をそのまま使用 ・Stream 1~3：直近4, 8, 12トークンに対するCausal Depthwise Convolution 各チャネルで独立した畳み込みを行うため、追加パラメータ数とFLOPsを小さく抑えられる。 こうして得られた4つのStreamは、いずれも元のHidden Dimensionと同じ次元数を持ち、それぞれに独立したDepth Attentionを適用する。 最後に、得られた4つの表現を適応的な重みで統合する。この重みは、4つのStreamの出力を連結したベクトルにRMSNorm、線形写像、Sigmoidを適用し、4つのスカラーゲートを計算することで得られる。 また、全サブレイヤーの出力を個別にAttentionの参照対象とすると、必要なメモリ容量やPipeline Parallelの通信量が増大する。 そこで、大規模実験ではBlock MSARを採用する。これはTransformer全体を約8ブロックに分割し、各ブロックに含まれるサブレイヤーの出力を加算した一つの状態を保持して、これをAttentionの参照対象とする。 また、4つのStreamを常時保持するのではなく、保存した単一の状態から必要なときだけStreamを生成することで、メモリ使用量と通信量を抑えている。 実験では18B-A1.7Bと28B-A2.7BのMoEモデルを用いて評価を行い、学習損失の改善に加えて、下流タスクでも大きな性能改善が得られた。 28B-A2.7Bモデルでは、MSARの追加学習FLOPsは約0.5%である一方、12種類のベンチマークすべてで通常の残差接続、mHC、AttnResを上回った。 さらにScaling Lawの分析では、同じ学習損失に到達するための計算効率が通常の残差接続に対して1.58倍となり、mHCの1.30倍、AttnResの1.35倍を上回った。ただし、これは実際の学習速度ではなく、学習損失と計算量の関係から推定した値である。 Ablationでは、単にDepth AttentionのHead数を増やすだけでは不十分であり、各Headに異なる局所文脈を反映した表現を与えることが重要であると示唆されている。 また、2 Streamでも4 Stream構成の改善の大部分が得られており、ブロック化による性能低下も小さい。 コメント === Transformerの残差接続の改良については、近年さまざまな手法が提案されている。 今回の論文ではMulti-Head Depth Attentionの有効性が主張されているが、単純にCausal Convolutionを導入した効果ではないかという点は、十分にAblationされていないため、追加検証が必要だと思う。 実際、他の研究でもCausal ConvolutionがInduction Headに相当する振る舞いの獲得を容易にする可能性が指摘されている。また、MambaなどのSSM系アーキテクチャでもCausal Convolutionが利用されており、局所的な情報混合が学習を容易にするうえで重要な役割を持つ可能性がある。 もちろん、Causal Convolution自体に効果があり、さらにMulti-Head Depth Attentionと組み合わせることで追加の改善が得られる可能性も十分にある。切り分けのためには、Single-HeadのAttnResにCausal Convolutionだけを追加した構成との比較が必要だろう。 今回のように、Attentionを適用する対象をどこまで拡張できるかが今後注目される。 通常のSelf-Attentionでは、同じ層の過去のトークンを参照する。一方、AttnResやMSARでは、同じトークン位置における過去の層の出力を参照する。さらにMSARでは、Causal Convolutionによって、過去のトークン位置にある下位層の表現も間接的に利用している。 これを一般化すると、系列方向と深さ方向を合わせた二次元の計算履歴の中から、必要な中間表現を選択的に取り出すという方向性が考えられる。 例えば、現在の層から過去のトークン位置にある上位層、特に最終層の表現を参照する構成も考えられる。こうした過去時刻の上位層の表現を再利用する場合は、入力からの計算ステップ数を増やせる（しかし学習時に全時刻を並列で学習できなくなるという大きな問題がある） 一方、計算、メモリ、並列計算の容易性から、中間表現をすべて保存することは現実的ではないため、過去の情報のうち何を捨て、何を集約し、何を将来の参照のために選択的に残すべきかという問題も、今後の重要な研究テーマになると思う。

Shared Geometry As A Rosetta Stone: Cross-Modal Alignment Without Paired Data arxiv.org/abs/2610.09411

画像モデルと言語モデルを完全に独立に学習していても、埋め込み空間の幾何構造のみから、画像と文章の意味的な対応関係を推定できることが以下の論文で示された。 "Shared Geometry as a Rosetta Stone: Cross-Modal Alignment Without Paired Data" これはPlatonic Representation Hypothesis、つまり異なるモデルが共通の世界構造に対応する表現へと収束するという仮説を、実際の異種モダリティ間の接続を通じて部分的に裏付けた研究といえる。 従来、別々に学習された画像モデルと言語モデルの表現を接続するには、画像と文章の対応ペアを利用することが一般的だった。 しかし、例えば画像側に犬、猫、道路、自動車、人に対応する表現があり、文章側にもそれらの意味に対応する表現がある場合、「犬と猫は近く、自動車と道路も近い」といった表現間の相対的な位置関係が似ていれば、対応ペアを知らなくても両者を重ね合わせられる可能性がある。 この実現において中心となるのが、Wasserstein Procrustesという枠組みである。 \min_{W,T } \sum_{i,j}T_{ij} |x_iW-y_j|^2 これは、両者を対応付ける変換行列Wと、サンプル同士の対応関係Tを同時に推定する最適化問題である。ここでWは半直交行列、Tは輸送計画であり、変換は距離や角度を保存するように制約されている。 この最適化問題は非凸であり、適切な初期値がなければ解くことが難しい。そこで、本論文では次の3段階の方法を採用する。 1. 粗い幾何構造の整合 それぞれの埋め込み空間を30クラスタに分け、クラスタ中心間の類似度構造が可能な限り一致するように対応付ける。このために、CKA（Centered Kernel Alignment）を最大化する二次割当問題を解く。 2. 疑似ペアの生成 クラスタ間の対応関係から、個々のサンプル間の対応関係を推定する。具体的には、線形割当アルゴリズムを使って画像と言語の疑似ペアを構築する。 3. Procrustesによる反復改善 疑似ペアから最適な直交変換Wを求め、変換後の類似度から新しい対応関係を推定し直す。これを反復することで、対応付けの精度を改善する。 実験では、30クラスタ、30回の初期化、バッチサイズ10,000、100回の改善反復を使用している。 これにより、ペアなしの画像・文章対応付けにおいて従来手法を大きく上回る性能を達成している。さらに、少数の教師ペアを追加するだけで対応付けの精度が大幅に改善し、従来手法よりも高いデータ効率を実現していることも示している。 また、画像と言語だけでなく、RNA発現とクロマチンアクセシビリティ、異なる被験者のfMRI、質量スペクトルと分子構造といった異なるモダリティ間の対応付けにも適用し、一定の成功を収めている。 ただし、この手法が有効に機能するかどうかは、独立に学習された表現がどの程度似た幾何構造を持っているかに大きく左右される。 コメント === 異なるモダリティの表現をペアデータなしで対応付けることは、以前から重要かつ困難な研究課題として知られていた。 古くは異なる言語間の埋め込み空間を対応付ける研究があり、その後、画像と言語のような異種モダリティ間の対応付けへと研究が広がってきた。 今回、異なるモダリティ間でも粗い幾何構造が共通しており、細かな構造までは一致していなくても、比較的単純な手法によって十分に良い初期対応を得られることを示した点は興味深い。 この成果には、事前学習によって得られる表現の質が向上し、異なるモデル間でも共通する意味構造が現れやすくなっていることが大きく貢献していると考えられる。 一方で、なぜ独立に学習された異なるモダリティのモデルが、このような共通の幾何構造を獲得するのかは、まだ十分に理解されていない。さらに、どのような情報や構造がモダリティを超えて普遍的に現れ、どのような情報がモダリティ固有のものとして残るのかもまだ分かっていない。

Hyperparameter Scaling Laws Across MoE Sparsity arxiv.org/abs/2609.08690

MoEのモデルサイズやExpert活性化率を変えながら、最適な学習率とバッチサイズがどのように変化するかを体系的に調べた研究。 1,800回の事前学習実験を行い、Expert活性化率が1/32、追加検証では1/64まで調べている。最大12Bパラメータ、159Bトークンまでの実験を行った。 主な結果は以下の3点である。 ・総学習計算量が増えるほど、最適学習率は低くなる。 ・学習トークン数が増えるほど、最適バッチサイズは大きくなる。おおむねトークン数の平方根に比例するペースで増加する。 ・MoEを疎にすると、最適学習率は下がり、最適バッチサイズは大きくなる。 例えば同じ総学習計算量・学習トークン数の条件で、Denseモデルの最適学習率と最適バッチサイズをそれぞれ1とすると、 ・活性化率1/16：学習率0.69、バッチサイズ1.26 ・活性化率1/32：学習率0.62、バッチサイズ1.34 ・活性化率1/64：学習率0.57、バッチサイズ1.42 となる。 MoEでは、各Expertが受け取るトークン数が少なくなるため、勾配ノイズが大きくなる。しかし、活性化率を1から1/16に下げても、最適バッチサイズは1.26倍にしかならない。 これは、各Expertの勾配ノイズを抑えるためにバッチサイズを大きくするメリットがある一方、バッチサイズを大きくしすぎると、同じ学習トークン数でのOptimizerの更新回数が減ってしまうためである。結果として、Expertあたりのトークン数を一定に保つほどバッチサイズを増やすのではなく、更新回数とのバランスを取ることが最適になる。 なお、これらはMuonを用いた特定のモデル構成で得られた実験結果であり、数百Bパラメータ、数十Tトークン規模の学習でも同じ関係が成立するかは未検証である。 コメント === 最近のMoEでは、Expert活性化率が5%や3%を下回るような、非常に疎なモデルも登場している。 このようなモデルでは、各Expertが受け取るトークン数が減るため、勾配ノイズが大きくなり、学習率やバッチサイズをどのように設定すべきかが重要になる。 従来もMoEの最適ハイパーパラメータに関する研究はあったが、活性化率の違いによる影響は十分に整理されていなかった。今回の研究は、最適学習率を総学習計算量と活性化率、最適バッチサイズを学習トークン数と活性化率で整理できることを示した点で実用的な価値が高い。

ReplaySSM: Cache SSM Inputs, Not State arxiv.org/abs/2610.13778

ReplaySSMは、Mamba-2やGated DeltaNet（GDN）などのSSMにおける状態の読み書きのコストを削減し、モデル全体のデコードを1.20〜1.47倍高速化するとともに、投機的デコード（Speculative Decoding）のスループットも最大約2倍に改善する。 SSMは通常のAttentionと異なり、過去のトークン情報を固定サイズの状態行列に圧縮する。しかし、この状態の読み書きには大きなメモリ転送コストがかかる。 例えば、Nemotron-3-Super-120BではSSM層が40層あり、1層あたりの状態は1シーケンスにつき4MiBである。従来の実装では、各トークンのデコード時に状態を読み出して更新し、再び書き戻すため、全層で約320MiBのデータ転送が必要になる。 特にバッチサイズが256のように大きい場合、コンテキスト長が100Kトークン程度になるまで、SSMの状態更新がモデル全体の主要なレイテンシ要因になり得る。 ReplaySSMは、状態の書き戻しを毎トークンではなく一定間隔で行う。例えばL=16の場合、16トークンごとに状態をチェックポイントとして保存し、その間はチェックポイントの状態と、チェックポイント以降の各トークンの入力情報を明示的に保持する。 Mamba-2の場合、保持するのは減衰係数、キー、値であり、これらから必要な状態を再構成できる。毎回巨大な状態行列を書き戻す必要がなくなるため、メモリ転送量を従来の約58%まで削減できる。 特に有効なのが、投機的デコードへの応用である。 従来のvLLMなどのSSM実装では、複数の候補トークンをまとめて検証する際、各トークンの処理後の状態を保存しておき、受理されたトークン数に応じた状態を選択する必要があった。 ReplaySSMでは、候補トークンの入力情報をバッファに保存しておけばよく、受理されたトークン数に応じてバッファのポインタを進めるだけで状態を確定できる。棄却されたトークンの影響を取り除くために、巨大な状態行列を復元する必要がない。 さらに、各トークンの出力を計算する際には、完全な状態行列を再構成する必要すらない。キーとクエリの内積を先に計算することで、状態行列を明示的に構築することなく、出力を直接計算できる。 GDNでは、現在の状態を参照して書き込む差分を決めるため、Mamba-2より計算が複雑になるが、複数トークン間の依存関係を小さな三角行列の連立方程式として解くことで、同様の処理を実現している。 また、SSMの状態を低精度化すると、量子化誤差が次の状態更新に引き継がれ、長い生成では誤差が蓄積するという問題がある。 ReplaySSMでは、状態更新に用いるチェックポイントを高精度で保持し、通常の出力計算には別の低精度チェックポイントを用いる。これにより、低精度化による誤差が次の状態更新に伝播することを防ぎ、長い生成でも精度劣化を大幅に抑えられる。 コメント === SSMは、Attentionのように過去の全トークンのKVキャッシュを保持する必要がなく、固定サイズの状態だけを維持すればよいため、効率的なデコードが期待されていた。 しかし実際には、状態行列そのものが大きく、その読み書きがボトルネックになっていた。また、過去の情報を一つの状態に集約するため、KVキャッシュのようにポインタ操作だけで過去の状態に戻ることができず、投機的デコードとの相性も悪かった。 ReplaySSMは、直近の入力は状態に畳み込まずキャッシュとして保持することで、こうした制約を大幅に緩和する。SSMの固定サイズ状態という利点を維持しながら、KVキャッシュのような柔軟な状態管理も部分的に実現した点が重要である。 一方、Attention側でも、過去のKVキャッシュを圧縮・集約したり、一定区間ごとにまとめて管理したりする研究が進んでいる。さらにContext Language Modelのように、モデル自身が過去のコンテキストを管理する仕組みも提案されている。 記憶の表現と管理方法という観点では、両者の境界が徐々に曖昧になっているように思える。

Retrieval-Centric Deep Learning in Growing Nonparametric Neural Networks arxiv.org/abs/2610.03858

Retrieval-Centric Deep Learning（RCDL）は、ニューラルネットワークの学習を、固定された重みの更新ではなく、過去の学習履歴をKey-Value形式の記憶として追加していく仕組みとして定式化する。 関数勾配に基づく学習を、既存の記憶を書き換えず、新たなKey-Valueの追加だけで実現できる。これにより、現在のニューラルネットワークで課題となっている継続学習や、少数サンプルからの効率的な学習を改善できる可能性がある。 まず、通常のニューラルネットワークの線形層から考える。線形層は、入力ベクトルxに重み行列Wを掛けて出力を計算する。 y = Wx 勾配降下法では、各学習ステップにおいて、出力に対する損失勾配gと入力xの外積を用いて重み行列を更新する。 W ← W − ηgxᵀ ここでηは学習率である。 この更新を学習開始時から展開すると、学習後の重みは初期重みと過去すべての勾配更新の和として表せる。 特に、vᵢ = −ηᵢgᵢとおくと、学習後の線形層の出力は、 y(q) = W₀q + Σᵢ vᵢ(xᵢᵀq) となる。 これは、過去の学習入力xᵢをKey、過去の損失を減らすための更新vᵢをValue、現在の入力qをQueryとする、非正規化Linear Attentionと同じ構造である。 こうした双対性は既存研究でも知られていたが、今回の研究では、このLinear Attentionをより表現力の高いSoftmax Attentionに置き換えることを検討する。 しかし、Softmax Attentionをそのまま使うと、新しいKeyを追加すると正規化に使われる分母も変化するため、既存のKey-Valueの寄与まで変わってしまう。極端な例として、新しいValueをゼロに設定しても分母が変化するため、元の関数を保持できない。 そのため、Linear Attentionと同じように、単純にKey-Valueを追加するだけでは、勾配降下法に対応する学習則にならない。 そこで著者らは、Softmax Attentionを等価な連続的な密度関数として表現し、その関数自体に勾配降下法を適用する方法を考案した。 まず、各Key-Valueにスカラー重みを持たせたWeighted Softmax Attentionを導入し、これを混合ガウス分布（Gaussian Mixture）として表現する。 ガウス分布の共分散が各成分で共通であり、KeyとValueが独立であれば、この連続的な表現は、近似なしで元のWeighted Softmax Attentionと厳密に一致する。 さらに、原点中心のガウス分布を基準とした密度比を取ると、混合ガウス分布は指数関数の線形結合として表現できる。 この関数空間で関数勾配を計算し、その勾配方向に密度関数を更新する。そして、その更新が元の離散的なSoftmax Attentionにおいて、どのようなKey-Valueの追加に相当するかを導く。 結果として、損失の関数勾配は、QueryとKeyの内積の指数関数に、出力に対する損失勾配gと「Valueから現在の出力sを引いたベクトル」との内積を掛け、Softmaxの分母で正規化した形になる。 ∇wJ(k,v) = exp(kᵀq)〈g, v−s〉/D この「現在の出力を引く」という構造は、既存の記憶と新たな情報との差分を使うDeltaNetの更新則にも通じる。ただし、両者の数理的な導出や目的は異なる。 そして、この関数勾配による更新が、ただ一つの新しいKey-Value成分を追加することで再現できる。 具体的には、新しいKeyは学習時のQueryをガウス分布の共分散で変換したものとなり、新しい重み付きValueは負の損失勾配に比例する。また、スカラー重みは現在のモデル出力と損失勾配の内積に比例する。 このように、既存のKey-Valueを変更せず、新しい記憶を追加するだけで、関数空間における勾配降下法に対応する学習を実現できる。 ただし、新しいスカラー重みが負になる場合があるため、論文ではクリッピングやGauge Invarianceを利用した安定化手法も提案している。 著者らは、このモデルを画像分類や合成的な教師・生徒学習問題で評価した。CIFAR-10/100では、通常のSGD、Adam、AdamW、RMSPropで学習したMLPよりも高い精度を示した。特に学習初期の収束が速く、訓練データを一度しか見ないSingle-pass Learningでも優れた性能を示している。 一方、MuonやMesa/FOOFといった高度な最適化手法を用いた従来型MLPも高い性能を達成しており、RCDLが常に優れているわけではない。 コメント === 今回の研究は、そのまま現在の大規模モデルの学習方式を置き換えるものではないが、ニューラルネットワークの学習と記憶の関係を再考するための基礎研究として重要だと考える。 Transformerでは、KVキャッシュに新しい情報を追加していくことで、重みを変えずにモデルの出力を変化させることができる（In-context学習）。 今回のRCDLもこれに似ており、学習によって獲得した情報を新しいKey-Valueとして蓄積し、それを検索することでモデルの振る舞いを変化させる。 ただし、通常のKVキャッシュが推論時のトークンの活性を保存するのに対し、RCDLでは損失勾配から導かれた学習情報を保存するという点で異なる。 また、一度追加したKey-Valueは変更しないため、記憶を固定的に保持でき、キャッシュの再利用とも相性がよいと考えられる。 最大の問題は、通常のIn-context学習と同様に、学習のたびに記憶容量が増加することである。すべての学習履歴を保存し続けることは現実的ではないため、記憶の追加と圧縮をどのように組み合わせるかが重要になる。 例えば、新しく獲得した情報を一時的にKey-Valueとして保存し、一定期間ごとに元のモデルの重みへ統合するような方式も考えられる。 普遍的な知識はモデルの重みに圧縮し、新しい経験や希少な情報は検索可能な記憶として保持する。こうした学習方式は、特に継続的な経験の獲得が求められる分野で重要になるだろう。 新しい経験を短中期的な記憶として保持し、行動に反映させながら、徐々に長期記憶へと統合していく。この仕組みは、人の脳において海馬が新しい記憶の形成に関与し、短中期的な記憶が時間をかけて大脳皮質の長期記憶へと固定化されていく過程を彷彿とさせる。

先日開催したMatlantis User Conference 2026の開催レポートを公開しました。ぜひご覧ください！

MLPs are Hebbians: Constructing Efficient Fact-Storing MLPs for Transformers arxiv.org/abs/2607.10034

“MLPs are Hebbians”という論文では、TransformerのMLPはなぜ大量の事実を高密度に保存できるのかを、連想記憶（Hebbian memory）の観点から理論化している。 特に、F個の事実をほぼ情報理論的限界であるO(F log F)個のパラメータで保存できるMLPの構成を示している。 ただし、実際の学習済みLLMがこの方法で事実を保存していることを示したわけではなく、MLPというアーキテクチャが、このような高密度な連想記憶を実現できることを構成的に示した研究である。 MLPは、入力xを特徴量φ(x)に変換し、その後に線形変換を適用する MLP(x) = Bφ(x) という形で書ける。 この特徴量を、その共分散を用いて白色化すると、MLPは特徴空間上のHebbian memoryと完全に等価な形で書ける。つまり、MLPは、入力と保存された各キーとのカーネル類似度を計算し、その類似度に応じて対応する値を足し合わせる連想記憶として表現できる。 その上で著者らは、近年のgated MLPに近い φ(x) = (Ax) ⊙ (Gx) というbilinearな特徴写像を用いたMLPを考える。 AとGをランダムなGaussian行列とすると、この特徴写像が作るカーネルは、十分な数のランダム特徴を使った場合、 K(x,z) ≈ ² という二次カーネルを近似する。 つまり、このMLPは入力を二次特徴空間に写し、その空間上で入力クエリと各キーとの類似度を計算し、対応する値を読み出す連想記憶として理解できる。 一般に、F個のキーからF個程度の値への任意の対応関係を保存するには、情報理論的にもΩ(F log F)の情報量が必要になる。 一方、著者らのMLP構成ではΘ(F log F)個のパラメータで保存できるため、パラメータ数について漸近的に情報理論的に最適となる。 また、Transformer内部では、MLPに入力される表現は保存時のキーそのものではなく、Attentionなどの計算を経たノイズを含む表現になる。そのため、単に正しい値のスコアが最大になればよいだけではなく、ノイズが加わっても正解を維持できるだけの十分なマージンが必要となる。 論文では、保存する事実数、MLPの幅、埋め込み次元、キーや値の幾何構造によって、他の記憶からのcross-talkがどの程度増加し、marginがどのように悪化するかについても理論的に解析している。 コメント === TransformerのMLPを連想記憶として捉え、入力側の重みをキー、出力側の重みを値に対応させるという見方自体は、以前から知られていた。 今回新たに示された重要なアイデアは、gated MLPのbilinearな特徴写像を二次カーネルのランダム特徴近似として捉え、その特徴空間上のHebbian memoryとして解析することで、記憶容量やcross-talk、marginのスケーリングを理論的に導いた点にある。 また、この論文からも示唆されるように、MLPを明示的な記憶モジュールとして設計すれば、通常の勾配学習だけに頼らず、外部で構成した記憶をMLPブロックに直接組み込むことも原理的には可能である。 実際、論文ではMLP自体を入れ替えることで事実を書き換える「MLP SWAPPING」というアイデアもproof-of-conceptとして示されている。

PLaMo翻訳を大型アップデートしました！ 世界最高水準の翻訳精度を、数十分の一のコストで実現します。 翻訳向けの学習データを数百倍の規模に拡充し、学習プロセスにもさまざまな改良を加えました。 先日リリースしたリアルタイム会議翻訳機能も、ぜひあわせて試してみてください。

Sharing AI progress in mathematics openai.com/index/sharing-ai-…