みぃ🍵 retweeted
"Screening Is Enough"
> [Softmax attention] does not provide an independently interpretable measure of query—key relevance: attn. scores are unbounded, while attn. weights are defined only relative to competing keys. Consequently, irrelevant keys cannot be explicitly rejected...
I just released a revised version of my paper on Multiscreen, an alternative to Transformer for long-context language modeling.
✅ Maintains performance and retrieves information accurately on contexts far longer than those seen during training
✅ Much more stable at large learning rates — it can even train with learning rate 1
✅ Smaller model size & faster inference
✅ More interpretable context selection
I added more figures to the main text and rewrote the paper to make it easier to follow. I’d be very happy if you read it!
Paper → arxiv.org/abs/2604.01178
パラメータ数92%削減、推論速度3.2倍。 Transformerの限界を突破する新アーキテクチャ『Multiscreen』が注目されているようだ。論文タイトルは “Screening is enough” 。 「Attention Is All You Need」への挑戦状とも取れる内容である。
従来の研究は「いかにして重要な情報に注目するか」を追求してきた。この論文はその逆で「無関係な情報をいかに切り捨てるか」というアプローチを提案する。
従来のAttention機構はSoftmaxを用いて「相対的な重要度」を計算するが、これは無関係なノイズにも重みを割り当ててしまう欠点があった。提案手法のMultiscreenは、各キーに対して絶対的な閾値で判定を行い、不要な情報を削除してから集約を行う。
たとえば、Softmaxは「AがBよりマシなら、Aに重みを振る」という相対評価だったが、Multiscreenでは「AもBもゴミなら、両方捨てる」という挙動になる。
この変更により、同じトークン予算で、Transformerのベースラインよりも40%少ないパラメータで同等の検証損失を達成した。まだTransformerでは学習が発散してしまうような大幅に大きな学習率でも、Multiscreenでは安定した最適化が可能である。大きな学習率を使えるので微調整が短時間で実行でき、高速な実験サイクルを回せるようになる。
長文脈評価において、Multiscreenはパープレキシティにおいて強い性能を維持し、学習中に見た長さを遥かに超える文脈長でも、検索性能の劣化をほとんど示さない。AIや統計の分野では、これを外挿性(Extrapolation)が高いと表現するようだ。外挿性は学習した範囲外でも正しく振る舞える能力のことを指す。
条件によってはモデルパラメータが92%少なくても、一貫してTransformerベースラインを上回る。つまり情報の密度が非常に高いということである。100Kトークンのコンテキストを持つ次のトークン予測では、MultiscreenはTransformerベースラインに対して、推論レイテンシーを2.3-3.2倍削減する。
情報の集約ロジックを相対評価から、絶対選別にシフトさせた点が画期的で、メモリ、速度、精度のすべてにおいてブレイクスルーを達成している。大型のモデル開発だけでなく、エッジデバイスでのLLM実行においても有望なアーキテクチャである。
全員に配分する民主主義をやめて、一部の適格者だけ通す門番を導入したという例えがわかりやすい。
arxiv.org/abs/2604.01178
みぃ🍵 retweeted
attention機構の部分だけではなく、トークンの位置のencodingの表現や、性能評価手法についても新しく有用なものを開発した、とのことで(これらだけでも論文になるくらいの成果)、論文10本くらいの価値はある、とのことでした笑(めっちゃすごい)
みぃ🍵 retweeted
僕が理解した範囲では、
「Attention機構は重要でない部分にも相対的に注意を割り振らないといけないところを、絶対評価にして"screening"をかけることで冗長性をなくし、特に文章量が膨大なタスクに対して圧倒的な性能を出した」
という感じだそうです
みぃ🍵 retweeted
僕の友人が、機械学習の分野でかなりすごい論文を出したとのことで宣伝です!!
Transformerを過去のものにする自信作、とのことでした(めっちゃすごい)
(僕は専門外ですが、分野外にも伝わるようなすごさでした)
ぜひみなさん読んでもらえると!!
arxiv.org/abs/2604.01178
みぃ🍵 retweeted
Screening Is Enough
Ken M. Nakanishi
arxiv.org/abs/2604.01178 [𝚌𝚜.𝙻𝙶 𝚌𝚜.𝙰𝙸 𝚌𝚜.𝙲𝙻]
みぃ🍵 retweeted
PFN2025夏季国内インターンの締め切りまで約2週間となりました。インターン経験者のインタビューがありますのでぜひ参考にしてください。インターンは弊社での経験だけでなく、インターン同士でのつながりもできます(卒業生は各地で活躍してます)。ぜひ、みなさんからの募集をお待ちしております!
PFN2025夏季国内 #インターン 募集要項を公開しました。機械学習のみならず、コンピュータサイエンスの幅広い分野から、新しい技術、プロダクト、サービスを創り上げてみたいという学生の皆様の応募を歓迎いたします。
●応募締切:2025/4/20 (日) 23:59 (日本時間)
preferred.jp/ja/news/interns…
みぃ🍵 retweeted
Interesting that to get 10M context window inference time temperature scaling is used in LLama4, which is created by 1 guy with no previous publications in LLM? Amazing scholar.google.com/citations…
arxiv.org/pdf/2501.19399
みぃ🍵 retweeted
Llama4ブログでinference time temperature scalingとして紹介されていた論文、東大の人の単著でカッコいい……!となるなどしていた
arxiv.org/abs/2501.19399
みぃ🍵 retweeted
Llama4はMoEを採用し対応したモデル。テキスト、画像入力のearly fusionで学習。Scout, Maverick Behemothの3モデルからなる(技術詳細は後述)
Scoutは109Bパラメータ、17Bアクティブ(16エキスパート)であり4bit量子化した際は1GPUに収まり、10Mコンテキストに対応。40Tトークンで学習
Maverickは128エキスパート、400Bパラメータ、17Bアクティブ(128エキスパート)であり1ホストに収まる。SparcityはDeepseek V3の半分(1つのshared expertと1つのexpertを選ぶ)。22Tトークンで学習
Maverick、2TモデルからなるBehemothからなり、16エキスパート。学習中で未公開。Behemothの蒸留先目標としても使われている
Scoutは10Mコンテキストを達成した。この達成に重要な役割を果たしたのは次の2つ
・位置符号化器を使わない層を交互に挟む。Transformerは位置符号を使わなくてもcausality maskで自分の位置をできるようになっており、Bag of wordsと同じように把握できる。これをiRopeとよんでいる。
・また推論時に注意機構の温度を変え注意が一様になるのを防ぐ(中西さんのScaleble-softmax論文で提案された手法)。従来は系列が長くなると注意が消失するが温度を変え、正規化前のlogitが一定値を超えさえすれば注意が高くなるようにする
これらの工夫により、学習自体は256kで行っても、10MのNeedle-in-a-haystackで成功したと報告。
MoEはdeepseek MoEと同じように常に採用するshared expertとそれ以外からなる。
事後学習はオンラインRL(R1と同じ)を導入し、軽いSFT, オンラインRL, 軽いDPOとした。
従来のSFT, DPOがモデルを必要以上に制約してしまうことから、50%の簡単だと判定された問題を捨てて難しい問題だけを利用。
また、オンラインRLのときはモデルにとって中程度ぐらいから難しいと判定された問題だけを残すようにした。
Behemoth学習では32k GPUを使いFP8で学習、390T FLOPS/GPUを達成。
推論コストあたりの性能比較でみて、Deepseek v3.1と同じぐらい。
おそらくtechreportが出るのでまたその時に読んでみる
みぃ🍵 retweeted
min_z + SSMax could theoretically be the most info-theoretical-efficient sampler out there
xitter.cf/menhguin/status/188938…
Replying to @minhnguyen
since this is popping off:
1. made a new sampler, min-z: z score(logits threshold) = z score(max) * base % . been pretty ass at setting up + testing properly if anyone wants to try
2. im building new interpretable models
3. applying for PhD next year
github.com/menhguin/vllm/blo…
みぃ🍵 retweeted
ssmaxシンプルで良い
arxiv.org/abs/2501.19399
みぃ🍵 retweeted
→ Softmax in Transformer attention layers causes attention fading as context size grows.
→ Attention fading reduces the model's ability to focus on key information in long contexts.
This paper introduces Scalable-Softmax (SSMax) to fix attention fading in Transformer LLMs. Attention fading occurs because standard Softmax flattens attention distribution as context length increases, hindering focus on key information in long contexts.
→ SSMax can be easily integrated into existing Transformer architectures with minimal code changes.
-----
📌 SSMax directly tackles the softmax's inherent flaw in long contexts. By scaling with input size 'n', it maintains attention sharpness, preventing information loss in lengthy sequences. This is a crucial architectural improvement.
📌 The elegance of SSMax lies in its minimal integration cost. A simple scalar multiplication in the attention calculation yields significant gains in long-context tasks. This plug-and-play nature is highly practical for immediate adoption.
📌 Empirically, SSMax models show tangible benefits: lower loss, better long-context generalization, and superior key information retrieval. These results strongly validate SSMax as a robust and effective softmax replacement for current LLMs.
----------
Key Insights 💡:
→ Experiments showed that learned parameters in modified Softmax formulation follow a logarithmic relationship with input vector size.
→ This observation motivated the design of SSMax with 'log n' component.
→ SSMax enables models to maintain focus on key tokens even in long contexts, unlike standard Softmax.
→ Models using SSMax from the start achieve better length generalization, but replacing Softmax with SSMax later also provides improvement.
-----
Results 📊:
→ SSMax models achieved approximately 0.008 lower training loss compared to standard Softmax models.
→ SSMax models maintained lower test loss in context sizes up to 20,000, while Softmax model's loss significantly increased.
→ In Needle-In-A-Haystack test, SSMax model retrieved key information accurately even at 10x training context length, while Softmax model failed.
→ Attention score analysis showed SSMax models allocate significantly higher attention scores to key tokens compared to Softmax models.
みぃ🍵 retweeted
🚀 Exciting news from Mike Young! The new Scalable-Softmax (SSMax) attention method enhances performance for long texts, outperforming traditional softmax. A game-changer for AI models in complex scenarios! #AI #MachineLearning #Transformers #TechInnovat… ift.tt/ZVaCTLK
みぃ🍵 retweeted
Everyone: lets make attention super complex with fancy math
This paper: what if we just...scaled the softmax better? 🤔
*proceeds to absolutely crush baseline results*
Sometimes the simple fixes hit different 🎯
aimodels.fyi/papers/arxiv/sc…
みぃ🍵 retweeted
[2501.19399] Scalable-Softmax Is Superior for Attention
🙇♂️🙇♂️ arxiv.org/abs/2501.19399
みぃ🍵 retweeted
[CL] Scalable-Softmax Is Superior for Attention
K M. Nakanishi [The University of Tokyo] (2025)
arxiv.org/abs/2501.19399
みぃ🍵 retweeted
Single author paper, but big if true arxiv.org/pdf/2501.19399






























