Leon Sick

On-Policy Self-Trainingは、LLMが自ら問題と解答・推論過程を生成し、外部の正解データや強力な教師モデルを使わずに、自らの能力を改善できることを示した。 “On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models” まず、代数学、物理学、常識推論などの大まかなトピックを与え、問題・解答・推論過程を生成させる。 次に、生成した問題について、解答の再現性や問題文を言い換えた場合の解答の一貫性を確認する。さらに、学習対象のモデルが既に安定して解ける簡単な問題を除外し、学習に有効なデータを選別する。 生徒モデル（Student）には問題のみを与えて解答を生成させる。一方、教師モデル（Teacher）には、問題に加えて自己生成した解答や推論過程をPrivileged Informationとして与える。 そして、生徒モデルが実際に生成した推論過程の各ステップにおいて、教師モデルの次トークン予測分布に近づくように学習する。 教師モデルには、生徒モデルの重みの指数移動平均で更新するEMA Teacherを利用し、学習を安定化させる。 この工夫により、生成した問題の解答や推論過程が不完全あるいは不正確であっても、通常のSFTやGRPOよりも効果的に学習できることを示している。 小規模なGemma 4 E2B / E4Bに適用した結果、MMLU、GPQA、GSM8Kなどで数ポイントから最大10ポイント程度の性能改善が得られた。Qwen3-4B-Baseでも同様の改善が確認されている。 モデルが知らなかった事実を外部情報なしに獲得するというより、既存の知識や潜在的な推論能力を引き出し、増幅する手法といえる。 コメント === 強い外部教師モデルを使わず、自分自身を有利な条件で動かして学習目標を生成し、その目標を追加情報のない厳しい条件でも達成できるようにすることで、自己改善を図る手法がいろいろと提案されている。 私はこういう自分が進めば目標が進む手法を「馬にニンジンをぶら下げる手法」と呼び自己改善で重要な要素と考えているが、今回の手法も比較的単純な仕組みでありながら有効であることが示されている。 似たような手法は以前に研究したことがある。 例えば、生成過程の後半の結果を条件付けに利用し、それを知らないモデルに学習させるといった方法であるが、ここまでの効果はなかったが、今回の研究では、これに加えてデータの選別、EMAによる教師モデルの安定化、On-Policy Self-Distillationを組み合わせている点が重要だと考えられる。 条件付けに用いる解答や推論過程が必ずしも正確でなくても、直接それらを学習する場合よりも頑健に性能を改善できること、無理に間違った正解に引っ張らない部分が良いのだと思われる。 論文でも述べられている通り、この手法単体では、モデルが持たない新しい知識を獲得することは難しい。しかし、検証可能な報酬を用いる強化学習（RLVR）や報酬モデルなどと組み合わせることで、さらに効果的な自己改善につながる可能性がある。