ぼくはある1点の違いで、CNN（畳み込みニューラルネット）が現在のTransformerのように覇権を握る世界線があったのでは？と思っている。 これは単なる憶測だし、実際はもっと複雑な話かもしれない。 だから、仮説や思考実験として聞いてほしい。 当時、最先端のモデルはまず翻訳タスクでベンチマークする風潮があった。 理由は単純で、大規模かつ高品質な共通データセットが簡単に手に入り、性能を自動評価する手法も確立していたから。 2016年後半にはLSTM+AttentionやCNN+Attentionベースの改良モデルが次々と発表されていた。 その最中、AttentionオンリーのTransformerが登場し、当時のベンチマークで1位を獲得した。 さらに、著者によってTransformerのコードが公開され、機械翻訳の研究で広く使われるようになった。 だが、その数か月後、機械翻訳においてもう一つの重大な出来事が起きた。 DeepL翻訳の登場である。 DeepL翻訳は当時、日本語には対応していなかったが、ベンチマークでTransformerを圧倒する成績を叩き出した。 ぼく自身、Transformerの登場を上回る衝撃を受けたことを覚えている。 機械翻訳の研究室にいたぼくの耳にも、「Google翻訳チームでは大問題になっている」という話が届いていた。 しかし、DeepL社はある意味、世界を変えうる重大なミスを犯した。 彼らはDeepL翻訳に使われたモデルやコード、論文を一切公開しなかったのだ。 当時のAIコミュニティは、今よりもずっとオープン志向が強かった。 それなのに、モデルの種類すら明かさないというのは強気なスタンスだった。 結果、ぼくを含む多くの研究者は、DeepL翻訳の内部にTransformerかその改良版が使われていると考えていた。 そのため、Transformer一強の流れには何の影響も与えなかった。 しかし、数年後に判明した事実は、ぼくらの予想を裏切るものだった。 DeepL翻訳にはCNN+Attentionが使われていた。 DeepL社の強みは、OpenAIがスケーリング則を発見する3年前から、「ディープラーニングはデータ量と計算量の勝負だ」と気づき、実践していた点にあった。 彼らはもともと対訳文検索サービスを運営しており、独自の大規模かつ高品質なデータセットを持ち、大規模GPUクラスターも所有していた。 そのため、仮にコードが公開されても、DeepL翻訳を模倣するのは容易ではなかった。 もし彼らがCNNを使っていることやコードを公開していたとしても、彼らのビジネスに悪影響はなかっただろう。 むしろ、AIコミュニティへの貢献として評価され、彼らのCNNの実装がTransformer以上に研究で使われるようになり、デファクトスタンダードになっていた可能性がある。 それほどまでに、DeepL翻訳のベンチマーク結果はインパクトがあった。 しかし、DeepL社はおそらくGoogle翻訳を警戒していたのだろう。 論文やコード、さらにはCNNを使っている事実すら公表しなかった。 その結果、Transformerの牙城を崩せる最初で最後のチャンスは失われた。 その後、BERTやGPT-2が登場する頃には、機械翻訳の研究ではTransformerをベースにする風潮が定着していた。 つまり、Transformer覇権は時間の問題となり、その流れが加速しただけだった。 もちろん、Transformerが機械翻訳以外の領域で普及する決め手となったのは間違いなくBERTの登場だろう。 仮にDeepL社のCNNが普及していたとしても、GoogleがBERTで自社の発明であるTransformerを採用した可能性は否定できない。 それでも、Googleは同時にCNNも検証していたはずである。 BERTの優位性は「大規模テキストデータによる教師なし学習」であり、「モデルそのもの」ではなかったから。 そのため、CNNとTransformerのベンチマーク結果に大差がなかった可能性も十分考えられる。 さらに、BERTの普及を支えたのは、実質的にHugging Faceの「pytorch-pretrained-bert」（現：transformers）ライブラリだった。 DeepL社のCNNが普及した世界線で、GoogleのTransformer推しが同じように成功していたかは、もはや神のみぞ知る話。 最後に余談だが、現在からTransformerの覇権を崩すのは不可能に近いと思う。 現在のTransformerの覇権を支えているのは、もはやその性能ではなく、ディファクトスタンダードであるという事実だから。 仮にTransformerより10倍優れたモデルを発明したとしても、状況をひっくり返すのは極めて難しい。 なぜなら、現在AI分野でそのレベルの発明を成し得る天才たちは、すでにアーキテクチャそのものには関心を持っていない。 Transformerの著者がほぼ全員がスタートアップを起業しているのが良い証拠。 訓練と推論のスケーリング、指示チューニング、検索拡張、思考の連鎖といった技術が、圧倒的に出力の改善につながると分かっている現在、アーキテクチャ改良にリソースを注ぐのは、コストパフォーマンスが悪すぎる。 Q&A 「画像認識でも、CNNよりTransformerが高性能なんだから、いずれ置き換わったのでは？」 その可能性はある。しかし、画像認識でVision TransformerがCNNを上回るまでには3年かかっている。 その間、翻訳や自然言語処理ではTransformerに最適化された要素技術が発展を続けた。 「発展が止まったCNN」VS「進化を続けたTransformer」という背景は無視できない。 「スケーリング則はTransformerにしか適用できないから、いずれ優勢になったのでは？」 スケーリング則の元論文ではTransformerとLSTMだけが検証され、LSTMには適用できないことが示された。しかし、CNNは検証されていない。 思い返すと、OpenAIがCNNを除外したのは少し不可解。実はCNNも実験していて、「方針に反する結果」が出たから無視された……そんなドラマがあっても面白いなと思う。 最近の研究を追えていないので、もしかしたらCNNのスケーリング則を研究した論文が見つかるかもしれない。

ぼくがまだ学生でTransformerの論文解説を日本で初めて書いてから7年が経った この頃はDeep Learningにのめり込んでいたというか、数学的に理解したい衝動に取り憑かれていたな