Looped Transformerは、FFNがdenseのままだと通常のTransformerより性能が落ちる。しかしFFNをMoEにすると、ループごとに異なるエキスパートを選べるため、弱点のかなりの部分が解消される。 統制実験では、通常のTransformer（Base）、2回ループさせたTransformer（Looped）、通常のMoE（MoE）、2回ループさせたMoE（Looped-MoE）の4つを、計算量を揃えて比較している。その結果、性能は MoE > Looped-MoE > Base > Looped の順になった。 同じトークンが同じ物理層を1回目と2回目のループで通過する際、両方で同一のエキスパート集合が選ばれる割合はわずか4〜14%であり、多くの場合、一部または全部が別のエキスパートに切り替わっていた。 つまり、重みは共有していても、ループごとに異なるサブネットワークを使うことで、重み共有による表現力の低下を補っていると考えられる。 ただし、この実験設定で最も性能が高いのは通常のMoEであり、この規模の実験でのLooped-MoEの主な利点は、保存すべきパラメータ数を抑えながら、通常のTransformerを上回る性能を保てる点にある。 また、Looped Transformerでは各ループの終端が自然なEarly Exitの候補になる。途中のループで十分に確信度の高い出力が得られれば、残りのループを省略できる。このEarly Exitは、通常のTransformerやMoEで途中の層から抜ける場合と比較して、同じ計算量削減率でも性能劣化が大幅に小さかった。