A/Bテストの結果を、本物のユーザーに見せる前にLLMだけで7〜9割当てられるようになったという報告です。 Amazonの研究者らによるもの。 やり方は、 1. 実際のユーザーの行動履歴（閲覧パターンなど）を集める 2. LLMに約1000人分の「仮想の顧客」を作らせる 3. 仮想顧客たちにデザイン案AとBを見せて「1〜10点でどちらが好きか」を答えさせる 4. その集計で実際のテスト結果の方向を予測 40件の実際のA/Bテストで検証したところ、クリック率の予測は75％、登録率の予測は80〜90％の精度で当たったそうです。 ※ただし得意なのは「どちらのデザインが良いですか」と2案を並べて聞く形式でした（重要）。 なお、自社の顧客データがなくても、公開データから作った仮想顧客で同等以上の成績が出たと報告しています。 一方で、年齢や性別などの属性情報だけで作った仮想顧客は精度が大きく下がり、行動の記録があるかどうかが決め手になっています。 研究者らは、これは本物のテストの代わりではなく、明らかに見込みのない案を事前にふるい落として実験の順番を決めるためのツールだと位置づけています。