YutoSeta@AI個人開発するのでお小遣いください

【AIの性能を下げずに使う方法】 そのまま同じチャットでAIに指示を出すよりも、 新しいチャットで整理して指示を出しなおすほうが性能が落ちません。 「AIと対話しながら要件を詰めて、そのまま同じチャットで作らせる」AIの性能を約40%も下げてしまっています。 最新の論文と検証データが示す「LLMの指示追従限界」と、性能を最大化するプロンプトワークフローをまとめました。 ━━━━━━━━━━━━━━━━━━━ ■ 1. サマリ（結論） ━━━━━━━━━━━━━━━━━━━ ・対話形式で段階的に要件を足していくと、過去のログに引きずられてAIの精度は平均39%低下する ・最善手は「決定した要件を1つの仕様書にまとめ、新規チャットでゼロショット実行する」こと ・ただし1度に渡せる指示数は推論モデルでも「約150個」、厳密な制約なら「10個」が限界 ・大規模な成果物は、新規セッションで設計を確定させた後「モジュール別に再分解して生成」が鉄則 ━━━━━━━━━━━━━━━━━━━ ■ 2. 根拠となる最新研究と検証データ ━━━━━━━━━━━━━━━━━━━ ① マルチターン対話でAIは「迷子」になる （Microsoft / Salesforce Research, 2025） 主要LLM 15種を検証したところ、最初から全要件を1ターンで渡した場合は平均正答率90%だったのに対し、対話形式で段階的に要件を開示すると平均65%まで急落（-39%の性能低下）。 LLMは序盤の不完全な情報で勝手に「早まった仮定」を立て、後からユーザーが追加指示を出しても過去の出力ログに強く依存して軌道修正できなくなる（信頼性が112%悪化）ことが実証されています。 ② ゼロショットで同時に追従できる指示数の限界 （Distyl AI / IFScale, 2025） フロンティアモデル20種に対し、最大500個の指示を与えたベンチマーク検証： ・推論モデル（o3、Gemini 2.5 Pro等）：約150個まではほぼ100%追従（閾値減衰）。しかし200個を超えると急激に不安定化し、500個では最高モデルでも達成率68%まで低下。 ・非推論モデル（GPT-4.1、Claude Sonnet 4等）：指示数が増えるにつれて初期から直線的に精度が落ち、指示の「完全な抜け落ち（Omission error）」が頻発。 ・初頭効果の罠：150〜200個の指示密度では「プロンプト前半の指示ばかり守られ、後半が無視される」現象がピークに達する。 ③ 複合制約の「指示の呪い」 （ManyIFEval, 2025） 文字数制限・出力フォーマット・禁止事項など、相互に干渉する厳密な制約は「わずか10個重なるだけ」で全制約の同時クリア率が指数関数的に低下。 ④ コンテキストの腐敗（Context Rot） （Anthropic Engineering, 2025） コンテキスト長が100万トークンに拡大しても、Transformerの計算構造上、入力トークンが増えるほどアテンション予算が希釈される。不要な過去ログを抱えたままの指示は明確な精度低下を招く。 ━━━━━━━━━━━━━━━━━━━ ■ 3. 性能を最大化する実践ワークフロー ━━━━━━━━━━━━━━━━━━━ 1. 【壁打ち】通常通りチャットで対話し、要件やアイデアを詰める 2. 【仕様化】スレッドの最後に「決まった全要件・制約をMarkdown仕様書として1つにまとめて」と指示 3. 【リセット】過去ログを破棄し、【新規チャット】を開いて仕様書を貼り付ける 4. 【骨子確定】いきなり全文を書かせず、まずは全体構成・目次・インターフェースだけを出力 5. 【分割実行】章ごと・機能ごとに「共通ルール＋その部分に必要な制約（10〜20個）」を渡して個別に生成 ━━━━━━━━━━━━━━━━━━━ ■ 4. 参考文献・一次ソースURL ━━━━━━━━━━━━━━━━━━━ ・LLMs Get Lost In Multi-Turn Conversation（対話による性能低下の実証） arxiv.org/abs/2505.06120 ・How Many Instructions Can LLMs Follow at Once? / IFScale（指示密度の限界ベンチマーク） arxiv.org/abs/2507.11538 ・Curse of Instructions / ManyIFEval（複数指示における制約追従性の崩壊） openreview.net/forum?id=R6q6… ・Effective context engineering for AI agents（Anthropic公式のコンテキスト設計指針） anthropic.com/research/effec…

やられたなあ🤧 個人開発者として悔しい💢 シンプルなプログラムをスピーディーに、公開。 ドーパミンハックしてもなお、便利。 muse-invite.bokuwalily.worke…

全員返信するので、リプライでつくってるゲームをURLで教えて貰えたら、自分にできることで何かしらサプライズのプレゼントを返信します！(感想、アドバイスなど含む) せっかくなので、いいね♥️とかフォローしあう🫂だけで終わるのももったいないよね、何かしたいです。 このポストでありがたいことに急にフォロワー５０人くらい増えました。いいね、も７０個くらいつきました。 #個人開発 #個人開発者と繋がりたい #アプリ開発者と繋がりたい #ゲーム開発者と繋がりたい #buildinpublic #indiehackers