Chromeのレビューや開発に使ってる限りでもAIの指摘はまだ2〜3割は間違ってる。それも、数十のサブエージェントを使い6段のパイプラインで様々なチェックリストを使って検証して出した結果がそのレベル。 もちろん調査とかは爆速だけど、そこから出てくる仮説はまだまだだし、そもそもコンテキストが僕らと比べたらあまりにも小さすぎる。必要な情報が綺麗にコンテキストに揃った時しか正しい判断はできないのに、必要な情報が乗り切らないどころか、正しく集めることすら難しい。 AIを使って成果が出てるのは、本当の専門家が横について粗い回答について不審な点を洗い出し、この件は考慮した？あの話は知ってる？って質問詰めにしてコンテキストを煮詰めてあげるから出てくるのであって、AI自身の力で言えば、単にモノを沢山しっていて作業が速い……当初と変わらずそれだけってのが現実。作ったものが動かないんだ、客観的なデータだよね。 もし本当にAIの方が凄けりゃAnthropicから送られてくるパッチは非の打ち所がないはず。でも、全然そんな事はない。本当にAIの方が凄けりゃバグを見つけるだけでなく完璧に直してくれるはず。でも一番難しいバグを直すのは僕らだ。 来年のことはわからないけど、少なくとも今の最前線の現場はそんな感じ。たくさんのシニアが質の低い生成コードのレビューに悩まされてburn outしてる。