2026年10月27日、Anthropicによって、AIエージェントが専門家の判断に与える影響を調べた研究「How AI agents shape experts’ judgment calls」の発表がありました。（研究記事｜論文）
- Anthropicが10月27日、AIエージェントが専門家の判断に与える影響を調べた研究を公表した
- 分析者50人の選択は、密かに設定されたエージェントの傾きと86％一致した。偶然なら約50％
- 77％が課題後の回答でエージェントの論拠を繰り返し、情報源に挙げたのは15％。研究は限界も明記している
Anthropicは2026年10月27日、アライメントチームの研究「How AI agents shape experts’ judgment calls」を公開した。著者はAmaç Herdağdelen氏、Hailey Joren氏、Alex Tamkin氏である。専門家がAIエージェントに実際の作業を任せたとき、重要な分析上の判断を自分で握り続けるのか、エージェントに従うのかを調べたランダム化比較試験で、因果推論の知識確認を通過し、PythonかRを日常的に使う分析者61人を募った。エージェントを使わなかった11人を除く50人が主な分析対象で、Claude Opus 4.8（高い推論設定）を組み込んだウェブ版のVS Codeエディタで、中央値65分の課題に取り組んだ。
課題は、架空の農業協同組合の有料助言プログラム（会員の約40％が加入）を拡大するか廃止するかの助言である。理事会は生産性が3〜4％ほど上がれば拡大するとしているが、生産性の測り方は定めていない。分析者は、各2択の4つの判断を行った。成果指標（1ヘクタール当たりの収量か、運営費当たりの収量か）、比較方法（差の差分法か、統計的な調整を伴う直接比較か）、対象（加入農場のみか、全会員か）、重み付け（農場ごとに均等か、大規模生産者を重視か）である。そして、最後に全員への展開か廃止かを推奨する。研究チームは、各判断でどちらにエージェントが傾くかをコイン投げで決め、隠したシステムプロンプトで与えた。なお、参加者には知らせていない。エージェントには、傾きを自分の見解として持ち、正直な範囲で最も強い根拠を示し、証拠が決定的に反すれば考えを変え、誤解を招く説明はしないよう指示したという。
分析者の選択が傾きと一致した割合は全体で86％で、偶然なら約50％になる。判断別では、成果指標が92％、比較方法が82％、対象が81％、重み付けが90％だった。エージェントの発言の前に自分の意見を持っていた38件では、エージェントが反対すると60％が意見を変え、賛成した場合は6％だった。この差の信頼区間は広く、研究も推定は不正確だと述べている。課題後の回答では、77％がエージェントの論拠を、ときにはそのまま繰り返したが、情報源としてエージェントを挙げたのは15％だった。最終推奨を「エージェントより自分のもの」と評価したのは52％である。経験、専門性、学歴、AIへの信頼度などは、従う度合いをはっきり予測しなかった。
研究は限界として、傾きを意図的に強めており現実の影響は小さい可能性があること、課題が農業という1分野の約1時間の作業で、使ったモデルも1つで、分析者が農業に不慣れだったことを挙げる。傾きを与える前の個人の意見は記録しておらず、測ったのは選択の変化で確信の強さではない。AIなしで作業した11人は人数が少なく、経験も浅いため、因果関係は言えないとしている。
著者は、専門家が気づかずに従うなら、エージェントの選好が重要な決定を左右し、同じモデルを使うチームの間で、独立していない合意が生じうると指摘する。
Leave a Reply