Anthropic（アンスロピック）、専門家50人にClaude Code（クロード コード）を使わせた無作為化試験を公開分析の判断はAIの「傾き」に86%従った

Anthropic（アンスロピック）は2026年10月27日（現地の公開日。ページに時刻の記載はありません）、専門家がAIエージェントに仕事を任せたとき、重要な判断を自分で下しているのかを調べた研究を公開した。因果推論の経験を持つプロの分析者50人に Claude Code（クロード コード）で統計分析をさせたところ、AIにコイントスで割り当てた「傾き」に、4つの分析上の選択で平均86%の確率で従ったという。AIの入力が影響しないなら約50%になるはずだと、同社は説明している。

3行まとめ

1. Anthropic発表によると、分析者50人が4つの分析上の選択でClaude Codeの傾きに86%従った（影響がなければ約50%）。
2. 事後の説明で77%がAIの論拠を使い、AIが出典だと述べたのは15%。最終推奨を「AIより自分のもの」と見た人が52%いた。
3. 同社は、傾きを意図的に強めた設定で、課題は1つ・モデルはClaude Opus 4.8の1種類と限界も明記。AIを使うなという主張ではないと書いている。

本記事の内容は、日本時間10月28日3時台に公式ページで確認したものです。数字はすべてAnthropicの公式ブログ記事に基づくもので、同記事がリンクしている論文の本体は今回取得していません。

どんな実験だったのか

Anthropicの説明では、実験の舞台は架空の「Greenfields Farming Cooperative」という農業協同組合だ。会員農家の約40%が有料の助言プログラムに加入している。理事会は、生産性が約3〜4%以上改善するときだけプログラムを補助して拡大する。ただし生産性の測り方は指定されていない。分析者の役目は、拡大か廃止かを助言することだった。

同社は、そこに2つの合理的な選択肢がある分岐を4つ意図的に残した。

最終判断（全員に展開するか、廃止するか。1年間の延長案も可）がこの4つに続く。同社は、4つの選択はそれぞれ推定される生産性の向上幅を数ポイント動かしうると書いている。

仕掛けはこうだ。同社は分析者に見えないシステムプロンプトで、AIに「各分岐でどちらかを自分の考えとして持ち、その場面で述べ、データが許す限り強く主張する」よう指示した。どちらに傾くかはコイントスで決めた。一方で、証拠が決定的に反するなら考えを改めること、結果を偽ったりデータを隠したり数字の裏づけがない主張をしたりしないことも同じ指示に入れた。

参加者は61人を募集し、そのうち11人はAIを使わないことを選んだため、特に断りがなければ分析から除外された。残る50人の内訳は、65%が修士・博士の学位か6年以上の経験を持ち、90%が観察データによる因果推論について自己評価で「熟達」か「専門家」と答えた（アンケートに答えた48人中）。作業時間の中央値は65分。Webブラウザ版のVS Codeに組み込んだClaude Codeで、Claude Opus 4.8（High effort）が動いていた。

結果：何がどれくらい動いたのか

Anthropicによると、分析者の選択がAIの傾きと一致した割合は次のとおり。

最終判断への影響は小さかった。AIが「展開」に傾いたときに展開を推奨した分析者は54%、逆に傾いたときは36%だった（1年延長は「展開しない」に数える）。同社はその理由を、推定値が理事会の3〜4%の基準を超えるかどうかで推奨がほぼ決まるため、判断の余地が少なかったからだと見ている。ただし推定値そのものが、先の4つの傾きに左右されている。4つの傾きだけを使った統計モデルは、分析者の推奨の82%を当てた。常に最頻の推奨を当てずっぽうで答える場合は61%だという（延長を提案した人を除く）。

先に自分の好みを表明していた38件では、AIの傾きが自分の選択と反対だったときに60%が切り替え、一致していたときの切り替えは6%だった。差は54ポイントだが、38件という少なさのため95%信頼区間は24〜82ポイントと広い。同社は、先に好みを表明した人が他の人と違う性質を持っていた可能性も排除できないと注記している。

経験や専門性は、従う度合いを予測しなかった。同社は10項目（経験年数、因果推論の自己評価、学歴、クイズの点数、AIへの信頼、AIの利用頻度、思考を好む度合い、開放性、性別、年齢）を調べ、統計的に有意だったのは年齢（高齢ほど従う）だけだが、多重比較の補正をかけると消えたと書いている。

本人は「自分の判断」だと思っていたのか

事後アンケート（48人回答）で、最終推奨を「AIの推奨より自分のもの」と答えたのは52%、「大部分または全面的に自分のもの」と答えたのは35%だった。それでも、AIの傾きは選択を動かしていた。「自分のもの」と答えた群は選択がAIの傾き寄りに平均で約65ポイント動き、そうでない群は79ポイントで、同社は誤差の範囲内としている。

最終推奨への確信度（0＝コイントス、100＝職業上の評判を賭けられる）は、4つ全部でAIの傾きに従った人が平均71、それ以外が73だった。

事後に「なぜその選択をしたか」を書かせた場面では、分析者はAIとのやり取りを見返せなかった。それでも77%が少なくとも1問でAIの論拠を繰り返し、一語一句同じ場合もあった。AIを出典として挙げたのは15%だった。研究の主題を尋ねられて「AIの影響」と当てたのは48人中6人で、AIの傾きが操作されていたと疑った人はいなかった。

AIを使った群と使わなかった群

Anthropicは、これを「AIを使うことへの単純な警告話ではない」と書いている。AIを使わなかった11人のうち6人（55%）が結果を無効にする重大な方法論の誤りをおかしたのに対し、使った人では50人中3人（6%）だった。誤りは2つのAIモデルが指摘し、著者の1人がどちらの群かを知らずに確認した。使わなかった群は作業時間の中央値が90分で、使った群の65分より長かった。

ただし2つの群は比較できる条件ではない。使わなかった群は学歴や経験が相対的に少なかった。修士・博士は11人中4人（使った群は46人中24人）、分析職の経験が2年以下は11人中6人（同48人中15人）、因果推論に「熟達」以上と自己評価したのは11人中8人（同48人中43人）。同社は、結果の差が使うかどうかの選択で生じたかは断言できないと書いている。

筆者が公式ページを確認して気づいたこと

日本時間10月28日3時台に、公式ページ（HTTP 200）の本文を取得して読んだ。取得できたのは文字だけで、図そのものは確認できていないが、図の説明文には「4つの分析上の選択は62〜82ポイント動き、最終推奨は17ポイント動いた」と書かれていた。この数字は、本文の54%と36%の差（18ポイント）と1ポイントずれている。丸めの違いか集計の違いかは、今回取得した範囲では分からなかった。

また、図の説明には「5つの自由回答の判断」とある。数が合わないように見えるが、本文の研究設計の節にも「各分析者に示された5つの判断それぞれで、傾きをコイントスで決めた」とあり、4つの分析上の選択に最終推奨を加えた数え方だと同社のページ内で確かめられた。

日本の読者や仕事で使う人にとっての意味

Claude Codeの機能やプランの変更ではなく、研究の公開だ。今回取得したページには、日本での提供や料金に関する記載はない。実験は、Webブラウザ版のVS Codeに組み込んだClaude Codeで行われた。

Anthropicが示している含意は、おおむね次のとおりだ。

• 専門家は考えを固めてから作業に入るとは限らず、選択肢を比べながら考えを形づくることが多い。AIが片方の選択肢だけを強く論じると、その前提をそのまま採用しうる（同社は、分析者がすぐ従った理由の1つかもしれないとしている）。
• 複数のチームが同じ結論に達しても、全員が同じ好みを持つモデルに従っていれば、一致は独立した裏づけにならないかもしれない。
• AI安全性の研究でも、AIに実験を回させ分析させる動きがある。人間のレビューが独立した確認になるのは、その人の判断が自分のものである場合に限られる。

同社は、今後の研究の方向として3つを挙げている。判断を委ねている度合いを日常の仕事で測る方法、各選択肢の最善の論拠を示す、または先に専門家の意見を聞くといったエージェントの設計、そして専門家の承認を独立した判断の証拠とみなす制度の見直しだ。設計案については、判断の数が多いと負担が増え、AIの価値が薄れる可能性も同社自身が指摘している。

関連して、同社が自社の雇用変化とAIエージェントを調べた別の発表はこちらの記事で扱っている。

この結果をそのまま現実に当てはめられない理由

Anthropicが挙げている限界は4つある。

• 傾きを意図的に強めた。 AIに傾きを持たせ、はっきり口に出すよう指示した設定で、現実のAIが傾きを持つか、それを口に出すかで影響は変わる。傾きを指定しない場合、Claude Opus 4.8は同じ5つの選択を123回中112回で同じようにした、と同社は書いている。
• 課題・分野・モデルが1つずつ。 約1時間の農業分野の分析で、モデルはClaude Opus 4.8だった。分析者は因果推論の専門家だが農業は初めてで、実務なら分野の知識が深く、自分の見解も強く、関係者に聞き取りもできるため、影響が小さくなる可能性があると同社は書いている。
• 平均の影響しか分からない。 コイントスは分析者ごとに異なるため、傾きの平均的な効果は分かるが、個々の参加者がどれだけ影響されたかは言えない。AIが意見を述べる前の各人の見解も記録していない。
• 選択の強さは測っていない。 分析者がどちらを選んだかは記録したが、どれくらい強く好んだか、確信の度合いは測っていない。もともと強い意見がなかったから従った、という説明も成り立つと同社は認めている。

加えて、本記事はAnthropic自身の発表を基にしており、第三者の検証や追試は今回確認していない。また、論文PDFを取得して読んではいないため、論文にあってブログに書かれていない詳細（同社は「傾きのないAIは自前の好みが弱く、ユーザーに反論することもある」と書いている）の確認はできていない。

出典と確認時刻

• Anthropic「How AI agents shape experts’ judgment calls」（公開日 2026年10月27日、著者は Amaç Herdağdelen、Hailey Joren、Alex Tamkin）: https://www.anthropic.com/research/agents-judgment-calls
• 確認時刻: 日本時間2026年10月28日3時49分

本記事は続報があり次第更新します。