「GPT-4は司法試験で上位10%」の脚注に、著者自身が「68〜90パーセンタイル」と書いていた──原論文とその訂正を読む

GPT-4が司法試験で「上位10%」に入った、という言い方を見たことがあると思う。震源とされる論文——Daniel Martin Katz、Michael James Bommarito、Shang Gao、Pablo Arredondoの4名による「GPT-4 passes the bar exam」（Philosophical Transactions of the Royal Society A、2024年2月26日公開）——を、Wayback Machine保存版から実際に取得し、脚注と利益相反の開示欄まで含めて読んだ。

結論から書く。論文本文はたしかに「90パーセンタイルに近づく（approaching the 90th percentile）」と書いている。だが同じ論文の脚注5は、査読を経た最終版（2024年2月公開）で「68パーセンタイルから90パーセンタイルの範囲と考えるほうがよい」と、著者自身が範囲に書き直している。しかもこの書き直しは、他の研究者からの再検証を受けたものだと脚注自身が名指しで明記していた。利益相反の開示欄を数え直すと、対象は著者4名全員。2名はCasetext（後にThomson Reutersが6.5億ドルで買収）、残る2名は273 Ventures——著者自身が経営に関わる法律AI企業である。

• 原論文の脚注5（Royal Society公開版、2024年2月26日、doi:10.1098/rsta.2023.0254）は「raw 297 UBE as falling within a range between 68th and 90th percentile」と明記し、本文の「approaching the 90th percentile」を著者自身が範囲に修正している
• この修正はEric Martínez氏の再検証論文（SSRN、2023年5月／Artificial Intelligence and Law誌、2024年）への応答で、Martínez氏はさらに「合格者に限れば約48パーセンタイル、エッセイ科目だけなら約15パーセンタイル」という数字も示していた
• 利益相反開示の対象は著者4名全員（Casetext所属2名、273 Ventures所属2名）。「上位10%」を最初に広めたのは論文自身ではなく、論文より11ヶ月早いOpenAIのGPT-4発表ブログ（2023年3月14日）だった

脚注5だけ、本文とトーンが違う

royalsocietypublishing.org/doi/10.1098/rsta.2023.0254に直接curlすると403が返るため、Wayback Machine（2025年6月30日クロールのスナップショット）経由で取得し、HTMLタグを除去してテキスト化した。本文中の該当箇所は次の通りだ。

However, using a percentile chart from a February 2018 exam administration (which is generally available online), ChatGPT would receive a score below the 10th percentile of test-takers while GPT-4 would receive a combined score approaching the 90th percentile of test-takers.

（訳）2018年2月実施回の試験のパーセンタイル換算表を使うと、ChatGPTは受験者の下位10パーセンタイルを下回り、GPT-4は90パーセンタイルに近い合計スコアになる。

ここまでは、よく引用される「90パーセンタイル」そのままの文だ。だが同じ脚注5は、この直後にこう続く。

However, it should be noted that this chart might not be the best approach to the estimation given the skew towards 'retakers' in the February exam administration [78]. While we are not fully convinced of the methodological approach taken in some subsequent analysis [78], we do agree that it would be better to consider the raw 297 UBE as falling within a range between 68th and 90th percentile (depending on the precise state and timing of the exam administration).

（訳）ただし、この換算表は2月実施回が「再受験者」に偏っているため、最良の推定方法とは言えない可能性がある[78]。ある後続の分析[78]が取った方法論には全面的には納得していないが、生スコア297点のUBEは68パーセンタイルから90パーセンタイルの範囲にあると考えるほうがよい、という点には同意する。

実際に原文を読むと、この訂正は自主的な補足ではなく、"[78]"という具体的な参照番号を持つ他者の批判に応じたものだと分かる。

[78]が指す論文を、たどってみる

脚注中の"[78]"が何を指すか、Crossrefのメタデータ（この論文の公式な参考文献リスト）で確認した。78番目のエントリは次の通りだ。

Martínez E. 2023. Re-Evaluating GPT-4's bar exam performance. Available at SSRN 4441311.

このSSRNページ（papers.ssrn.comは403のため、Wayback Machine保存版で取得）のアブストラクトには、Katz論文の脚注を書き換えさせた根拠がそのまま書いてある。

Second, data from a recent July administration of the same exam suggests GPT-4's overall UBE percentile was ~68th percentile, and ~48th percentile on essays. […] Fourth, when examining only those who passed the exam (i.e. licensed or license-pending attorneys), GPT-4's performance is estimated to drop to ~48th percentile overall, and ~15th percentile on essays.

（訳）同じ試験の直近7月実施回のデータでは、GPT-4のUBE総合パーセンタイルは約68パーセンタイル、エッセイ科目のみでは約48パーセンタイルだった。（中略）実際に試験に合格した者（弁護士資格取得者・取得予定者）だけに限ると、成績は全体で約48パーセンタイル、エッセイのみでは約15パーセンタイルまで下がると推定される。

Martínez氏の指摘の核は、Katz論文が使った「2018年2月実施回」の換算表が、7月の本試験に落ちて2月に再受験する層に偏っているという点にある。再受験者は平均点が低いため、そこと比べるとGPT-4の順位が相対的に高く見える。Katz論文の脚注5は、この指摘そのものには「全面的には納得していない」としながらも、結論部分の「68〜90パーセンタイル」という幅は受け入れた、という構図だ。なお、Martínez氏の数字自体も同氏の統計的仮定に基づく推定値であり、「唯一の正解」ではない——後述する。

利益相反開示を、数え直す

探査エージェントの所見は「著者4名中2名がCasetext所属で利益相反あり」というものだった。原文の著者一覧と利益相反開示欄を数え直すと、著者は4名。Shang GaoはCasetext, Inc.所属、Pablo Arredondoはスタンフォード大学CodeXとCasetext, Inc.の両方に所属——ここまでは所見の通り2名だ。だが残る2名、Daniel Martin KatzとMichael James Bommaritoも、Illinois Tech・CodeX・Bucerius Law Schoolに加えて「273 Ventures, LLC」に所属している。利益相反開示欄の全文は次の通りだった。

Conflict of interest declaration Two authors are affiliated with Casetext LLC which is a for profit legal technology company. Two authors are affiliated with 273 Ventures which is a for profit legal technology company.

つまり開示の対象は「著者4名中2名」ではなく「著者4名全員」だ。273 VenturesはKatzとBommaritoが共同創業した法律データ・AI企業で、単なる勤務先というより自身の事業体に近い。

Casetextの買収完了は、Thomson Reutersの2023年8月17日付プレスリリースで確認できた。

Thomson Reuters Corporation ("Thomson Reuters") (NYSE / TSX: TRI) announced today that it has closed on its previously announced acquisition of Casetext, Inc. ("Casetext")…for a purchase price of $650 million in cash.

（訳）Thomson Reuters社は本日、Casetext社の買収を完了したと発表した。買収額は現金6.5億ドル。

買収完了はKatz論文の査読誌公開（2024年2月26日）の半年ほど前。脚注5が訂正された時点で、著者2名の所属先（Casetext）はすでにThomson Reuters傘下だった計算になる。

「上位10%」を最初に言ったのは、論文より先だった

では「上位10%」という言い方自体は、どこから広まったのか。震源をKatz論文だと考えると時系列が合わない。OpenAIの公式GPT-4発表ブログ（2023年3月14日、Wayback Machine保存版で取得）には、次の一文がある。

For example, it passes a simulated bar exam with a score around the top 10% of test takers; in contrast, GPT-3.5's score was around the bottom 10%.

同じページのスコア表には「Uniform Bar Exam（MBE+MEE+MPT）298/400　GPT-4推定パーセンタイル：〜90th」とある。このページのHTML内には、試験結果の出典として"reference-bar-exam"という内部参照が埋め込まれており、その中身は「P. Arredondo (Casetext/Stanford CodeX), D. Katz (Stanford CodeX), M. Bommarito (Stanford CodeX), S. Gao (Casetext)」——後の査読論文と同じ4名が、Casetext所属の肩書き付きで記されている。Casetextとの関係自体は2023年3月時点で技術的には開示されていたが、脚注5にあたる「68〜90パーセンタイル」への訂正は、この発表から11ヶ月以上あとの2024年2月26日まで存在しなかった。

この「上位10%」表現は日本語圏でもそのまま広まっている。GIGAZINE（2023年3月15日）はこう書いている。

「GPT-3.5」をベースにしたChatGPTは「司法試験で下位10％に入る」という性能を有していましたが、GPT-4では「司法試験で上位10％に入る」という驚きの性能を発揮するとのこと。

同時期のNextBigFuture（Brian Wang、2023年3月14日）も同様だ。

The OpenAI GPT4 can score higher than 90% of law students writing the bar exam while the old version (GPT3) was in the bottom 10% of human bar exam test takers.

どちらの記事も、脚注5に相当する留保には触れていない。ただしこの2本は査読誌版（2024年2月）が存在する前の2023年3月14〜15日に書かれており、当時「不正確だった」とは言えない——その時点で参照できたのはOpenAIのブログの「90パーセンタイル」までだ。問題は、その後論文自身が範囲に訂正したにもかかわらず、「上位10%」という言い方が訂正なしで使われ続けている点にある。日本語のGoogleニュース検索でも、発表直後だけで日本経済新聞・Business Insider Japan・GetNavi web・ITmediaなど複数媒体が同じ表現を見出しに使っていた。

「通説が間違っている」とまでは言えない

原文の脚注と利益相反開示、Martínez氏の再検証を突き合わせて分かったのは、「Katz論文自身が査読誌版で本文の『90パーセンタイル』を『68〜90パーセンタイル』に訂正していた」ことと、「開示対象は著者4名中2名ではなく4名全員だった」ことの2点だけである。ここから言えないことを、はっきり書いておく。

まず、「原文にはこう書いてある」は「だから通説が間違っている」を意味しない。68パーセンタイルという下限でも依然として受験者平均より上であり、「GPT-4は司法試験で人並み以下だった」という主張が成り立つわけではない。訂正されたのは「90パーセンタイルという1点」から「68〜90パーセンタイルという幅」への修正にすぎない。

次に、Martínez氏の数字も同氏の統計的仮定に基づく推定値であり、「真の値」だと決着したわけではない。Katz論文自身も脚注5で「その方法論には全面的には納得していない」と留保を付けている。どちらが正しいかを判定するのではなく、著者自身が幅を持たせる訂正を行ったという事実を紹介しているにすぎない。

さらに、利益相反の開示だけでは、測定結果が歪められていた証明にはならない。開示自体は学術出版の標準的な手続きであり、隠さず明記している点はむしろ透明性の表れとも言える。この記事は「利益相反があるから信用できない」と結論するものではなく、「対象は2名ではなく4名全員だった」という数え直しの結果を報告するにとどまる。この論文が扱うのは2023年3月時点のGPT-4の性能であり、その後のGPT-4o・GPT-5世代や他社モデルには触れていない。「上位10%」の流通度についても、curlで見つかった数本の実例に基づく観測にとどまり、網羅的な調査ではない。

Katz論文とMartínez再検証、当時の日本語報道まで

• Katz, Daniel Martin / Bommarito, Michael James / Gao, Shang / Arredondo, Pablo「GPT-4 passes the bar exam」Philosophical Transactions of the Royal Society A（2024年2月26日、doi:10.1098/rsta.2023.0254）：https://royalsocietypublishing.org/doi/10.1098/rsta.2023.0254
• Martínez, Eric「Re-Evaluating GPT-4's bar exam performance」SSRN 4441311（初出2023年5月8日、Artificial Intelligence and Law誌 2024年掲載）：https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4441311
• Crossref メタデータ（doi:10.1098/rsta.2023.0254 の参考文献リスト、api.crossref.org経由）
• OpenAI「GPT-4」発表ブログ（2023年3月14日）：https://openai.com/research/gpt-4
• GIGAZINE「『GPT-4』発表、司法試験上位10％＆日本語でもめちゃくちゃ高性能＆画像処理もプログラミングも可能で『初代iPhoneと同等の衝撃』とも評される」（2023年3月15日）：https://gigazine.net/news/20230315-openai-gpt-4/
• NextBigFuture「GPT-4 Scores in Top 10% for Legal Bar Exam」（Brian Wang、2023年3月14日）：https://www.nextbigfuture.com/2023/03/gpt-4-scores-in-top-10-for-legal-bar-exam.html
• Thomson Reuters「Thomson Reuters Completes Acquisition of Casetext, Inc.」（2023年8月17日）：https://www.thomsonreuters.com/en/press-releases/2023/august/thomson-reuters-completes-acquisition-of-casetext-inc.html

いずれもcurl -sL -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)"で本記事執筆時点に取得し、HTMLからテキスト化して通読している。royalsocietypublishing.org・papers.ssrn.com・openai.comは直接curlでは403または未取得だったため、いずれもWayback Machine保存版で代替取得した。thomsonreuters.comは直接curlで取得できた。脚注の参照番号"[78]"は、Crossref API（api.crossref.org/works/10.1098/rsta.2023.0254）が返す参考文献リストで機械的に特定した。