ハルシネーションとはAIが事実と違うことをもっともらしく答える現象(幻覚)。例、起きる理由、使う人ができる確かめ方【2026年10月版】
ハルシネーション(hallucination)は英語で「幻覚」の意味で、AIが事実と違うことをもっともらしく答える現象を指す。OpenAI・Google・Anthropicの公式ページはいずれも、起きることを認めている。筆者は2026年10月8日に3社の説明を原文で取り直し、OpenAIが2025年9月に載せた誤答率の表(26%と75%)とVectaraの要約テスト(2026年9月22日更新)の数字を確かめた。二次サイト経由の数字は元の研究や公開データまでたどり、測っているものがこの記事の話と違うものは削った。

目次
2026年10月8日・日本時間時点の情報です。 ハルシネーション(hallucination)とは、AIが事実と違うことをもっともらしく答える現象のことで、英語のhallucinationは「幻覚」の意味です。ChatGPT、Gemini、Claudeのどれでも起きることを、OpenAI・Google・Anthropicの公式ページが認めています。この記事では3社の説明を筆者が原文で取り直し、例、起きる理由、使う人が自分でできる確かめ方を順に書きます。
3行まとめ
- ハルシネーションは、OpenAIの公式ページ(2025年9月5日付)で「言語モデルが生成する、もっともらしく聞こえるが正しくない発言」と説明されている。英語のhallucinationは「幻覚」の意味。
- 実在しない論文や間違った日付を自信のある口調で答えるのが典型例。OpenAIは2025年9月の説明で、モデルの大きさや検索・推論の能力にかかわらず正確性が100%に達することはないと書く。
- 使う人ができる確かめ方は、人名・日付・数字・URL・引用を先に調べること、出典のリンクを自分で開くこと、資料を渡して「その資料だけで答えて」と頼むことなど。
ハルシネーションとは何か(意味)
ハルシネーションは、AIの答えのうち「もっともらしいのに、事実と違う部分」を指す言葉です。本来のhallucinationは、そこにないものが見える「幻覚」の意味で、AIが実在しないことを実在するかのように語る様子をたとえています。
各社の公式ページは、次のように説明しています。
| 会社 | 公式の説明(原文) | 載っている場所 |
|---|---|---|
| OpenAI | 「ハルシネーションとは、言語モデルが生成する、もっともらしく聞こえるが正しくない発言のことです。」 | 「言語モデルでハルシネーションがおきる理由」(2025年9月5日付) |
| OpenAI | "This phenomenon is often referred to as a hallucination: when the model produces responses that are not factually accurate"(訳:この現象はしばしばハルシネーションと呼ばれ、モデルが事実として正確でない答えを出すことを指す) | ヘルプ「Does ChatGPT tell the truth?」 |
| Google Cloud | 「AI のハルシネーションとは、AI モデルが生成する不正確な結果や誤解を招く結果のことです。」 | 「AI ハルシネーションとは」 |
| Google(Geminiアプリ) | 「Gemini アプリを含む LLM(大規模言語モデル)サービスは、「ハルシネーション」を起こし、不正確な情報を事実と錯覚して提示することがあります。」 | Geminiアプリ ヘルプのプライバシー ハブ |
| Anthropic | "Even the most advanced language models, like Claude, can sometimes generate text that is factually incorrect or inconsistent with the given context. This phenomenon, known as "hallucination,""(訳:Claudeのような最先端の言語モデルでも、事実と違う、または与えた文脈と食い違う文章を出すことがある。この現象は「ハルシネーション」と呼ばれる) | Claude Platform Docs「Reduce hallucinations」 |
LLM(大規模言語モデル)は、ChatGPTやGeminiやClaudeの中身にあたる、文章を作るAIです。LLMそのものはLLMとは、生成AIとの違いは生成AIとはで説明しています。
3社とも、起きることを前提に書いています。なお、Google Cloudのページは画像の診断や不正検知の誤判定も例に含めます。Geminiアプリのヘルプは、文章を作るLLMの話として書いています。この記事で「ハルシネーション」と書くときは、後者の文章の話を指します。
どんな間違いが出るのか(例)
公式ページが挙げている例を、分類して並べました。
- 事実や日付の誤り: OpenAIのヘルプは、例として「Incorrect definitions, dates, or facts」(訳:間違った定義、日付、事実)を挙げる。
- 存在しない出典: 同じヘルプは「Fabricated quotes, studies, citations or references to non-existent sources」(訳:作り上げた引用、研究、出典、実在しない資料への言及)を挙げる。Google Cloudのページも「存在しないウェブページへのリンクが作成されることもあります」と書く。
- 元の文書にない内容の追加: Google Cloudは、ニュース記事の要約を作るAIが「元の記事にはない詳細情報を含む要約」を作る例を挙げる。
- 自信のある口調の誤答: OpenAIは、人気のあるチャットボットに論文の著者の一人であるAdam Tauman Kalai氏の博士論文の題名を尋ねたところ「自信を持って3つの異なる回答が提示されましたが、どれも正しくありませんでした」と書く。誕生日を尋ねた時も3つの異なる日付が出て、どれも誤りだったという。
共通するのは、間違いに気づける目印が文面に出ない点です。OpenAIのヘルプも「Confidence isn’t reliability」(訳:自信ありげな口調は、正しさの目安にならない)と書いています。
使う人ができる確かめ方
ここからの手順は、公式の説明を踏まえた筆者の整理です。出典は各手順に添えました。
- 人名・日付・数字・URL・引用を先に調べる。 OpenAIの例(論文の題名、誕生日)のように、細かい事実ほど外れやすいからです。文章全体を疑うより、この5種類を拾って検索するほうが早く確かめられます。
- 出典を出させて、リンクを自分で開く。 OpenAIのヘルプは "Always verify quotes, data, technical information or references to external documents."(訳:引用、データ、技術情報、外部文書への言及は必ず確かめる)と書き、検索を使う時も「by visiting links directly」(訳:リンクを直接開いて)確かめるよう勧めています。リンクが開けない、開いても書いてある内容が違う、という場合は、その部分を使わないでください。
- 検索がオンかを確かめる。 ChatGPTは、入力欄の検索やdeep researchのアイコンがオンになっているか、答えにウェブの出典が付いているかで判断できるとOpenAIのヘルプは書きます。Geminiは、出典がある答えの下か中に[ソース]ボタンが出ます。Geminiアプリのヘルプは「すべての回答に関連リンクやソースが含まれるわけではありません」とも書くので、ボタンが無い答えはなおさら自分で調べます。
- 手元の資料を貼って「その資料だけで答えて」と頼む。 Anthropicの説明は、Claudeに「分からない」と言う許可を明示的に与えることと、資料にある文言をそのまま抜き出させてから答えさせることを勧めています。長い文書では、まず原文の引用を出させる方法です。
- 同じ質問を2回する。 Anthropicは「Best-of-N verification」として、同じ質問を複数回して答えを比べる方法を挙げ、答えが食い違えばハルシネーションの疑いがあると書きます。食い違いが出た部分だけを調べれば足ります。
- 重要な判断は一次情報で確かめる。 Anthropicは対策を並べたうえで、"they don't eliminate them entirely. Always validate critical information, especially for high-stakes decisions."(訳:完全にはなくならない。重要な情報、特に重大な判断では必ず検証する)と書きます。
OpenAIのヘルプは、使い方の基本として "Use ChatGPT as a first draft, not a final source."(訳:ChatGPTは下書きとして使い、最終的な情報源にはしない)と書いています。
なぜハルシネーションは起きるのか
公式の説明は、観点が少しずつ違います。
OpenAI(2025年9月)の説明は、「学習」と「採点」の2つの面から書かれています。 学習の面では、LLMは大量の文章で「次の言葉」を予測して学ぶので、スペルや括弧のように規則のある誤りはほぼ消えます。一方、ペットの誕生日のように「頻度の低いランダムな事実は、パターンからだけでは予測することができない」と書きます。採点の面では、多くのテストが正解数だけで点を付けるため、「分かりません」と答えるより当てずっぽうのほうが得点が高くなる、と書きます。OpenAIは、これを多肢選択式の試験にたとえています。空欄は0点、当てれば運良く点が付く、という仕組みです。研究論文(arXiv:2509.04664)の要旨も、同じ趣旨を書いています。
Google Cloudは、学習データの不足やかたよりと、「グラウンディング」の欠如を挙げています。 グラウンディングとは、AIの答えを現実の情報や資料に結びつけることです。Cloudのページは、これが欠けると「一見もっともらしく見えるものの、実際には事実と反する出力」が出ると書きます。
この記事のかつての版は、原因を「ソース検証の欠如」「自信過剰の傾向(RLHFの影響)」などの小見出しで説明していましたが、出典が示されていなかったため、出典のある上の2社の説明に置き換えました。
数字はどう読むか
「ハルシネーション率は何%か」は、何を測ったかで大きく変わります。公式に近い2つの数字だけ、条件つきで載せます。
事実を尋ねる問題での誤答率(OpenAI)。 OpenAIは、GPT-5のシステムカードにあるSimpleQA評価の表を載せています。
| 指標 | gpt-5-thinking-mini | OpenAI o4-mini |
|---|---|---|
| 棄権率(具体的な答えを出さない) | 52% | 1% |
| 精度(正解) | 22% | 24% |
| エラー率(不正解) | 26% | 75% |
OpenAIはこの表で、正解数だけを見るとo4-miniのほうが少し良く見えるが、エラー率は大きく違う、と説明しています。「分かりません」と言うか、当てに行くかで誤答の数が変わる、という例です。これは2モデルの、この評価での数字です。他のモデルや普段の質問にそのまま当てはめることはできません。
文書の要約での率(Vectara)。 Vectaraは、7,700件超の記事を要約させ、要約が元の文書と食い違う割合を「Hallucination Rate」として公開しています。READMEの更新日は2026年9月22日です。下の表は、ボードの最上位と、OpenAI・Google・Anthropic・xAIの主なモデル(各社の新しい世代のモデルを含む)を抜き出したものです。
| モデル | Hallucination Rate |
|---|---|
| antgroup/finix_s1_32b(表の最上位) | 1.8% |
| openai/gpt-5.4-nano-2026-03-17 | 3.1% |
| openai/gpt-6-sol | 6.5% |
| google/gemini-2.5-pro | 7.0% |
| openai/gpt-6-astra | 8.7% |
| openai/gpt-5.5 | 9.3% |
| anthropic/claude-haiku-4-5-20251001 | 9.8% |
| google/gemini-3.1-pro-preview | 10.4% |
| anthropic/claude-sonnet-4-6 | 10.6% |
| anthropic/claude-opus-4-7 | 12.0% |
| openai/gpt-5-high-2025-08-07 | 15.1% |
| xai-org/grok-4-1-fast-reasoning | 19.2% |
この表は、資料を渡して要約させる課題の結果です。「自分で知識を引き出して答える質問」の誤答率ではありません。また、取得した時点のボードに載っているモデルだけで、最新のモデルがすべて載っているわけではありません。
以前の版にあった「最悪ケースで82%」は、SQ Magazineが「50%から82%(Natureの研究)」と書く数字でした。元の研究は、Nature系の学術誌Communications Medicineに2025年8月2日に載った論文です。架空の検査値や病名などを1つだけ混ぜた診療の事例文300件を6つのLLMに読ませ、その架空の内容をそのまま使ったり話を広げたりした割合が、モデルと条件によって50%から82%でした。わざと誤りを混ぜた条件での数字なので、普段の質問でのハルシネーション率として載せるのはやめました。ほかの二次サイトの数字も元のデータまでたどり、測っているものがこの記事の話と違うものは削りました。経緯は記事の末尾の「更新・訂正履歴」にあります。
ハルシネーションを減らす工夫
公式が挙げる方法は、AIに渡す情報を増やして推測の余地を減らす方向です。
- 検索や資料で根拠を与える。 OpenAIのヘルプは、検索で最新の情報をウェブから引いて出典つきの答えを作れると書きます。Google Cloudは、Agent Searchの資料でモデルを根拠づけるRAG(検索拡張生成)を挙げます。RAGの仕組みはRAGとはで書いています。RAGでもゼロにはならない点も、そちらにあります。
- 「分からない」と言う許可を出す。 Anthropicが最初に挙げる方法です。"Explicitly give Claude permission to admit uncertainty."(訳:不確かなことを認めてよいと、明示的に許可する)
- 引用を先に出させる。 Anthropicは、長い文書では先に原文の引用を抜き出させ、答えの各主張に引用を付けさせる方法を挙げます。引用が見つからない主張は取り下げさせる、という手順です。
- 資料の外の知識を使わせない。 Anthropicは、提供した資料だけを使うよう指示する方法(External knowledge restriction)を挙げます。
「温度(temperature)を下げる」という説明が以前の版にありました。温度はAPIを使う人が指定する、答えのばらつきの設定です。上で引いたOpenAIとAnthropicのハルシネーションの説明ページには、温度の項目はありません。別のページであるOpenAIのヘルプ「Best practices for prompt engineering with the OpenAI API」は、温度について "This, however, is not the same as “truthfulness”. For most factual use cases such as data extraction, and truthful Q&A, the temperature of 0 is best."(訳:温度を上げたときのばらつきは「正しさ」とは別のものだ。データの抽出や事実を答える質問など、事実を扱う多くの用途では温度0が最もよい)と書いています。一方、上で触れた診療の事例文の研究では、温度を0にしても誤りの率は66.5%で、標準の設定の65.9%から下がりませんでした。以前の版が書いた「0〜0.3程度」という幅は、本記事が当たった公式ページには見当たらなかったため削りました。
用途別の目安(筆者の整理)
公式の数字ではなく、筆者の整理です。
確かめる手間を省かないほうがよい用途
- 医療・法律・税務・お金の具体的な判断
- 論文や出典の引用
- 特定の人物の発言や行動の確認
比較的、間違いの影響が小さい用途
- アイデア出しや文章の下書き
- 自分で渡した文書の要約(原文と見比べられる)
- 動かして結果を確かめられるコードの修正
ただし要約も、Vectaraの表が示すように元の文書にない内容が混ざることがあります。
筆者が公式の画面を開いて分かったこと
筆者は2026年10月8日の1時10分ごろから、ログインせずにOpenAI・Google・Anthropicの公式ページを開きました。OpenAIの2つのページは、curlでは403(アクセス拒否)が返ったため、ブラウザで開いて本文を保存しました。
- OpenAIの説明ページは、日本語版(openai.com/ja-JP)に切り替わり、日付は「2025年9月5日」、音声版の長さは「8:12」と表示された。この記事が引くOpenAIの文はこのページのものです。
- OpenAIのヘルプ「Does ChatGPT tell the truth?」は、「Updated: 2 か月前」と表示された。具体的な更新日は画面に出ていないため、本記事では日付を書いていません。
- Anthropicのページは、docs.claude.comからplatform.claude.comへ移っていて、左の目次に「Reduce hallucinations」が出た。同じ目次に、現行のモデル別のプロンプトの手引きが並んでいた。
- Google Cloudのページは、日本語で取得できた。Geminiアプリのヘルプは、ハルシネーションの記述がプライバシー ハブの質問「データの処理に異議を申し立てる、または Gemini アプリの回答における不正確なデータの修正をリクエストする方法はありますか?」の中にあった。
最新モデルの率と、検索でどれだけ減るかは分かっていない
- Vectaraのボード(2026年9月22日更新)には、AnthropicのClaude Opus 5.5やOpenAIのGPT-6.1 Solのように、2026年10月時点で各社の公式ページに名前が出ている新しいモデルの一部が載っていない。それらのハルシネーション率を、この記事は示していない。
- OpenAIの2025年9月の説明のあとに、各社が説明や仕組みを変えた可能性は、本記事が取得した範囲では確認できなかった。
- 検索をオンにしたときに誤りがどれだけ減るかは、OpenAIのGPT-5のシステムカード(2025年8月13日付)に検索あり・なしの両方の数字があるが、差の大きさはテストとモデルによって違う。普段のChatGPTでの減り方を一つの倍率で示した公式の数字は、本記事が当たった範囲では見つからなかった。二次サイト(Suprmind)の「3〜5倍」は、測り方の違う2つの数字から出した倍率なので載せていない。
- Anthropicのページは、2026年10月8日時点で画面に出ていた英語版を読んだ。日本語版は確認していない。
原文を取得したページと取得時刻
- OpenAI「言語モデルでハルシネーションがおきる理由」2026-10-08 01:10 https://openai.com/index/why-language-models-hallucinate/
- OpenAIヘルプ「Does ChatGPT tell the truth?」2026-10-08 01:10 https://help.openai.com/en/articles/8313428-does-chatgpt-tell-the-truth
- Google Cloud「AI ハルシネーションとは」2026-10-08 01:10 https://cloud.google.com/discover/what-are-ai-hallucinations
- Geminiアプリ ヘルプ(プライバシー ハブ)2026-10-08 01:11 https://support.google.com/gemini/answer/13594961
- Geminiアプリ ヘルプ(関連ソースを表示する)2026-10-08 01:11 https://support.google.com/gemini/answer/14143489
- Anthropic「Reduce hallucinations」2026-10-08 01:10 https://platform.claude.com/docs/en/test-and-evaluate/strengthen-guardrails/reduce-hallucinations
- Kalai et al. arXiv:2509.04664 2026-10-08 https://arxiv.org/abs/2509.04664
- Vectara Hallucination Leaderboard 2026-10-08 https://github.com/vectara/hallucination-leaderboard
- OpenAI「GPT-5 System Card」2026-10-08 01:21 https://cdn.openai.com/gpt-5-system-card.pdf
- OpenAIヘルプ「Best practices for prompt engineering with the OpenAI API」2026-10-08 01:23 https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-openai-api
- Omar et al.(Communications Medicine、2025年8月2日公開)2026-10-08 01:21 https://www.nature.com/articles/s43856-025-01021-3
- SQ Magazine、Suprmind(二次。数字の確認用)
この記事でよく聞かれること
- ハルシネーションとは何ですか?
- ハルシネーションとは、AIが事実と違うことをもっともらしく答える現象です。OpenAIは「言語モデルが生成する、もっともらしく聞こえるが正しくない発言」と説明しています(2025年9月5日付の公式ページ)。英語のhallucinationは幻覚の意味です。
- ハルシネーションの意味は?日本語で言うと何ですか?
- 英語のhallucinationは「幻覚」の意味です。AIの文脈では、実在しない論文や間違った日付を、自信のある口調で答えることを指します。本記事が取得した日本語の公式ページ(OpenAI、Google Cloud、Geminiアプリのヘルプ)は、どれもカタカナでハルシネーションと書いています。
- ChatGPTやGeminiやClaudeでもハルシネーションは起きますか?
- 起きます。OpenAIのヘルプはChatGPTが常に正しいわけではない(it’s not always right)と書き、GoogleのGeminiアプリのヘルプはLLMサービスがハルシネーションを起こすことがあると書き、AnthropicはClaudeでも事実と違う文章を生成することがあると書いています(いずれも2026年10月8日に原文を確認)。
- AIの答えが間違っているかを自分で確かめるにはどうすればよいですか?
- 人名、日付、数字、URL、引用の5つを先に確かめます。AIに出典を出させ、リンクを自分で開いて、書いてある内容と照らします。OpenAIのヘルプも、引用・数字・技術情報は必ず確認し、重要な時はリンクを直接開くよう勧めています。
- ハルシネーションはなくせますか?
- 現時点では、なくなったと言える段階ではありません。OpenAIは2025年9月の説明で、GPT-5でもハルシネーションは発生すると書き、モデルの大きさや検索・推論の能力にかかわらず正確性が100%に達することはないとしています。同じ説明は、不確かな時に答えを控えればハルシネーションは防げる、とも書いています。Anthropicの説明も、対策で大きく減らせるが完全にはなくならないと書いています。
- ハルシネーションが起きやすい質問はありますか?
- OpenAIの説明は、ペットの誕生日のような頻度の低いランダムな事実はパターンから予測できず、ハルシネーションにつながると書いています。OpenAIのヘルプは、実在しない出典や、曖昧で複雑な質問への自信過剰な答えを例に挙げています。実例として、OpenAIは博士論文の題名を尋ねると自信を持った3つの異なる誤答が返り、誕生日を尋ねると3つの異なる誤った日付が返ったと書いています。
- ウェブ検索をオンにすればハルシネーションは減りますか?
- OpenAIのヘルプは、検索を使うと最新の情報をウェブから引いて出典つきで答えられると書いています。OpenAIのGPT-5のシステムカード(2025年8月13日付)は検索あり・なしの両方で誤りの率を測っていますが、差の大きさはテストとモデルによって違い、一つの倍率では言えません。出典つきの答えでも、リンク先を開いて確かめる手順は省けません。
- ハルシネーション率の数字はどこを見ればよいですか?
- テストの種類ごとに数字が違うので、一つの数字で比べられません。例えばVectaraの公開ボード(2026年9月22日更新)は文書の要約での率で、OpenAIが載せた表は事実を尋ねる問題での誤答率です。何を測った数字かを必ず確認してください。
出典・参照資料
- 一次資料OpenAI「言語モデルでハルシネーションがおきる理由」(2025年9月5日付・日本語版。2026-10-08 01:10に取得) ↗
- 一次資料OpenAIヘルプ「Does ChatGPT tell the truth?」(2026-10-08 01:10に取得) ↗
- 一次資料Google Cloud「AI ハルシネーションとは」(2026-10-08 01:10に取得) ↗
- 一次資料Geminiアプリ ヘルプ「Geminiアプリのプライバシー ハブ」のハルシネーションの記述(2026-10-08 01:11に取得) ↗
- 一次資料Geminiアプリ ヘルプ「Geminiアプリの関連ソースを表示する」(2026-10-08 01:11に取得) ↗
- 一次資料Anthropic「Reduce hallucinations」(Claude Platform Docs。2026-10-08 01:10に取得) ↗
- 一次資料Kalai et al.「Why Language Models Hallucinate」arXiv:2509.04664(要旨。2026-10-08に取得) ↗
- 一次資料Vectara Hallucination Leaderboard(READMEは2026年9月22日更新。2026-10-08に取得) ↗
- 一次資料OpenAI「GPT-5 System Card」(2025年8月13日付。検索あり・なしの誤りの率とSimpleQAの表。2026-10-08 01:21に取得) ↗
- 一次資料OpenAIヘルプ「Best practices for prompt engineering with the OpenAI API」(温度の説明。2026-10-08 01:23に取得) ↗
- 一次資料Omar et al.「Multi-model assurance analysis showing large language models are highly vulnerable to adversarial hallucination attacks during clinical decision support」Communications Medicine(2025年8月2日公開。50%から82%の出どころ。2026-10-08 01:21に取得) ↗
- 二次資料SQ Magazine - LLM Hallucination Statistics(二次。82%の出どころを確認した) ↗
- 二次資料Suprmind - AI Hallucination Rates and Benchmarks(二次。数字の食い違いを確認した) ↗
更新・訂正履歴
- 出典5件をcurlで再取得し突合(AnyAPIのMedium記事のみHTTP403でアクセス不可、Wayback Machineにも記録なし)。(1)『Talkory.aiの2026年版比較報告によるとClaude4.6約4%・GPT-5.4約6%・Gemini3.1約9%・Grok約12%』という表は、frontmatterに載っているTalkory.aiの出典URL(Claude vs GPT vs Gemini: Accuracy Tested on 7 Tasks)を実際に確認したところ、その記事にはハルシネーション率のパーセンテージが一切含まれておらず、しかも記事内で明示的に『Grokはアーキテクチャが違うためこの比較ではテストしていない』と書かれていた。実際にこの記事が扱っているのは7タスク(医療/法律/コーディング/リサーチ/要約/数学/創作)でのタスク別勝者判定であり、その内容に差し替えた。(2)『GPT-5はウェブ検索なしだとハルシネーション率が3〜5倍(Talkory.ai)』も誤りで、この記述はSuprmindの記事に一字一句近い形で存在した(Talkory.aiには存在しない)ため、出典をSuprmindに訂正した。(3)『Suprmindの報告でgpt-4.1、gemini-3-pro、claude-opus-4.1などが17%程度(Suprmind)』は、'claude-opus-4.1'という表記がSuprmindの記事のどこにも見当たらず(4.5/4.6/4.7/4.8はあるが4.1は無い)、17%という数字も文脈の異なる複数の統計(Grokのガバナンス職増加率や法律AIツールの誤り率など)と混同していた可能性が高いため、実際にSuprmindが報告している複数の評価軸の数値に置き換えた。(4)AnyAPIのBullshitBench(Claude Sonnet 4.6が91.0% Green Rate/3.0% Red Rate)は、再検証時にHTTP403でアクセスできずWayback Machineにも記録がなかったため『確認できなかった』旨を追記した。3行まとめ・excerptも上記修正に合わせて数値表現を削除・修正した。
- 2026-10-08の作り直しで、二次サイトの数字を元の研究や公開データまでたどって確かめ直した。(1)「最悪ケースで82%」は、SQ Magazineが「50%から82%(モデルと促し方による、Natureの研究)」と書く数字だった。元の研究は、Nature系の学術誌Communications Medicineに2025年8月2日に載ったOmarらの論文で、架空の検査値や病名などを1つ混ぜた診療の事例文300件を6つのLLMに読ませ、その架空の内容をそのまま使ったり話を広げたりした割合が、モデルと条件によって50%から82%だった。わざと誤りを混ぜた条件での数字で、普段の質問での率ではない。以前の版の「知識外の専門領域の質問を指していると考えられる」は推測で、研究の条件とも違っていたため、82%の節ごと削除し、本文で研究の条件を説明した。(2)AnyAPIのBullshitBench(91.0%)は、AnyAPIの記事が2026年10月8日もHTTP 403で読めなかった。ベンチマークの公開データ(GitHubのpetergpt/bullshit-benchmark)によると、BullshitBenchは意味の通らない質問に前提の誤りを指摘できるかを測るもので、v2の集計表ではClaude Sonnet 4.6(reasoning=high)のgreen_rateが0.91、red_rateが0.02だった。以前の版の「Green Rate=正確な情報を提供した割合」という説明はこのベンチマークの中身と違い、ハルシネーションの率とも測るものが違うため、本文から削除した。
- (承前)(3)Talkory.aiの7タスク比較表(Claude 4.6・GPT-5.4・Gemini 3.1)は、現行の世代より古く、ハルシネーションの率でもないため削除した。(4)以前の版の「Vectaraの新データセットでGrok-4-fast-reasoning版は20.2%」「旧データセットでGPT-4.1が2.0%」は、Vectaraの公開ボード(新は2026年9月22日更新、旧は2025年10月16日更新)の数字と一致しており、誤りではなかった。作り直しでは、Suprmind経由の文の代わりに新しいボードから直接取った表を載せた。表にあるGrokの19.2%は、別のモデル(grok-4-1-fast-reasoning)の数字である。(5)「ウェブ検索なしだと3〜5倍に跳ね上がる」はSuprmindの記述。Suprmindが同じ記事で挙げる「47%から9.6%」は、OpenAIのGPT-5のシステムカード(2025年8月13日付)では、ウェブ検索なしのSimpleQAでの誤答率(gpt-5-mainで0.47)と、検索ありでChatGPTの実際の利用に近い質問に答えたときに事実の主張に誤りがあった割合(gpt-5-mainで9.6%)という、測り方の違う2つの数字で、Suprmind自身も直接は比べられないと書いている。システムカードに3〜5倍という記述は見当たらなかった。このため倍率は削除し、OpenAIのヘルプの説明(検索で出典つきの答えを返せる)に置き換えた。
- (承前)(6)「RLHFで訓練されたモデルは確信を持った回答を出しやすい」は出典のない説明だったため削除し、OpenAIの2025年9月の説明(評価の採点が推測を有利にする)に置き換えた。(7)「Temperatureを0から0.3程度に設定する」の「0.3」までの幅は、本記事が当たった公式ページには見当たらなかった。OpenAIのヘルプ(Best practices for prompt engineering)は、事実を扱う多くの用途では温度0がよいとしつつ、温度は正しさと同じではないと書く。(1)の研究では、温度0にしても誤りの率は下がらなかった。このため幅の数字は削り、本文に公式の説明と研究の結果を書いた。(8)関連記事へのリンクと、よく聞かれる質問8問を足した。冒頭を検索の言い方(ハルシネーションとは・意味)に合わせて書き直した。
この記事の解説動画
YouTubeで見る ↗大きいニュースはYouTubeでも解説しています。Xでは新着記事をお知らせしています。
コメント
まだコメントはありません。最初のコメントを書いてみませんか?
AIについて聞きたいことはありますか?
質問箱で無料で受け付けています。回答は公開され、他の方の参考にもなります。
質問箱を見る →