マルチモーダルAIとは文字だけでなく画像・音声・動画もまとめて扱えるAI。ChatGPT・Claude・Geminiで写真や声から使え、無料で試せる範囲もある。画像を読む機能と作る機能は別【2026年10月版】

2026年10月8日・日本時間時点の情報です。 マルチモーダルAI（multimodal AI・マルチモーダルエーアイ）とは、文字だけでなく画像・音声・動画など複数の種類の情報を、1つのAIで受け取ったり返したりできるAIのことです。公式ヘルプと料金ページによると、声で話しかける機能はChatGPT・Claude・Geminiの3社とも無料プランで使え、写真を入れて質問する機能もChatGPTとGeminiは無料プランから使えます（プランごとの上限あり）。ただし「画像を読めること」と「画像を作れること」は別の機能で、AIによって対応が分かれます。

3行まとめ

1. マルチモーダルAIは、テキスト・画像・音声・動画など複数の種類（モダリティ）の情報を扱うAIで、小学館のデジタル大辞泉は「複数の種類の情報を処理できる人工知能」と定義している
2. 2026年10月8日の公式ページでは、ChatGPTの画像入力は無料プランを含めて使え、Claudeには音声モード（beta・全プラン）、Geminiアプリには動画（無料は合計5分まで）と音声（同10分まで）のアップロード分析がある
3. OpenAIのGPT-6 Astraは入力がtextとimageで出力はtext、画像を作るのはGPT-Image-2.5 Sunburst。Claudeの現行モデルもtextとimageの入力でtext出力。「読む」と「作る」は別のモデルが受け持つ

「マルチモーダル」は「複数の形式の」という意味。AI以外の言葉にも付く

「マルチモーダル」は、AIの記事で見かける前から使われている言葉です。小学館の国語辞典『デジタル大辞泉』（コトバンク掲載）は、「マルチモーダル」を次のように説明しています。

多く複合語の形で用い、複数の、複数の形式の、複数の手段による、などの意を表す。「マルチモーダル生体認証」

同じ辞典は「マルチモーダルAI」を別の見出しにして、こう定義しています。

複数の種類の情報を処理できる人工知能。文章、音声、画像、動画などの情報を入力し、一度に処理できる機械学習のモデルをさす。

AIの話で「モダリティ（modality）」といえば、この情報の種類のことです。ソフトバンクの解説も「異なる種類の情報（モダリティ）」と書いています。文字は1つのモダリティ、画像は別のモダリティ、音声も別のモダリティ、という数え方をします。総務省の令和6年版 情報通信白書も、生成AIの説明で「テキスト、画像、映像等の多様な形式（マルチモーダル）のアウトプットが取得できるものである」と書いています。

1種類の情報だけを扱うAIは、同じ辞典では「シングルモーダルAI」（ユニモーダルAIとも）と呼ばれています。ソフトバンクの解説は、シングルモーダルAIを「1つのAIモデルにつき1種類のデータを処理する構成が一般的」と説明しています。

マルチモーダルAIで何ができるのか。身近な使い方

ソフトバンクの解説は、具体例として「スマートフォンのカメラで撮影した風景の画像とマイクから入力された音声の指示を同時に理解し、適切な回答をテキストや音声で応答する」ことを挙げています。

2026年10月8日に筆者が開いた公式ヘルプに書かれていた使い方を、サービス別に並べます。

表は、2026年10月8日の05:15〜05:26（日本時間）に開いたヘルプページとGeminiの料金ページの記載だけで作っています。表にない機能が無いという意味ではありません。

写真を入れて質問する手順（ChatGPTの例）

OpenAIのヘルプに書かれている手順は次のとおりです。

1. ChatGPTのメッセージ入力欄で「+」のアイコンを押す（原文：「Tap the + icon in the prompt area and select Add photos & files.」＝プロンプト欄の＋アイコンを押し、Add photos & files を選ぶ）
2. 写真を選ぶ。画像ファイルを入力欄にドラッグするか、コピーした画像を貼り付ける方法もある
3. 写真について聞きたいことを文字で書いて送る

同じヘルプは、画像入力の対象プランを次のように書いています。

Image inputs are available on Free and paid ChatGPT plans, subject to plan-specific usage limits and account settings.

（訳：画像入力は、Freeと有料のChatGPTプランで使える。プランごとの利用上限とアカウント設定に従う。）

Claudeは入力欄のメニューで「Add files or photos」を選びます。Geminiは入力欄のファイル追加ボタンからアップロードします。どちらも公式ヘルプに手順があります。Geminiアプリのヘルプには「この機能を使用するには、Gemini アプリにログインする必要があります」と書かれています。

声で話しかける（音声会話）

ChatGPTのヘルプによると、音声は3種類あります。

• Live：同時に聞いて話せる。GPT-Live-1またはGPT-Live-1 miniで動く。文字と画像も同じチャットで使える
• Advanced：以前のリアルタイム音声。動画と画面共有が使える（対象の有料会員・モバイルアプリ）
• Standard：話した内容を文字に起こしてから答えを作る方式

Liveについてヘルプは「Live does not support video or screen sharing.」（訳：Liveは動画や画面共有に対応しない）と書いています。無料プランの枠は「Limited access to GPT-Live-1 mini. Limits may change.」（訳：GPT-Live-1 miniへの限定的なアクセス。上限は変わりうる）です。全二重（聞きながら話せる）の音声モデル GPT-Live については、GPT-Live発表の記事で扱っています。

Claudeの音声モードは、ヘルプによると「a beta feature available to all plans」（訳：全プランで使えるbeta機能）で、ウェブ・デスクトップ・モバイルで動きます。Geminiは、Android版のヘルプで、Gemini Liveの中でカメラや画面を共有できると案内しています。

「読める」と「作れる」は別。入力と出力を分けて見る

マルチモーダルという言葉は、入力できる種類が複数ある場合にも、出力できる種類が複数ある場合にも使われます。公式のモデルページは、入力と出力を分けて載せています。2026年10月8日に筆者が取得したページから拾った、現行モデルの入出力は次のとおりです。

出典：OpenAIとGoogleは各モデルページ、Anthropicはモデル一覧ページ。Anthropicの一覧は「All current models support text and image input, text output, multilingual capabilities, vision, and tool use.」（訳：現行のすべてのモデルは、テキストと画像の入力、テキスト出力、多言語、ビジョン、ツール使用に対応する）と書いています。

この表から筆者が読み取ったこと（筆者の解釈）：2026年10月時点の公式ページでは、1つのモデルが画像も音声も動画もすべて入出力するのではなく、役割ごとにモデルが分かれています。ChatGPTやGeminiのアプリはこれらを組み合わせて動かしていると考えられますが、どのモデルがどの場面で動くかまでは、本記事では確認していません。

画像を作る機能について、Claudeのヘルプ（2026年3月17日付）は次のように書いています。

Claude doesn’t generate photos or illustrations the way image-generation tools do.

（訳：Claudeは、画像生成ツールのようには写真やイラストを生成しない。）

同じヘルプは、図・グラフ・操作できる図解はHTMLとSVGで作れると続けています（ウェブ・デスクトップのbeta機能）。

仕組み：別々の情報を、同じ数値の形にそろえてから扱う

ソフトバンクの解説は、マルチモーダルAIの処理を次の3段階で説明しています。

1. エンコード：テキストや画像などを、AIが計算できる数値データに変換する。画像からは輪郭や色の配置、音声からは声の高さやリズムなどの特徴を取り出す
2. 統合：数値化したデータを「エンベディング」で共通の尺度のベクトルデータにし、ニューラルネットワークの中で関係性を学習する。解説は「画像が一部見えにくい場合でも鳴き声のデータからそれが犬であると推測できる」例を挙げている
3. デコード：内部の数値データをテキスト、画像、音声などに変換して出す。同解説は「入力と出力の形式が固定されていない点」を特長の1つにしている

モンスターラボの解説は、この処理を1つの大規模モデルで一気通貫に行う「ネイティブマルチモーダル」方式が主流になっている、と書いています。ソフトバンクの解説は、Geminiを「開発初期からさまざまなデータを統合的に処理する『ネイティブ・マルチモーダル』として設計」されたものと紹介しています。

「別々のモデルをつなぐ方式」と「1つのモデルで扱う方式」の違いは、OpenAIが2024年5月13日のGPT-4oの発表（Internet Archiveの保存版で確認）で自社の例として説明しています。それ以前のChatGPTの音声会話は「a pipeline of three separate models」（訳：3つの別々のモデルをつないだパイプライン）で、音声を文字に起こすモデル、文字で答えるGPT-3.5かGPT-4、文字を音声に戻すモデルの順に処理し、応答までの平均は2.8秒（GPT-3.5）と5.4秒（GPT-4）だったと書いています。この方式では、中心のモデルが声の調子や複数の話し手、背景の音を直接受け取れない、とも説明しています。GPT-4oについては「we trained a single new model end-to-end across text, vision, and audio」（訳：テキスト・画像・音声をまたいで、1つの新しいモデルを端から端まで学習させた）とし、音声の入力に「as little as 232 milliseconds, with an average of 320 milliseconds」（訳：最短232ミリ秒、平均320ミリ秒）で応答できるとしています。数字はいずれもOpenAI自身の発表です。

AIが文字を数える単位についてはトークンの解説にまとめています。

画像・動画・音声を入れる時の上限と、つまずきやすい点

画像（ChatGPT・Claude）

OpenAIのヘルプによると、ChatGPTの画像は PNG・JPEG・アニメーションしないGIFに対応し、1枚の上限は20MBです。同じヘルプは、次の制約も書いています。

• 「The model does not perform as well handling images with text of non-Latin alphabets, such as Japanese or Korean.」（訳：日本語や韓国語のような非ラテン文字の文字を含む画像では、性能が下がる）
• 「Medical: The model is not suitable for interpreting specialized medical images like CT scans and shouldn't be used for medical advice.」（訳：CTのような専門的な医用画像の解釈には向かず、医療上の助言に使うべきでない）
• 回転した文字や、グラフの線種（実線・破線）の違い、チェスの盤面のような正確な位置の指定は苦手と書かれている

このヘルプページは「ChatGPT's new image input feature」と書き出しており、更新表示は「先月」でした。Internet Archiveに2023年10月10日に保存された同じページ（画像入力がPlusとEnterpriseで始まった時期の版）にも、日本語と韓国語の一文は同じ形で載っています。この記述が現行のモデルにそのまま当てはまるかは、本記事では検証していません。手元の画像で試して確かめてください。

Claudeのヘルプによると、1回のチャットに20ファイルまで、画像は8000×8000ピクセルまでです。PDFは100ページ以下なら文字と図や表の両方を分析し、101〜1000ページの場合は文字だけを処理すると書かれています。Claude APIのVisionドキュメントは、画像の形式をJPEG・PNG・GIF・WebPとし、1リクエストの枚数を、200kトークンのモデルで100枚、それ以外のモデルで600枚としています。claude.aiでは1メッセージ20枚・1枚10MBです。

動画と音声（Gemini・ChatGPT）

Geminiアプリのヘルプ（パソコン版）は、次の上限を書いています。

• 同じプロンプトに最大10ファイル
• 動画は1ファイル最大2GB、合計5分まで。Google AI ProまたはUltraにすると合計1時間まで
• 音声は合計10分まで。Google AI ProまたはUltraにすると合計3時間まで

OpenAIのヘルプは、ChatGPTが動画ファイルを添付として受け付けることを書いたうえで、次の注意も付けています。

ChatGPT may use tools to analyze uploaded videos, but its analysis can be incomplete or inaccurate. It may not analyze the entire video or accurately interpret its audio.

（訳：ChatGPTはツールを使ってアップロードされた動画を分析することがあるが、分析が不完全または不正確になりうる。動画全体を分析しない場合や、音声を正確に解釈しない場合がある。）

個人情報

写真や音声には、顔や声が入ります。OpenAIのヘルプは、画像を含む内容の扱いについて「How your data is used to improve model performance」のページを参照するよう案内しています。GeminiのLiveのヘルプは、他の人の声を録音したり会話に参加させたりする前に許可を得るよう書いています。設定の比べ方は生成AIに個人情報を入力して大丈夫かにあります。

仕事や暮らしでの活用例（二次情報）

ブレインパッド（DOORS DX）の解説は、業界別にマルチモーダルAIの使い方を整理しています。

• 医療：画像診断データと、病歴・電子カルテ・バイタルデータを合わせて分析する
• 教育：テキスト・画像・音声・動画を組み合わせて、教材の生成や学習の支援をする
• セキュリティ：監視カメラの映像と音声センサーの情報を合わせて、異常を検知する

これらは各社の解説の記述で、当サイトが導入先を検証したものではありません。製造業の検査は製造業のAI活用の記事、紙や画像の文字を読む技術はOCRの解説、音声をまたぐ翻訳はAI翻訳の記事で別に扱っています。日本の国産マルチモーダル基盤モデルの開発事業はFRONTiaの記事にあります。

旧版が挙げた3モデルは、2026年10月8日にどうなっているか

この記事の旧版（2026年6月時点）は、GPT-4o・Gemini 2.5・Claude Opus 4.7を比べていました。2026年10月8日に筆者が取得した公式ページとの対応は次のとおりです。

旧版の表は、音声の入出力を GPT-4o は「ネイティブ対応」、Claude は「非対応」としていました。旧版の時点の公式ページ（Internet Archiveの保存版）と照らすと、GPT-4o は仕組みの節のとおりOpenAIの発表どおりでした。Claude は、2026年6月14日保存のモデル一覧が「All current Claude models support text and image input, text output」としており、モデルの入出力としては旧版どおりです。ただしアプリには、2026年3月22日保存のヘルプの時点で音声モード（beta・全プラン・当時は英語）がありました。表だけでは「Claudeとは声で話せない」と読めるため、モデルの入出力とアプリの機能を分けて書き直し、訂正履歴に記録しました。

旧版の「Claudeは画像生成が非対応」は、Claudeのヘルプ（2026年3月17日付）と食い違っていません。

公式ヘルプを開いて見えた、更新表示と書き出しのずれ

2026年10月8日の05:15〜05:17（日本時間）に、ログインせず・ヘッドレスのブラウザで、ChatGPT・Claude・Geminiの公式ヘルプを開きました。画面の幅は1280×800と390×844の2通りで、それぞれ撮影しています。アカウントは作らず、個人情報も入れていません。

• OpenAIのヘルプは、スマホ幅でも本文が読めました。画像入力のページは「Updated: 先月」、ChatGPT Voiceのページは「Updated: 12 日前」と表示されていました。画像入力のページは、更新表示が新しくても書き出しは2023年の版のままでした
• Claudeの音声モードのページは「Updated over 3 weeks ago」で、対応プランは「Free, Pro, Max, Team, and Enterprise」と書かれていました。このページの本文に、カメラや画面共有の語は見当たりませんでした（「camera」「video」で検索）

ログイン後の画面は見ていません。アプリの中でどのボタンがどこに出るかは、公式ヘルプの記載として書いています。

旧版の記述のうち、外したものと出典を替えて戻したもの

• 旧版にあった「GPT-4oは最短232ミリ秒で応答」と「パイプライン型より応答が速い」は、OpenAIの2024年5月13日の発表（Internet Archiveの保存版）の数字として、仕組みの節に書き直しました。「50以上の言語で翻訳」は同じ発表に見当たらなかったため、外したままです
• 旧版にあったGemini 2.5の動画理解・音声（30種の声・24言語）の説明は、現行世代の説明に置き換えました。現行のGemini 3.8 Flash TTSは、モデル一覧に「130 言語」と書かれています
• 旧版にあった「CLIPやCoCaが共通表現空間の代表例」は、今回開いた解説ページに見当たらず、この記事の主題にも要らないため外しました。再確認していないので、正しくないという意味ではありません
• Claudeが動画ファイルを受け付けるかどうかは、本記事が確認した範囲（ヘルプの対応形式一覧・モデル一覧・製品ページの対応ファイル一覧）では載っていませんでした。「できない」と言い切るものではありません
• 無料プランの上限（回数・時間）は、各社が「変わりうる」と書いているものがあります。契約前に公式ページで確かめてください

本文で引用した公式ページ

本文の記述は、次のページを2026年10月8日に取得した原文で確認しました。

• OpenAI：ChatGPT Image Inputs FAQ、ChatGPT Voice、Models（モデル一覧）、GPT-6 Astra・GPT-4o・GPT-4o Audio・GPT-Live 1・GPT-Image-2.5 Sunburst・GPT-Realtime-2.1 の各モデルページ
• Anthropic：Use voice mode、Upload files to Claude、Can Claude produce images?、Models overview、Vision、PDF support
• Google：Gemini アプリのファイルアップロード、Gemini Live（Android）のヘルプ、Gemini の料金ページ（日本）、Gemini API のモデル一覧と各モデルページ
• 公的・辞書的な資料：総務省 令和6年版 情報通信白書、小学館 デジタル大辞泉（コトバンク）
• 旧版の時点の公式ページ（Internet Archiveの保存版）：OpenAI「Hello GPT-4o」（2024年5月13日）、ChatGPT Image Inputs FAQ（2023年10月10日保存）、Claudeの音声モードのヘルプ（2026年3月22日保存）、Claudeのモデル一覧（2026年6月14日保存）
• 解説記事（二次情報）：ソフトバンク、モンスターラボ、ブレインパッド（DOORS DX）