手話をテキストに変えるAI「SL2T」──Google DeepMindがPixel 11に載せた仕組み

Google DeepMindは2026年8月12日付の公式ブログで、手話をテキストに翻訳するAIモデル「SL2T（Sign Language to Text）」を発表した。消費者向け製品への初投入先はPixel 11のGboardとLive Transcribeで、アメリカ手話（ASL）から英語への翻訳という組み合わせから始まっている。日本手話は現時点で対象外だ。

3行まとめ

1. Google DeepMindが手話→テキスト翻訳モデル「SL2T」を発表（2026年8月12日）。Pixel 11のGboardとLive TranscribeにASL→英語で搭載された。
2. 50以上の手話・10万時間超のデータ（うち約4分の1がASL）で学習。FLEURS-ASL(sd-test)というベンチマークでゼロショット70 BLEURTを記録したと公式ブログは記載している。
3. プライバシー保護のため、端末側でMediaPipe Holisticが姿勢の座標だけを抽出してサーバーへ送り、元の映像そのものは即座に破棄される設計。

何が発表されたのか

Google DeepMindのブログ記事「Putting sign language AI into users' hands」は、多言語の手話→テキスト翻訳モデルSL2Tを紹介している。第一弾の実装は、Android端末Pixel 11に搭載されたキーボードアプリ「Gboard」と、音声・音の文字起こしアプリ「Live Transcribe」で、いずれもASL（アメリカ手話）から英語への変換に対応する。

関連する動きとして、Googleのプロダクト部門ブログ（blog.google、Android AccessibilityのプロダクトマネージャーSharlene Yuan氏名義、2026年8月21日15:00 UTC付、「Here's how to use sign-to-text translation on Pixel 11」）でも同機能が紹介されており、本記事ではこちらの本文も直接確認した。

このブログによると、Pixel 11のサインtoテキスト機能は「ろう者コミュニティとの協働で開発された」とされ、手の形・表情・体の動きを解析してASLをリアルタイムで英語の文章に翻訳するという。片手での手話・両手での手話の両方に対応。使い方は、Gboardのツールバーにサインtoテキストを追加し、フロントカメラに向かって手話をすると、翻訳結果が「外側のディスプレイ（outer display）」に表示されるという。「外側のディスプレイ」という表現は、同時発表された折りたたみ式端末Pixel 11 Pro Foldのような、外側にもディスプレイを持つ機種を念頭に置いた説明とみられる。

学習データと精度の数字

DeepMindのブログが挙げる技術的な数字は次の通り。

• 対応手話の種類: 50以上の手話
• 学習データ量: 10万時間超（このうち約4分の1がASL）
• 精度指標: FLEURS-ASL(sd-test)というベンチマークで、ゼロショット（そのタスク向けに追加学習していない状態）でBLEURTスコア70を記録したとしている

BLEURTは機械翻訳・要約などの品質を人間の評価に近い形で測るための自動評価指標で、数値が高いほど参照訳に近いとされる。ブログ本文は「これまで報告されたどのスコアよりも大幅に高い（significantly higher than any previously reported score）」と比較を主張しており、FLEURS-ASLからの翻訳例と誤りの具体例（rare signや素早い指文字で "prey"→"grey"、分類子表現で claws の脱落、文脈のない時制で "kicked off"→"start"）も挙げている。ただし比較先の具体的な数値は示していないため、「70」という数値単体が実用上どの程度の翻訳品質を意味するかは、本記事側では評価できない。

プライバシー設計:映像そのものは送らない

ブログが強調しているのが、プライバシーへの配慮だ。手話認識は本質的にカメラ映像を必要とする技術だが、SL2Tの実装では、端末上でGoogleのオープンソースのポーズ推定ライブラリ「MediaPipe Holistic」を動かし、身体・手・顔の姿勢座標だけを抽出する。サーバーに送信されるのはこの座標データのみで、映像そのものは端末上で処理された後、即座に破棄されるとブログは説明している。

MediaPipeの公式ドキュメント（Google AI Edge）によると、「MediaPipe Holistic Landmarker」タスクは、顔・手・姿勢それぞれのランドマーカーを組み合わせ、リアルタイムで合計543個の人体ランドマーク（特徴点）を検出する仕組みだと説明されている。SL2Tがカメラ映像から抽出しているのは、この543個の座標点であって、画素（ピクセル）としての映像データそのものではない、という設計だ。

FLEURS-ASLベンチマークとは何か

DeepMindのブログが精度指標として挙げる「FLEURS-ASL(sd-test)」は、Google Researchが2024年8月にarXivで発表したベンチマーク「FLEURS-ASL」がベースになっている。論文のAbstractによると、これはテキスト翻訳の多言語ベンチマーク「FLORES」、音声翻訳の多言語ベンチマーク「FLEURS」を拡張し、初めて手話（映像として）を追加したもので、アメリカ手話を5名の認定ろう通訳者（Certified Deaf Interpreters）が翻訳して作成したという。ASLと200言語のテキスト間、あるいはASLと102言語の音声間の翻訳を評価できる設計になっている。

同論文はまた、「マルチモーダルなフロンティアモデルはASLをほとんど理解できていない（multimodal frontier models have virtually no understanding of ASL）」とし、標準的な評価スイートに手話を含めることの重要性を訴えている。SL2Tのような専用モデルが必要とされる背景には、汎用のマルチモーダルAIモデルが手話をほぼ理解できないという、この論文が指摘する現状があるとみられる。

日本手話は対象外という限界

ブログは今回の展開を「ASL→英語」から始めると明記しており、日本手話（JSL）を含む他の手話への対応時期は本文からは読み取れない。50以上の手話でデータを学習していると書かれているものの、消費者向け製品として実際にリリースされているのはASLのみだ。日本の読者にとっての直接的な実用性は、現時点では限定的といえる。

なぜこの発表が読まれる余地があるか

自サイトの既存記事「AIアクセシビリティ支援ツールとは」は視覚・聴覚障害を支えるテクノロジー全般を扱っているが、公開日は2026年7月31日でSL2Tの発表（8月12日）より前であり、本件は含まれていない。手話認識AIというテーマ自体、日本語での技術解説はまだ少ないとみられる。

発表内容を整理すると、次のようになる。

BLEURTスコア70が実際どの水準かは評価できない

• BLEURTスコア70という数字が実際の翻訳品質としてどの水準かは、DeepMindブログが比較先の数値を示していないため、本記事では評価できていない（「過去の報告値より大幅に高い」という比較の主張と、誤訳の具体例そのものはブログに記載がある）。FLEURS-ASL論文自体はASL⇄200言語（テキスト）・102言語（音声）の評価に使えるベンチマークだと説明しているが、SL2Tの「70」という数値と論文内の具体的なベースライン数値を直接比較できる記載は、本記事で確認した範囲では見当たらなかった。
• 日本手話（JSL）への対応時期・計画については、DeepMindの公式ブログ・Googleブログのいずれにも記載がなく確認できなかった。
• MediaPipe Holisticによる姿勢推定の具体的な精度（例えば早い手話の動きをどこまで正確に捉えられるか）についての数値は、本記事で確認した公式ドキュメントに記載がなかった。
• 「外側のディスプレイ」という表現がPixel 11 Pro Foldを念頭に置いたものかどうかは、Googleブログに明示的な説明がなく、本記事側の推測にとどまる。

関連記事

• AIアクセシビリティ支援ツールとは──視覚・聴覚障害を支えるテクノロジーの機能と限界【2026年】
• オープンウェイトとは何か──「オープンソース」との違いを一次資料で読み解く
• AI音声合成・読み上げツール比較──VOICEVOX/ElevenLabs/Azure【2026年】