NVIDIA、SparkのUDFをAIエージェントでGPU向けに書き換える「cuDF skills for Apache Spark」を公開本番UDFの1本は274.55時間が12.78時間（約22倍）に

NVIDIAは2026年10月13日（米国時間）、Apache Spark（アパッチ スパーク）のユーザー定義関数（UDF）を、コーディングエージェントでGPU向けに書き換えるための「cuDF（シーユーディーエフ）skills for Apache Spark」を技術ブログで紹介した。ブログは日本時間の10月14日6時33分に公開されている。同社によると、大手消費者向け技術企業がこの手順で本番のUDF 30本超を変換し、うち1本は6,000億行の処理で演算時間が274.55時間から12.78時間（約22倍）になったという。

3行まとめ

1. NVIDIAは、Spark UDFのGPU化をテスト生成・変換・ベンチマーク・最適化の4つのスキルでエージェントに任せる「cuDF skills for Apache Spark」を公開した。
2. 同社の事例では、本番UDF 30本超のうち1本が274.55時間から12.78時間（22倍）に。ただし顧客名は伏せられ、同社自身の記述に基づく数字。
3. 導入は npx skills add NVIDIA/cudf-spark --skill '*'。Maven・JDK・GPUが必要で、料金やライセンスは今回確認した3ページに記載が見当たらない。

本記事の内容は、日本時間10月14日6時台に公式ページで確認したものです。

なぜUDFがGPU処理の足を引っ張るのか

NVIDIAのブログによると、SparkのSQLやDataFrameは「何を出すか」と「どう実行するか」が分かれた宣言的な書き方で、そのおかげでcuDFプラグインはユーザーのコードを変えずにGPUで並列処理できる。一方UDFは任意のユーザーコードを含むため、システムが中身を理解して並列化することができない。ブログは、GPUアクセラレーターが列形式のデータを行形式に変換し、CPUに処理を戻して1行ずつUDFを実行する、と説明している。

その結果、GPUで動いているクエリの途中にUDFが1つあるだけで、往復のデータ転送が発生し、GPU向けの基本演算で書いていれば得られたはずの計算の高速化も失われる。ブログはこの2点を欠点として挙げている。

公式ドキュメント（cuDFプラグインのユーザーガイド）にも、プラグインはSpark 3.3以降でSQLとDataFrameの操作をGPU版に置き換えること、対応していない操作はCPU版にフォールバックすること、RDDを直接扱う操作は高速化できないことが書かれている。

UDFの書き換え方は3通り、エージェントがどれかを選ぶ

ブログは書き換えの方法を3つ示している。

SQLへの書き換えは、UDFをSparkのSQL式に置き換える方法で、式が実行計画に見えるようになり、プラグインがGPU実装に差し替える。cuDFの方法では、プラグインが用意する RapidsUDF インターフェースを実装し、evaluateColumnar というメソッドの中でGPU上の列（ColumnVector）を直接操作する。ブログは摂氏を華氏に直すScala UDFで、この2つの例を載せている。CUDAの方法は、RapidsUDF からJNI経由で自作のCUDAカーネルを呼ぶ形で、ブログはコードを省略している。

4つのスキルは何をするのか

GitHubのREADMEとブログによると、スキルはテスト生成・変換・ベンチマーク・最適化の4つの工程に分かれる（変換は書き換え先ごとにスキルが3つある）。READMEには、これとは別に検査用のスキルも載っている。READMEは、各スキルは前の工程の出力を使うと書いている。

ブログはこれを「4つの焦点を絞ったフィードバックループ」と説明し、各スキルが「やる作業」と「次へ進む前に必要な証拠」の両方を定めているとする。また、テストとベンチマークの枠組み、出力検証の処理、ビルド設定を含むプロジェクトのひな形をスキルが用意するので、エージェントは基盤を作り直さずにUDFの書き換えに集中できる、という。メモリ管理などGPUプログラミングの助言も入っているが、ブログはこれを「助言的な参考資料」と位置づけ、実装の選択は計測した正しさと性能に基づいてエージェントが決めるとしている。

対応するUDFの種類はREADMEの表のとおり。

22倍の事例は、どこまで読めるか

ブログの事例は次のとおり。

• 「大手消費者向け技術企業」が、本番のデータパイプラインで使うUDF 30本超をGPU対応に変換した。
• NVIDIAは、元のCPU版UDFの挙動は保たれ、GPU化されたワークロードの中の高コストなフォールバックがなくなったと書いている。
• 例に挙がったUDFは、6,000億行のワークロードで演算時間が274.55時間から12.78時間になり、22倍。このUDFは3,000超のジョブに影響していたという。
• ブログは、エージェントの助けで書き換えの試行を「数日や数週間ではなく数時間」単位で回せるとも書いている。

274.55を12.78で割ると約21.5倍になり、ブログの「22x」はこれを丸めた表記と読める。ただし数字は図3とそこでの説明に基づく、NVIDIA自身の記述である。企業名、使ったエージェントやモデル、変換前後の検証の詳細は、今回取得したブログ本文には書かれていなかった。

一方で、GitHubのREADMEが載せているサンプル（Claude Codeでの対話例）では、FormatPhoneUDF を1億行でベンチマークした結果がCPU 16.27秒、GPU 6.52秒、2.50倍だった。2つの数字はUDFも処理量も違うので直接は比べられないが、ブログ自身も「20倍超の高速化が得られることがある（can yield）」という書き方で、どのUDFでも出る数字とは書いていない。

使うには何が要るのか

導入コマンドは、ブログでは次の形で案内されている。

npx skills add NVIDIA/cudf-spark --skill '*'

READMEによると、全スキルを入れるのが推奨で、前提は次のとおり。

• UDFのビルドにMavenが必要、JDKのインストールが必要
• CUDAツールキットを入れたローカルGPUが必要（なければAWS EC2などクラウドで動かす選択肢がある）
• エージェントスキル仕様に対応するIDEかLLM（例としてCursor、Codex、Claude Code）

使うモデルについてREADMEは「OpenAI、Anthropic、Googleの最新の推論モデルを推奨」し、Terminal-Bench 2.0のリーダーボード上位のモデルが目安になる、と書いている。

Spark側の要件は、ユーザーガイドによると、Apache Spark 3.3以降、RAPIDSのシステム要件を満たすGPUを載せたクラスター（エグゼキューターあたりGPU 1基）、cuDFプラグイン、spark.plugins を com.nvidia.spark.SQLPlugin に設定すること。同ガイドの互換性の一覧は26.08リリースのメタデータに沿ったもので、Databricks 14.3 ML LTS・17.3 ML LTSやGCP Dataprocなどが並び、テスト済みGPUとしてV100・T4・A10・A100・L4・H100・GB100が挙がっている。

筆者が公式ページで見た、名前とコマンドのずれ

日本時間10月14日6時35〜36分にブログ、GitHub、ドキュメントの3ページを順に取得して照らし合わせたところ、表記が揃っていない点が3つあった。

1. ブログの導入コマンドは NVIDIA/cudf-spark だが、その約40秒後に取得したGitHubのREADMEのインストールコマンドは NVIDIA/spark-rapids になっていた。
2. ブログは「cuDF skills for Apache Spark」と呼ぶが、READMEの見出しは「Project Aether Agent Skills」で、本文も「Aether Agent」と呼んでいた。
3. 指定した docs.nvidia.com/spark-rapids/... のドキュメントのURLは、最終的に docs.nvidia.com/cudf-spark/... に移った。

3つがなぜずれているのか、取得したページには書かれていない。名称の変更途中の可能性もあるが、そう断定できる材料はない。実際に導入する場合は、READMEとブログのどちらのコマンドが通るかを自分で確かめることになる。筆者はスキルを入れて動かしていない。

今回確認できなかったこと

• 顧客名・使ったエージェント・検証の中身: ブログは顧客を「大手消費者向け技術企業」とだけ書き、変換に使ったエージェントやモデル、挙動が保たれたことをどう確かめたかは、今回取得した本文にない。
• 22倍の一般性: 示された22倍は1つのUDFの事例。READMEの例は2.50倍。
• 料金・ライセンス・日本での提供: 今回取得した3ページには、スキルの料金やライセンス、日本での提供についての記載は見当たらなかった。スキル自体はGitHub上のリポジトリにある。エージェントに使うモデルの利用条件についても、3ページに記載は見当たらなかった。
• ブログ冒頭の要約: ページ上部の「AI-Generated Summary」はNVIDIA Nemotronによる生成で、「情報を不完全に要約する可能性がある」と同ページに断りがある。本記事はこの要約ではなく本文とGitHub、ドキュメントを基にした。
• 関連: ブログ末尾は、Data + AI Summitのセッション「Coding with AI Agents to Supercharge Your Spark UDFs with GPU Acceleration」を詳しい解説として案内している。このセッションは本記事では確認していない。

NVIDIAの別の発表としては、Run:aiの全体オープンソース化の記事も参照。

出典と確認時刻

• How to Rewrite Apache Spark UDFs for GPU Acceleration with AI Agents（NVIDIA Technical Blog、2026年10月13日）（日本時間10月14日6時35分に確認）
• cudf-spark/skills（GitHub）（同6時36分に確認）
• Overview — cuDF plugin for Apache Spark User Guide（同6時36分に確認。最終URLは docs.nvidia.com/cudf-spark/ 配下）

本記事は続報があり次第更新します。