AI Skillsに「品質ゲート」を通す──NVIDIAが公開したオープンソース評価基盤SkillEvaluatorを読む
NVIDIAがGitHubで公開している「SkillEvaluator」は、Claude Code等が使うAgent Skillsを3段階（決定論的な品質チェック→重複検出→実エージェントでのライブ評価）で検証するオープンソースのフレームワーク。GitHub API実測でスター331・2026年6月24日作成・直近更新は8月26日。セキュリティスキャンはSkillSpector、サンドボックス評価はHarborと連携する設計になっている。
目次
Claude Code・Codex CLIなどが対応する「Agent Skills」は、フォルダ1つで手軽に配布できる分だけ、中身の品質を誰がどう保証するのかという問題がついて回る。NVIDIAがGitHubで公開している「SkillEvaluator」は、この品質保証を自動化するためのオープンソースフレームワークだ。GitHub APIで確認したところ、リポジトリは2026年6月24日に作成され、8月26日にも更新が入っている。スター数は331(2026年8月27日確認時点)。
3行まとめ
- SkillEvaluatorは、Agent Skillsを「Tier1: 検証」「Tier2: 重複排除」「Tier3: ライブ評価」の3段階で評価するオープンソースのCLIツール。各Tierは独立した入口を持ち、前のTierを先に実行する必要はない。
- Tier1のセキュリティスキャンは姉妹プロジェクトのSkillSpector、Tier3のサンドボックス実行はオープンソースのHarborが担う設計になっている。NVIDIAの「Verified Skills pipeline」の一部という位置づけ。
uv tool installでAPIキーなしでも決定論的な検証(スキーマ・PII・ライセンス・品質・Unicode安全性・スクリプトのlintなど)は即実行できる。LLMを使う深い評価には、OpenAI・Anthropic・Amazon Bedrock・NVIDIA Buildなど複数プロバイダのAPIキーに対応している。
3つのTierが担うもの
READMEに掲載された表によると、各Tierの役割は次のとおりだ。
| Tier | 目的 | 代表コマンド | 必要なもの |
|---|---|---|---|
| Tier 1: Validation | 安全か、書式は正しいか | validate、quality-check、security-scan、pii-scan、lint-scripts、rubric-eval |
決定論的チェックはAPIキー不要。フルスキャンにはsecurityエクストラに加えSemgrep・SkillSpector・Gitleaksが必要。LLMチェックにはプロバイダキーが必要 |
| Tier 2: Deduplication | 既存スキルと重複していないか | context-optimization-check、similarity-check |
埋め込みプロバイダが必要。スキル内部の分析にはチャットLLMも必要(ローカルのOpenAI互換エンドポイントでも可) |
| Tier 3: Live Evaluation | 実際にエージェントの役に立つか | create-eval-dataset、tier3 evaluate、compare |
キーレステンプレートとレポート閲覧には資格情報不要。LLMによる生成・採点にはプロバイダキーが必要。ライブ評価にはエージェントCLI自身の資格情報と、Docker・ローカルOS・クラウドいずれかのサンドボックスが必要 |
READMEは「Tierは独立した入口であり、前のTierを先に走らせる必要は無い」と明記しており、必要な段階だけをつまみ食いできる設計になっている。
Tier1: キーなしで動く決定論的ゲート
クイックスタートに示されたコマンドは次のようなものだ。
uv tool install --python 3.13 "skillevaluator[all] @ git+https://github.com/NVIDIA/SkillEvaluator.git"
skillevaluator validate ./my-skill \
--checks schema,pii,license,quality,unicode,lint \
--no-dedup
./my-skillはSKILL.mdを含む任意のディレクトリで、このコマンドはスキーマ・PII・ライセンス・品質・Unicode安全性・スクリプトの6項目をチェックする。READMEによれば、この範囲であればAPIキー・Dockerデーモン・リポジトリのクローンいずれも不要で、最初の1回はキーレスで完結するよう意図的に絞り込まれている。フルセキュリティスキャンにはSemgrep・SkillSpector・Gitleaksという外部ツールが別途必要になる。
LLMプロバイダはNVIDIA Build・OpenAI・Anthropic・Bedrockに対応
深い評価にはLLMが必要になるが、READMEは「まだOpenAIやAnthropicのキーを持っていない場合」の代替として、無料の推論を提供するbuild.nvidia.comでのAPIキー発行を案内している。NVIDIA Buildのデフォルトモデルはオープンソースのnvidia/nemotron-3-nano-30b-a3b。
対応プロバイダは4系統あり、それぞれのデフォルトモデルも明記されている。
- OpenAI:
SKILL_EVAL_LLM_PROVIDER=openai、デフォルトチャットモデルはgpt-5.6-sol(低コスト版はgpt-5.4-mini) - Anthropic:
SKILL_EVAL_LLM_PROVIDER=anthropic、デフォルトはclaude-opus-5 - Amazon Bedrock:
SKILL_EVAL_LLM_PROVIDER=bedrock、デフォルトはus.anthropic.claude-opus-5 - ローカル/ホスト型のOpenAI互換エンドポイント:
SKILL_EVAL_LLM_PROVIDER=openai-compatible
AnthropicとBedrockは埋め込み(embeddings)を提供しないため、Tier2の重複検出には別途OpenAI・NVIDIA Build・OpenAI互換のいずれかの埋め込みプロバイダが必要になる、という注記もある。
Tier3はコストがかかる、と明記されている
READMEはTier3のライブ評価について「ライブのモデル呼び出しと、マネージドのサンドボックスは課金が発生しうる。ローカルモードはマネージドサンドボックスの課金は避けられるが、ホスト型モデルの課金は避けられない。ローカルモードは実験的機能であり、信頼できるスキルとワークスペースにのみ使うこと。信頼できないコードにはDockerかクラウドを使うこと」と、コストとセキュリティの両面で注意を促している。スケールする前にTier3ガイドの「コスト計画」セクションを読むよう案内があり、「1つのエージェントと小さいデータセットから始めること」とも書かれている。
Verified Skillsパイプラインの一部として
READMEは、SkillEvaluatorがNVIDIA Verified Skillsパイプラインの一部だと明記している。同じパイプライン上で、セキュリティスキャンにはSkillSpector、Tier3のサンドボックス実行には外部のオープンソースフレームワークHarborが使われる。当サイトでは以前、Harbor単体についても記事にしており、そちらではGitHub API実測でスター数4,701(2026年8月27日時点)、harbor-framework/harbor名義であることを確認済みだ。今回SkillEvaluatorのREADMEを読んで、そのHarborが具体的にどのツール群の内部でどう使われているかという、利用側の文脈が一つ埋まった形になる。
CHANGELOG.mdを読むと、3週間で3回リリースし、自分の採点ミスを繰り返し直している
未読だと書いていたCHANGELOG.mdを、この記事のために実際に取得して読んだ。バージョン履歴を並べると次の通り。
| バージョン | 公開日 | 主な変更 |
|---|---|---|
| 0.1.0 | 2026-08-05 | 初回リリース |
| 0.2.0 | 2026-08-18 | （0.1.0から2週間） |
| 0.2.1 | 2026-08-24 | Tier3のpass@k評価に95%信頼区間・ペア比較・BENCHMARK.mdの公開ゲートを追加 |
| Unreleased | ― | SARIF 2.1.0レポーター追加、--llm-verifyのパストラバーサル対策など |
初回リリースからわずか3週間で3回のバージョンアップが入っている。中身を読むと、単なる機能追加だけでなく「採点ロジック自体の誤りを直す」修正が目立つ。たとえばv0.2.1の修正リストには、Tier3の判定処理が「必須のジャッジが失敗した際に、数値ゼロのスコアとして表示されたり、誤解を招く品質結果を公表したりする代わりに、fail closed（失敗したら安全側に倒して止まる）にした」という記述がある。
made required Tier 3 judge failures fail closed instead of appearing as numeric zero scores or publishing misleading quality results
（必須のTier3ジャッジが失敗した場合、数値ゼロのスコアとして現れたり、誤解を招く品質結果を公開したりする代わりに、fail closed（失敗時は安全側に倒す）という挙動にした）
つまりこのツール自身も、以前のバージョンでは「本当は評価に失敗しているのに、見た目には0点という数値が出てしまい、あたかも正当な評価結果であるかのように公開されてしまう」というバグを抱えていたことになる。他にも「Tier3の評価データセット生成がSKILL.mdのフロントマターをYAMLとして正しくパースしておらず、ブロックスカラー記法（description: >-）がそのまま文字列>-としてプロンプトに紛れ込んでいた」というバグ修正もあった。品質を評価するツール自身の品質保証にも、地道な失敗と修正の積み重ねがあることがうかがえる。
公式ドキュメントサイト（docs.nvidia.com/skills/skillevaluator）も直接開いて確認した。各Tierを一問一答の形で要約している一節があり、「Tier 1: このスキルは安全で、書式が整っているか？」「Tier 2: 既存のものと重複していないか？」「Tier 3: 実際にエージェントの役に立っているか？」という3つの問いとして整理されている。READMEの表現とほぼ重なる内容ではあるが、「品質・重複・実効性」という3段階の軸をこの一文だけで掴めるのは分かりやすい要約だと感じた。
手元では動かしていない
この記事はGitHub上のREADME本文・CHANGELOG.md・公式ドキュメントサイトのトップページ、GitHub APIのリポジトリメタデータをもとに書いている。実際にskillevaluator validateコマンドを手元で実行して動作を確認したわけではなく(500MBを超えるインストール・重い依存関係の導入は今回の作業方針で避けている)、Tier2・Tier3を含むフル評価がどの程度の時間・コストで完了するかは体感していない。公式ドキュメントサイトはTier1〜3それぞれの詳細ガイドページを持っているが、この記事ではトップページ以上には読み込んでおらず、GitHub Releasesページの内容も確認していない。サポートレベルは「Experimental」でSLAやエンタープライズサポートの対象外だとREADMEに明記されている。
関連記事
出典・参照資料
AIニュースの解説を動画でも
YouTubeでは注目ニュースの背景を解説し、Xでは新着記事をお知らせしています。
コメント
まだコメントはありません。最初のコメントを書いてみませんか？
AIについて聞きたいことはありますか？
質問箱で無料で受け付けています。回答は公開され、他の方の参考にもなります。
質問箱を見る →新しい記事をメールで受け取る
AIの新しい発表を、出典付きで整理して届けます。
関連記事
『26.1%のスキルに脆弱性』──外部Agent Skillsを入れる前に走らせるNVIDIAのセキュリティスキャナ「SkillSpector」
GitHubにすら置かれていないコーディングエージェント「kaagum」──Guile言語・自前UIなし・ACP専用という徹底ぶり
1.52MBのバイナリが3.5msでコンテナを起動する──ルートレスサンドボックス「kern」をAI生成コードの実行にどう使うか
NVIDIA公式のAgent Skillsカタログを開くと「OpenClaw上でOpenClawを動かす」スキルまであった
AIエージェントの`rm -rf`を実行前に止める「Doberman」──自己申告ベンチマークを読むと見えてくる限界
ACP対応エージェントだけを集めた「レジストリ」──認証対応の39件をJSON1本で配布する仕組み
3つの違うharnessで、スキルもMCPサーバーも別々に登録し直す面倒を消そうとするCLI
