マリオベンチ──新LLMに同じプロンプトでゲームを作らせ続ける定点観測ベンチ
AI時短ラボが新しいLLMの登場ごとに実施している独自ベンチ「マリオベンチ」の方法論を解説します。固定の同一プロンプトで「マリオ風の2Dアクションゲームを1ファイルで作って」と依頼し、動くか・操作感・見た目・創意で比較する定点観測です。歴代の結果は本記事に台帳として追記していきます。
目次
この記事では、AI時短ラボが新しいLLM（大規模言語モデル。ChatGPTやClaudeの中身にあたるAI）が出るたびに実施している独自ベンチマーク「マリオベンチ」の方法論を解説します。やることは毎回同じで、固定の同一プロンプトで「マリオ風の2Dアクションゲームを1ファイルで作って」と依頼し、出てきたものを「動くか・操作感・見た目・創意」の観点で比較します。公式発表のベンチスコアでは分からない「実際にモノを作らせた時の差」を見るのが目的で、歴代の結果はこのページに台帳として追記していきます。
- マリオベンチ＝新LLMごとに固定プロンプトで2Dアクションゲームを作らせる定点観測
- 目的は、公式ベンチのスコアでは見えない「実際にモノを作らせた時の差」を見ること
- 評価観点は「動くか・操作感・見た目・創意」。結果はYouTubeで動画公開し、本記事に追記
なぜ公式ベンチのスコアだけでは足りないのか
新モデルの発表資料には必ずベンチマークスコアが並びますが、その多くは知識や推論を問う試験形式です。一方、「1本のゲームとして成立させる」仕事は性質が違います。ゲームループ、キー入力、当たり判定、描画といった部品を1ファイルの中に矛盾なく収め、しかも遊んで気持ちいい状態に仕上げる必要があります。部品ごとの正解率が高いことと、全体が製品として成立することは別問題です。この「別問題」の部分を毎回同じ物差しで観測するのがマリオベンチです。
マリオベンチの方法──固定プロンプト・同条件
方法はシンプルです。
- 依頼文は毎回同一。「マリオ風の2Dアクションゲームを1ファイルで作って」という固定プロンプトを使います。プロンプトを変えるとモデル間の比較が成立しなくなるためです。
- 条件を揃える。モデル以外の変数をできるだけ動かさず、同じ依頼・同じ手順で走らせます。
- 出てきたものを実際に遊ぶ。コードを眺めて終わりではなく、実行して操作して判断します。
「マリオ風」というお題を選んでいるのは、誰もが完成形を思い浮かべられる題材だからです。再現度の高低が直感的に分かり、モデルごとの解釈の違い（何を「マリオらしさ」と捉えたか）も表に出ます。
何を評価するのか──4つの観点
- 動くか：生成されたコードがそのまま実行でき、エラーなく遊べる状態になるか
- 操作感：ジャンプの重さ、横移動の加速、当たり判定の納得感。遊んで気持ちいいか
- 見た目：画面としての体裁。配色、キャラクターや地形の描き方
- 創意：指示していない要素（敵、ギミック、スコア、演出）を自発的にどう足してくるか
この4つは独立に動きます。つまり「動くが操作感が悪い」「見た目は素朴だが創意がある」といった凸凹がモデルごとに出ます。この凸凹こそが、単一スコアのランキングでは潰れてしまう情報だと考えています。
似た取り組みとの違いは？
LLMとゲームを組み合わせた評価には先行例があります。Hao AI Labの「LMGame-Bench」は、スーパーマリオブラザーズやテトリスなどをLLMにプレイさせて賢さを測る取り組みです。一方マリオベンチは作らせる側の評価で、測っているものが違います。作らせる系では、ゲーム開発者のABA氏がパズルゲームのお題でAIコーディングエージェントを比較する試みを公開しており、「ルールの実装はできるが面白いレベルデザインは苦手」という観察を示しています。マリオベンチはこれらと問題意識が近い、個人運営の定点観測版という位置づけです。
なお、日本語の言語性能については別の物差し「JTLスコア」で定点観測しており、マリオベンチは「モノづくり性能」担当という役割分担です。
歴代結果の台帳（随時追記）
新しいモデルを試すたびに、この節へ結果を追記していきます。具体的な採点と実際のプレイ映像は、YouTubeチャンネル「AI時短ラボ」で動画として公開しています。文章では伝わりにくい操作感の差は、動画で見るのが一番分かりやすいはずです。
（この台帳は今後のモデル登場ごとに更新されます）
筆者の現場から
新モデルの発表日に、まずこのベンチを走らせるのが恒例になっています。続けていて分かったのは、公式ベンチのスコアが高くても操作感が破綻するモデルがあり、逆にスコアが目立たなくても遊べるものを出してくるモデルがあることです。発表資料の数字と、手元で作らせた結果は、必ずしも一致しません。
正直な但し書き
- マリオベンチは1つの固定プロンプトによる観測であり、モデルのコーディング能力全体を代表するものではありません。
- LLMの生成は確率的で、同じモデル・同じプロンプトでも出力は毎回変わります。1回の結果はあくまでその1回の結果です。
- 「操作感」「創意」の評価には筆者の主観が入ります。客観的な統一スコアではありません。
- 「1ファイルで」という縛りは比較のための人工的な条件で、実務の開発とは状況が異なります。
- 実行環境（ブラウザ等）によって挙動が変わる可能性があります。
出典
出典・参照資料
AIニュースの解説を動画でも
YouTubeでは注目ニュースの背景を解説し、Xでは新着記事をお知らせしています。
コメント
まだコメントはありません。最初のコメントを書いてみませんか？
AIについて聞きたいことはありますか？
質問箱で無料で受け付けています。回答は公開され、他の方の参考にもなります。
質問箱を見る →
