JTLスコアとは──英語ベンチマークでは見えない日本語実務性能を自前で実測する方法論

JTLスコアは、AI時短ラボが独自に運用する「日本語タスクのLLM実測スコア」です。この記事では、公開ベンチマークがすでにあるのになぜ自前の実測が必要なのか、何をどういう考え方で測るのかという方法論を解説します。記事自体は台帳として運用し、測定が済んだモデルから結果を追記していきます。測定の過程や実際の出力例はYouTube動画で公開する予定です。

• JTLスコアは、要約・敬語・固有名詞の扱いという日本語の実務タスクでLLMを実測する当サイト独自のスコアです
• 英語ベンチマークの順位と、日本語実務での使い勝手は必ずしも一致しない──という問題意識が出発点です
• この記事は方法論の解説と結果台帳を兼ねており、スコアは測定が済み次第この記事に追記します

公開ベンチマークがあるのに、なぜ自前で測るのか

ベンチマーク（モデルの性能を共通の問題セットで測るテスト）は、日本語圏でも整備が進んでいます。Swallowプロジェクトは複数モデルの日本語タスク評価をWebで公開しており、LLM-jp（大学・研究機関を横断する日本語LLMの共同研究プロジェクト）は日本語LLMの一覧や評価の取り組みをまとめています。「どのモデルが日本語ベンチマークで上位か」を知りたいなら、まずこれらを見るのが早道です。

ただ、筆者には長く引っかかっている問題意識があります。英語ベンチマークで高いスコアを出すモデルでも、日本語の実務タスクでは差が出る、というものです。ここで言う実務タスクとは、たとえば次のようなものです。

• 要約：日本語の長い資料を、事実を取り違えずに縮められるか
• 敬語：ビジネス文面として敬語が破綻していないか、不自然な丁寧語になっていないか
• 固有名詞の扱い：人名・社名・製品名を勝手に書き換えたり、表記を揺らしたりしないか

公開ベンチマークの多くは選択式問題や読解・質問応答が中心で、上のような「実務の合否」を直接測る設計にはなっていません。順位表で上位のモデルが、自分の仕事でも上位とは限らない。だったら自分のタスクで自分で測るしかない、というのがJTLスコアの出発点です。

JTLスコアは何をどう測るのか

方法論の骨子はシンプルです。

測る領域は「要約・敬語・固有名詞の扱い」の日本語実務タスクに固定します。流行のタスクを追いかけるのではなく、同じ物差しを使い続けることで、モデル間・時点間の比較ができるようにします。

条件をそろえて実測します。 同じ指示文を各モデルに与え、出力を突き合わせる方式です。ベンチマークスコアの転載や伝聞ではなく、手元で動かした結果だけを記録します。

数値はこの記事では扱いません。 スコアの具体的な数値や順位は、測定が済んだモデルからこの台帳に追記し、判定の根拠になった出力例は動画で見せる、という分担にします。数値だけが文脈から切り離されて独り歩きするのを避けたいためです。

マリオベンチとの役割分担はどうなっているか

当サイトにはマリオベンチという別の恒例企画があります。役割分担は明確です。

• マリオベンチは「作らせる」系。固定プロンプトでゲームを再現させ、コード生成の力を見ます
• JTLスコアは「日本語タスク」系。要約・敬語・固有名詞という、日本語の読み書きの実務性能を見ます

新しいモデルが出たとき、この二つを併走させることで「作る力」と「日本語を扱う力」を別々の物差しで確かめる、という設計です。片方が強くても、もう片方も強いとは限りません。

筆者の現場から

私はYouTubeの解説動画やこのサイトの記事制作で、LLMを毎日使っています。新しいモデルが出るたびに英語ベンチマークのスコアが話題になりますが、手元の作業──日本語資料の要約、敬語を含む文面づくり、人名や社名の入った原稿の処理──では、スコアの序列どおりの体感にならないことがありました。「英語ベンチが高い＝日本語実務も強い」とは言い切れない、というのが実際に使ってきた者としての率直な感覚です。だからこそ、順位表を眺めるのをやめて、自分のタスクで測る台帳を自分で持つことにしました。

正直な但し書き

• 判定するのは筆者一人です。タスクの選定も判定基準も筆者の実務に偏っており、客観的なベンチマークの代替にはなりません
• 結果はプロンプトの書き方や設定に依存します。同じモデルでも条件が変われば結果は変わりえます
• モデルは頻繁に更新されるため、測定結果はあくまで「測定時点のスナップショット」です
• JTLスコアが低いモデルでも、別の用途（コーディング、英語タスクなど）では有力な場合があります。用途をまたいだ一般化はしないでください
• 公開ベンチマーク（Swallow LLM評価、LLM-jpの取り組みなど）を否定するものではなく、それらが測っていない領域を補完する位置づけです

出典

• Swallow LLM 日本語LLM評価
• 日本語LLMまとめ（awesome-japanese-llm）| LLM-jp
• LLM-jp: A Cross-organizational Project for the Research and Development of Fully Open Japanese LLMs（arXiv）