Tencent（テンセント）、中国語の論理推論ベンチマークHyperLogic（ハイパーロジック）を一部公開各階層の約30%と評価コード、Baseの正答率は7モデルで44.6〜77.6%

Tencent（テンセント）のHunyuanチームが、中国語の論理推論ベンチマーク「HyperLogic（ハイパーロジック）」のデータと評価コードをGitHubとHugging Faceで公開しました。GitHubのREADMEのNews欄では2026年10月28日の公開とされています。対象は各階層の約30%で、正解付きの問題、直接回答用のプロンプトと採点スクリプト、Hardのエージェント評価一式が含まれます。残りの約70%は非公開です。

3行まとめ

1. Tencent Hunyuanチームが、Seed 69問・Base 59問（小問274）・Hard 30問の正解付きデータと評価コードをApache-2.0で公開（各階層の約30%）
2. READMEによると、Baseの正答率はフロンティア7モデルで44.6〜77.6%（GPT-5.6 Solが首位）。Hardは直接回答で最大15.6%
3. 残り70%は非公開。公開分の点数は論文の全体の数字と一致せず、全体での評価は作者への依頼制

本記事の内容は、日本時間10月28日15時台に公式ページで確認したものです。

HyperLogicは何を測るベンチマークか

READMEとarXivの論文ページによると、HyperLogicは「問題を先に書き、答えは後から実行で導く」方式で作られています。論理学の授業を履修した学部生が中国語の問題の種を書き、複数のエージェントがその問題を難しくします。このとき、エージェントは問題を解きません。

その後、別系統の2つのモデルが、完成した問題をそれぞれ実行可能な有限領域のモデルに翻訳し、論理ソルバーが答えを出します。2つの翻訳が人間の専門家の監督下で一致した問題だけが公開されます。READMEは、ソルバーが探索を担うので「問題を作ったモデルより難しい問題」も作れる、と説明しています。

階層は3つです。

Hardでは、コードを書けるサンドボックス付きのエージェントも評価します。サンドボックスのみの条件と、作者側の論理モデリングライブラリを加えた条件の2つです。

どのモデルがどれだけ解いたか

READMEのリーダーボードは、各モデルを最高の推論設定で動かし、3回の試行の平均を取ったものです。Grok 4.6はxhigh、ほかのモデルはmaxで実行されています。Base Itemの順位で並べると次のとおりです（数字は正答率%、標準偏差は省略）。

†は、モデルのAPIサービスが拒否した問題を除いた数字です（READMEの注記）。

READMEが挙げる主な知見は6つです。このうち5つの要点は次のとおりです。

• Seedでは差がつかない: Seedの範囲は83.9〜89.8%。Baseでは全モデルがSeedから12点以上下がり、7モデルの差は33.0点（44.6〜77.6%）に開く、とREADMEは書いています。
• 長く考えても正答率は上がらない: Baseでの推論長の中央値は1問あたり15.2k〜52.7kトークン。上位2モデルはGLM-5.3の半分未満のトークンしか使っていません。GLM-5.3は131kトークンの上限に達して解析可能な答えを出せなかった例が、585回中99回あったと書かれています。
• Hardは直接回答ではほぼ解けない: どのモデルも16%を超えません。サンドボックスで全モデルが16.7〜40.1点上がりますが、最高でも55.7%（ライブラリありで57.0%）です。
• ライブラリは一貫して効くわけではない: Hardの正答率の変化は−6.0〜+10.6点で、5モデルが改善、2モデルが悪化しました。上表から筆者が差を計算すると、悪化したのはGrok 4.6（−1.0）とDeepSeek V4 Pro（−6.0）、最も伸びたのはGLM-5.3（+10.6）です。
• ソルバーより素のPythonが選ばれる: サンドボックスのみの条件では、7モデル中6モデルが、候補を総当たりで列挙して手書きの規則で絞る素のPythonを主に書いた、とREADMEは説明しています。

何が公開され、誰が使えるのか

READMEによると、公開されたのは次の4点です。

• data/ の seed.json・base.json・hard.json（正解付き）
• evaluate.py（直接回答用のプロンプトの生成と、LLM判定による意味的な同値性の採点。標準ライブラリのみで動く）
• hard_agent/（Hardの両条件の課題ファイル、ワークスペース作成、Docker実行、回答の回収、集計、11モジュールの翻訳ライブラリと MANUAL.md）
• build_public_subset.py と selection_manifest.json（30%の抽出手順と、全体データのSHA-256によるコミットメント）

公開された問題数は、READMEの表では次のとおりです。

ライセンスはApache-2.0です。Hugging Faceのデータセットにも seed・base・hard の3構成（testスプリットのみ）で置かれ、取得時点の行数はbase 59、hard 30、seed 69でした。READMEには load_dataset("tencent/HyperLogic", "base", split="test") で読める例があります。

採点にはOpenAI互換のChat Completionsに対応した判定用エンドポイントが必要です。利用者は自分の判定用エンドポイントとAPIキーを設定する形です（READMEの例による）。今回取得したページには、料金についての記載はありませんでした。

Hardのエージェント評価の説明には、実行条件も書かれています。元の評価は、ネットワーク接続ありの2CPU・10GBのサンドボックスで、1問あたり3時間の制限、各条件で3回ずつ回したものです。エージェントには、あるモデルにはCodex、ほかにはClaude Codeを使ったとあります。公開版の実行ラッパーも同じ2CPU・10GB・3時間を既定にしています。

前の版と何が変わったのか

arXivの履歴によると、論文は2026年5月19日にv1が出て、10月2日にv2へ改訂されています。v1のタイトルは「LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening」でした。コメント欄には、v2で題名を変え、構築パイプライン、データ階層、実験を大きく改めたとあります。v1の数字との比較は、今回取得したページからはできません。

筆者が公式ページで見たこと

日本時間15時43分に4つのページを順に取得した時点では、GitHubリポジトリのコミットは3件、スター・フォークとも0でした。公開直後の状態です。READMEのNews欄は2つ並んでおり、10月2日の項目は論文のv2公開、10月28日の項目は「リポジトリとHugging Faceのデータセットを公開」でした。論文のv2が先に出て、データとコードが26日後に続いた形です。なお、筆者はコードを実行しておらず、データも手元で開いていません。以下は、取得したページに書かれた内容にもとづく整理です。

公開分だけでは点数が再現できない

READMEは、公開分の点数は表の全体の数字を再現できないと明記しています。公開の30%は、全体を問題ごとに一様抽出したものです。抽出は random.Random("2027:<tier>") のシードで行い、手順と全体データのハッシュを公開して、あとから検証できるようにしたと説明されています。

またHardのエージェント評価について、公開版の採点は30問のサブセットの結果であり、論文の100問の結果とは別に報告するよう、hard_agentのREADMEが求めています。同じ課題・ライブラリ・予算・判定でも、提供元の経路やコンテナイメージが違えばエージェントの挙動が変わりうる、とも書かれています。第三者が公開分で測った数字を、リーダーボードと並べて比べることはできません。

そのほか、確認できた範囲の限界は次のとおりです。

• リーダーボードの数字はすべて作者側の測定です。第三者による再現は、今回確認したページにはありません。
• 対象の7モデルに、Tencent自社のモデルは含まれていません（READMEの表に載っているのは上の7つです）。
• Claude Opus 5の†の数字は、APIが拒否した問題を除いた値です。他モデルと分母が同じではありません。
• 全体での評価は、作者に連絡して依頼する方式です。READMEは、同じ手順で実行すると説明しています。評価の受付条件や費用は、取得したページには書かれていませんでした。
• 日本語版や日本語での評価の記載は、今回確認した4ページにはありません。

同じTencentの公開としては、長期記憶の書き込み専用モデルHy-Memory-30B-A3Bやインタラクティブな世界動画のHy-Nomasの記事もあります。

取得したページと確認時刻

• GitHub: Tencent-Hunyuan/HyperLogic（日本時間2026年10月28日15:43取得）
• arXiv: 2605.19597（同15:43取得）
• Hugging Face: tencent/HyperLogic（同15:43取得）
• GitHub: hard_agent/README.md（同15:43取得）

本記事は続報があり次第更新します。