AIは詩の『行間』を読めるか──現代中国詩の理解度を測る『Poetic Logic』というベンチマーク

LLMの読解力を測るベンチマークの多くは、要約・質問応答・翻訳のように、明確な情報伝達を目的とした文章を対象にしている。だが、詩のように「行間を読む」ことが本質的に求められる文芸テキストに対して、AIはどこまで通用するのか。この問いを現代中国詩に絞って検証した論文が、2026年8月22日にarXivで公開された。PDF本文の1ページ目を直接確認すると、著者は7名で、Tian Lan氏（京都大学大学院情報学研究科）とShanshan Wang氏（マカオ大学NLP²CT Lab、共同筆頭著者）を筆頭に、Zehua Duo・Jiang Li・Guanglai Gao の3氏（内モンゴル大学）、Derek F. Wong氏（マカオ大学）、そして責任著者のXiangdong Su氏（内モンゴル大学）という所属だった。arXivのAbstractページでも「Tian Lan and 6 other authors」と表示されており、7名であることを重ねて確認した。

3行まとめ

1. arXiv:2608.21827は、現代詩人6名による800編・12,826行の現代中国詩を使い、連(スタンザ)・行・イメージの並べ替えや穴埋めを問う4タスク「STO・LIO・IMF・SNI」からなるベンチマーク「Peony」を提案した。
2. 非思考設定の最高平均正解率はKimi-K2.5の59.89%、思考設定の最高はGemini 3 Proの74.01%(いずれも100点満点中)で、非思考最下位のGPT-5.1は46.98%だった。
3. 「1編を完全に正解できたか」を示すPerfect Rateは最高でも30.77%(SNIタスク、Gemini 3 Pro)にとどまり、個々の設問には答えられても詩1編を通した論理理解は現状のLLMに難しいと論文は結論づけている。

「詩的ロジック」という独自の推論様式

要約・翻訳・質問応答のようなタスクでLLMの実力がめざましく向上したことは広く知られているが、文学作品、とりわけ詩の理解については評価が手薄なままだった。詩は行間・余白・言葉の選び方そのものに意味を込める表現形式であり、事実を正確に取り出す能力とは別の力が求められる。

論文はまず、詩というテキストの特殊性を説明する。

"Unlike conventional texts that convey clear information, the unique 'poetic logic' of modern Chinese poetry requires a holistic reasoning approach that goes beyond superficial semantic analysis to be understood."

明確な情報を伝える通常のテキストとは異なり、現代中国詩に特有の「詩的ロジック」を理解するには、表面的な意味解析を超えた、全体的な推論アプローチが必要になる。比喩・イメージの積み重ね・連と連の間の飛躍といった、詩特有の構造を読み解く力が求められる、ということだ。通常の読解ベンチマークが得意とする「本文中に書かれている事実を正確に拾う」タイプの理解力とは、根本的に異なる能力が試されている。

Peony:連・行・イメージの3階層で評価

この能力を測るために構築されたのが「Peony」というベンチマークだ。土台には、AIが生成した詩を検出するために2025年11月に公開された既存コーパス「AIGenPoetry」から、人間の現代詩人6名が書いた高品質な作品を採用している。論文は、著名な古典詩ではなく現代の作品を選んだ理由を「古典作品の多くはLLMの事前学習コーパスに含まれている可能性が高く、モデルが記憶や検索によって正解してしまい、詩的ロジックを実際に理解しているかどうかが見えなくなる」ためだと説明している。AIGenPoetryの公開時期(2025年11月)は、評価対象になった全モデルの学習データカットオフより後であることも明記されている。

"AIGenPoetry was released in November 2025, after the reported knowledge cutoff dates of all evaluated models."

AIGenPoetry自体の原論文（ACL Anthology、2025年11月・EMNLP 2025 Findings採択）を直接確認すると、これはもともと「詩的ロジックの理解度」ではなく「AI生成詩の検出」を目的に作られたデータセットだったことが分かる。原論文によれば、AIGenPoetryはプロの詩人6名による800編に加えて、4つの主流LLMが生成した41,600編の詩を収録しており、6種類の検出器で系統的な性能評価を行った結果、「現行の検出器は、LLMが生成した現代中国詩を検出する信頼できるツールとしては使えない」と結論づけている。検出が最も難しい特徴は「文体（style）」のような内在的な性質だったという。Peonyは、この41,600編のAI生成詩ではなく、人間の詩人が書いた800編の部分だけを土台として流用している。

詩的ロジックは、連(スタンザ)・行・イメージという3つの階層にまたがる、次の4タスクとして定義されている。

問題文の初期候補生成にはDeepSeek-V4-Proを使い、その後2名のプロの詩人・詩論研究者が候補の大半を大幅に修正または差し替えたうえでベンチマークに採用したと論文は述べている。評価は、モデルに深く考えさせない「非思考」設定と、深く考えさせる「思考」設定の両方で、各実験を3回実施した平均値として行われた。

PDF本文のFigure 1（ベンチマーク全体構成の図）を直接確認すると、このパイプラインは「①データソース：800編の詩、多様なスタイル・テーマ・イメージ」「②ベンチマーク構築：DeepSeekがプロンプトから問題候補を生成し、人間の専門家が連レベル(Stanza Ordering)・行レベル(Line Ordering・Sentence Inference)・イメージレベル(Imagery Filling)ごとにフィルタリング・修正」「③評価タスク：4種のタスクをそれぞれ○×判定付きの具体例つきで図示」という3段構成で描かれていた。IMFタスクの図示例では、AIのアイコンが2つ並んで表示され、片方が正解(D. red leaves)、もう片方が不正解(A. mulberry leaves)を選ぶ様子が図解されており、モデルによって正誤が分かれることを視覚的に示す構成になっている。

Figure 2（詩の連数・行数の分布）も画像として直接確認した。連数の分布は棒グラフで示されており、1連の詩が244編、2連120編、3連216編、4連140編、5連42編、6連27編、7連8編、8連2編、11連1編、という内訳だった（3連が2連より多い、という非単調な分布になっている）。行数の分布は14〜16行あたりを頂点とする山型で、論文本文も「The poems range from fewer than ten lines to more than thirty lines.（詩は10行未満から30行超まで幅がある）」と書いている（2026年9月4日にarXiv HTML版を取得して確認。図の目盛りの端点までは読み取っていない）。これは本文が報告する「1編あたり平均16.03行」という数値とも整合する形だった。

結果:全モデルが「非思考」で5割前後、思考モードでも詩の飛躍(SNI)は苦手

非思考設定で評価されたのはDeepSeek-V4-Flash・DeepSeek-V4-Pro・GPT-5.1・Kimi-K2.5・GLM-5.1の5モデル。思考設定では、この5モデルの推論モードに加えてGemini 3 Proが加わり6モデル体制になる。論文本文のTable 2（正解率、単位%）は次の通り。

非思考モデルの中ではKimi-K2.5が最良で、2位のGLM-5.1(54.21)を5.68ポイント上回った。最下位はGPT-5.1で平均46.98。思考モードではGemini 3 Proが74.01でトップに立ち、2位のKimi-K2.5(64.27)を9.74ポイント、非思考トップのKimi-K2.5(59.89)を14.12ポイント上回っている。

"GPT-5.1 performs the worst on all tasks except IMF."

論文はGPT-5.1について、表面的な意味には依存できても、暗黙のテーマ・感情・中国文化の文脈を統合するのが苦手だと分析している。例として挙げられているのが《庄子与倒影(Zhuangzi and Reflection)》という詩で、GPT-5.1の応答は「荘子の胡蝶の夢」と詩中の「秋水」という語の連関を認識できず、詩全体のテーマの解釈を誤ったという。論文が挙げるモデルの誤りの傾向は、(1)根底のテーマでなく表面的な意味への依存、(2)感情の推移を追えないこと、(3)複数のイメージを一つの芸術的構想として統合できないこと、の3点に整理されている。

「1編を完全に正解できたか」を測るPerfect Rate（PR、Table 3）を見ると、正解率よりもさらに厳しい実態が見える。

"the highest PR among all models is only 30.77 (Gemini 3 Pro)."

たとえばDeepSeek-V4-Pro(非思考)はIMFの正解率72.93に対し、PRは59.95にとどまる。個々のイメージ問題には答えられても、1編の詩全体で複数のイメージを一貫して扱いきれていないことを示す。この差はSNIタスクでさらに顕著で、全モデル中最高のPRでも30.77(Gemini 3 Pro、思考設定)しかない。行間の論理を1編通して保つことが、現状のLLMにとって最も難しいタスクだと論文は結論づけている。タスク別の難易度は「SNIが最も難しく、次にSTO、比較的易しいのがIMF」という順序だった。

人間との比較:専門詩人5名・非専門読者4名による基準値

論文はAppendix Fで、LLMのスコアと比較するための人間の基準値も報告している。プロの詩人5名（詩集を出版し8年以上の創作歴を持つが、Peonyに収録された詩の作者ではない）と、中国語での大学教育は受けたが現代詩を専門的に学んではいない非専門読者4名を集め、800編からランダムに抽出した40編を解かせている。論文はこう述べている。

"Experts achieve a mean score of 51.44, compared with 41.28 for non-experts, with substantial variation within both groups."

専門詩人の平均スコアは51.44、非専門読者の平均は41.28で、どちらのグループ内でもばらつきが大きかった、という趣旨だ。個人差も大きく、Table 15によれば専門詩人5名のスコアは71.03〜41.37の範囲に散らばっており、最もスコアの低い専門詩人(41.37)は、非専門読者の中で最もスコアの高い読者(50.15)を下回っている。全読者(9名)を通した平均は46.92だった。

この人間の基準値を、先述のLLMの平均正解率（非思考トップのKimi-K2.5が59.89、非思考最下位のGPT-5.1が46.98、思考トップのGemini 3 Proが74.01）と単純に並べると、非思考設定のLLM5モデルはいずれも全読者平均(46.92)以上のスコアを出していることになる。ただし、人間の基準値は40編のみを対象にした少人数評価であり、LLMの評価(800編ベース)と条件を完全に揃えたスコア比較ではない点には注意が必要だ。タスクの重み付け・母数が異なるため、この記事ではこの2つの数字を「同じ基準で比較できる」ものとしては扱わず、参考値の併記にとどめる。

SNIタスクの具体的な誤答例として、論文はAppendix Gでもう1つのケーススタディを挙げている。《临帖记(Copying Calligraphy／書の稽古)》という詩に対し、DeepSeek-V4-Flash(思考モード)は2つの空欄をいずれも誤って選択した(正解DCに対しAAと回答)。論文の分析によれば、1つ目の誤りは「表面的に整合する古典的なイメージ（竹簡や牛車）を選んでしまい、正解の選択肢にある『馬に飛び乗る』という行為と、後続の行の『矢の雨をくぐり抜ける』という行為との間の連続性を見落とした」ため。2つ目の誤りは「『一点、一画、一筆』という表現を書道の筆致と結びつけられず、『宣紙(せんし)』という語を含む正解の選択肢を見逃した」ためだとしている。王羲之『蘭亭序』への言及自体は認識できていたものの、その背景を正しく使えず、詩中の場所を「蘭亭の曲水」と誤認識し、正しい「会稽山陰」を特定できなかった、とも分析されている。表面的なイメージの一致・行をまたぐ論理・文化的背景知識の不完全な運用という3つの要因が組み合わさってSNIの誤りを生む、という論文の主張を裏づける具体例だ。

AIに文芸的な文章を任せる場面の限界

この論文はチャンネルの主眼である「業務でのAI活用」からはやや距離のあるテーマだが、AIに詩歌・小説の翻訳やコピーライティングの参考にさせる用途を持つ人にとっては間接的な示唆がある。AIは表面的な意味解析には強い一方、比喩やイメージの積み重ねといった「行間」を要する読解には、この研究が示す通り限界がある可能性が高い。詩的な文章表現・広告コピーの評価をAIに任せきりにせず、人間の目で最終確認する必要性を裏付ける材料の一つとして参照できる。

中国語の原文自体は読めない

本記事はarXivのHTML全文版(本文・図表キャプション・分析部分)とPDF本文(Figure 1・Figure 2を画像として直接閲覧)、およびPeonyが土台にしたAIGenPoetryデータセットの原論文(ACL Anthology)をもとに書いている。「Figure 14(タスクごとの実験例)」はTable 14として本文にテキストでも収録されており、こちらは4タスクの具体例・正解をすべてテキストで確認した。一方、Appendix A(アノテーション品質管理)・Appendix D(イメージの分類)は、本文中で言及されている範囲以外の詳細までは読み込んでいない。評価対象となった800編の現代詩全体、および今回紹介した《庄子与倒影》《临帖记》以外の具体的な誤答例は確認していない。当サイトの担当者は中国語の原文を直接読めないため、詩的ロジックという概念や個々の設問の妥当性そのものについての評価は行っていない。この論文が扱うのは中国語の現代詩に限定されており、日本語の詩歌への一般化可能性についても本文からは判断できない。「データとコードは今後公開予定("Our data and code will be available")」とアブストラクトに書かれているが、GitHub検索API（api.github.com/search/repositories、2026年8月31日実施）で「Peony」「poetic logic」「Chinese poetry」を組み合わせて検索しても該当するリポジトリはヒットせず、本記事執筆時点で公開先は確認できなかった。Zenn記事検索(2026年8月27日実施)では該当する日本語記事は見つからなかった。