「cinematic」と書いても画は変わらない──動画生成AIプロンプトを物の名前と数で書き直す

動画生成AIのプロンプトに cinematic beautiful whimsical elaborate flamboyant といった抽象形容詞を足しても、出力の画はほとんど変わらない。これらの語は学習データ上、あらゆるジャンル・あらゆる画角の映像に付いていたため、モデルの中で指す範囲が拡散してしまい、結果として「平均的な整った絵」に均されるからだ。当サイトの制作では、代わりに対象を作る物の名前と数で書いたときだけ、狙った画が出た。以下は、実際に動画生成AIで作品を作りながら測った一次データをもとにした整理であり、他サイトの一般論をまとめたものではない。

3行まとめ

1. cinematic elaborate 等の抽象形容詞は学習データ全体に拡散していて、モデルの中では平均的な絵に均される
2. 花魁(おいらん)の打掛(うちかけ)は「精巧で華やか」でなく「白粉・襟足の塗り残し・紅・簪20点・帯を前結び」と物と数で書いた回だけ狙い通りの画になった【実証済み】
3. モデルの事前分布に存在しない画(笑うチェシャ猫)は言葉だけでは出ず、原典の挿絵を参照画像として口の幾何だけ渡すことで5回目に出た【実証済み・最重要】

なぜ抽象語は画を動かさないのか【実証済み】

cinematic のような語は、あらゆるジャンル・あらゆる画角の映像に付けられてきた語だ。学習データ上での分布が広すぎるため、モデルにとっては「この語が指す具体的な特徴」が定まらない。結果として、出力は各成分の平均に近い、無難で整った絵に収束する。

これは花魁の打掛を作った回で確認できた。「精巧で華やかに」を意味する elaborate and flamboyant とだけ書いた回の出力は、単に衣装をまとわせただけの画だった。細部の指示が無いぶん、モデルは「それらしい衣装」という平均解に落ち着いたとみられる。

物と数で書き直す──花魁の実例

同じ花魁を、今度は物の名前と数で書き直した。

• 白粉(おしろい)
• 襟足に二本の塗り残し
• 下唇だけ小さく紅
• 簪(かんざし)20点
• 帯を前結び

この回の出力は、狙い通りの画になった。「華やかにしてくれ」ではなく、「何がいくつ、どこにあるか」を数えられる形で渡すと、モデルが解釈に迷う余地が減る──というのがここでの実証結果だ。

表にまとめると、抽象語から物への書き換えは次のような対応になる。

このうち直接検証したのは、花魁の打掛(elaborate/flamboyant)の回だけだ。cinematic beautiful whimsical は個別にA/Bテストをしたわけではなく、「分布が拡散している語」という同じ性質を持つと考えて同じ書き換え方針を当てはめている。この点は後述の「まだ分かっていないこと」で改めて注記する。

それでも出ない画がある──チェシャ猫の4連敗【実証済み・最重要】

物と数で書けば何でも出るわけではない。写実系のモデルにとって、「猫が笑う」はそもそも学習データの中に実在しない事象だ。『不思議の国のアリス』のチェシャ猫を作ろうとして、4回連続で失敗した。

wide grin と書けば書くほど、モデルは実在するものの中で一番近いもの──威嚇で歯を剥く猫──に解決してしまう。語彙をどう変えても結果は変わらなかった。モデルの事前分布に存在しない画は、言葉だけでは出せない、ということだ。

原典を「構造の型」として渡す

突破したのは、語彙を増やすことではなく、参照画像が担う役割を限定したことだった。「この図をそのまま真似ろ」ではなく、「口の幾何(かたち)だけを構造の型として維持し、質感は写実にする」と、参照画像の使いどころを絞って指定した。

この方法は他の題材にも汎用化できた。鳥山石燕『画図百鬼夜行』を参照画像として、妖怪15体を推測ゼロで造形転写できている。パブリックドメインの原典がある題材では、これが常に第一選択になる。

ここで使ったテニエルの挿絵(1865年刊)も、鳥山石燕『画図百鬼夜行』(江戸期)も、著作権の保護期間が満了しパブリックドメインになっている作品だ。**保護期間内の作品を無断で参照画像として使うことは勧めない。**保護期間の考え方や、参照画像としての利用がどこまで許されるかは作品・国・利用形態によって条件が異なるため、権利関係は自分で確認してほしい。参照画像の渡し方の具体的な手順は、別記の参照画像を「構造の型」として渡す方法にまとめている。

逆に、指示しない方がいいこともある【観察】

物と数で細かく書くほど良いかというと、そうとも言い切れない。魚を担いだ物売りが荷を下ろして同じくひざまずく場面で、プロンプトに書いたのは "set down their loads and kneel too"(荷を下ろして同じくひざまずく)という動作の骨格だけだった。むしろ入れていたのは no cartoonish expressions(漫画的な表情は不可)という禁止の指示で、コミカルな平伏そのものは指示していない。ウサギが穴に飛び込むときの水飛沫も、お茶会でのピント送りも、明示はしていない。

これは1件の観察であって、法則として一般化できるところまでは確認していない。ただ、動作の骨格だけを書いて、間や物理の表現をモデルに委ねる余地を残す方が良い結果につながることがある、とは言えそうだ。

まだ分かっていないこと

• elaborate flamboyant 以外の抽象語(cinematic beautiful whimsical)は同じ理屈で失敗すると考えられるが、個別に同じ検証をしたわけではない。
• 「指示しない方がいい部分」がどこまで一般化するかは、今回の1件の観察だけでは分からない。狙って再現できるかは未検証。
• 参照画像を「構造の型」として渡す方法は、チェシャ猫と『画図百鬼夜行』の妖怪という、どちらもイラスト・版画由来の題材で機能した。実写の人物写真など別ジャンルの参照画像でも同じように機能するかは確認していない。
• 何回目で成功するかは題材依存で、5回で済むとは限らない。

この記事は、動画生成AIのプロンプト技法をまとめている動画生成AIプロンプト技法台帳の1本として書いている。