Upstage、『Solar Pro 4』のtokenizerをHugging Faceで公開重みは含まず、公式ガイドでは翌日リリースのSolar Mini 4と共用。Pro 2・Pro 3のtokenizerの後にも重みは出ていない

2026年9月25日・日本時間時点の情報です。 韓国のUpstageが2026年9月21日(Hugging Face上のリポジトリ作成記録では世界標準時3時8分)、同社のフラッグシップモデル**『Solar Pro 4』のtokenizer**をupstage/solar-pro4-tokenizerとしてHugging Faceに公開した。中身は語彙196,608トークンのトークナイザーファイル一式で、モデル本体の重みは含まれていない。本記事が9月25日にHugging Faceのupstage組織のモデル一覧を更新日時順に確認したところ、solar-pro4という名の重み付きモデルは見当たらなかった。

「フラッグシップ」はUpstage Consoleのモデル紹介の表現(「Upstage flagship model, specialized for agentic use」)による。Solar Pro 4自体は、8月11日の公式ブログで「エージェント型・複数ステップの実務向け」のモデルとしてAPIでの提供が告知されている(Consoleのドキュメント上の最初の版はsolar-pro4-260806で、表示は「Released on 2026-08-06」)。tokenizerの公開は、そのブログの41日後にあたる。

一方、UpstageのConsoleドキュメント「Estimate Token Usage」は、このtokenizerを使うモデルとしてsolar-pro4とsolar-mini4の2つを挙げている。Solar Mini 4は同じドキュメントで「Released on 2026-09-22」とされている小型モデルで、tokenizerはそのリリース日の前日に公開された。前世代のSolar Pro 2・Solar Pro 3でも、tokenizerはモデルの発表の2〜3日前にHugging Faceへ出ていたが、どちらも本体の重みは2026年9月25日時点で公開されていない。tokenizerの公開だけを根拠に「本体重みの公開が近い」と読むのは、この記事が確認した記録からは支持しにくい。

3行まとめ

1. 9月21日、tokenizerのみ公開。 upstage/solar-pro4-tokenizerはREADMEによると語彙196,608トークン、英語・韓国語・日本語などに対応。ライセンス表示はother(名称upstage-solar-license)で、Apache License 2.0をベースに「派生AIモデルを配布する際は『Solar』ブランドを明記する」という条件を加えたUpstage独自ライセンス。README自身が「モデルの重みもチャットテンプレートも含まない」と明記している。
2. Pro 4専用ではなく、翌日リリースのSolar Mini 4と共用。 Upstageのトークン数ガイドは、このtokenizerの対象をsolar-pro4とsolar-mini4としている。公開はSolar Mini 4のリリース日(Consoleのドキュメントでは2026年9月22日)の前日で、Solar Pro 2(2025年7月10日発表)・Solar Pro 3(2026年1月26日発表)のtokenizerがそれぞれ発表の2日前・3日前に出たのと近い間隔になる。そのPro 2・Pro 3は、本記事が2026年9月25日にHugging Face APIで確認した時点で、重み付きのモデルリポジトリが存在しない。
3. Solar Pro 4は主にAPIで提供されている。 8月11日の公式ブログは「Solar Open 2は自分でデプロイする汎用のオープンウェイトモデル」「Solar Pro 4はGPUやサービング基盤を持たずにAPI経由で使う、繰り返し呼び出す前提の価格のモデル」と書き分けている。企業向けの「専用/オンプレミス展開」も窓口に挙げているが、条件は個別問い合わせ。価格は入力$0.30・キャッシュ入力$0.06・出力$1.20(100万トークンあたり)で、ローンチ記念として9月10日まで90%オフだった。

リポジトリに入っていた6つのファイル

upstage/solar-pro4-tokenizerのREADMEは、公開物の性格を次のように説明している。

Tokenizer for Upstage Solar Pro 4, with a vocabulary of 196,608 tokens and support for English, Korean, Japanese, and more.

This repository contains tokenizer files for encoding text and estimating text token counts. It does not contain model weights or a chat template.

(Upstage Solar Pro 4用のトークナイザー。語彙数は196,608トークンで、英語・韓国語・日本語などに対応する。/ このリポジトリにはテキストをエンコードしてトークン数を見積もるためのトークナイザーファイルが入っており、モデルの重みもチャットテンプレートも含まれていない。)

リポジトリの中身は.gitattributes・LICENSE・README.md・special_tokens_map.json・tokenizer.json・tokenizer_config.jsonの6ファイルで、重みファイル(.safetensors等)は無い。本記事がtokenizer.jsonを実際にダウンロードして中身を確認したところ、方式はBPE、語彙数はvocabのエントリ数として実測196,608(READMEの数字と一致)、BPEのマージ規則は192,256件、追加特殊トークン(added_tokens)は4,096個だった。

ライセンスはHugging Face上の表示がother(ライセンス名upstage-solar-license)。同梱のLICENSEファイルはApache License 2.0をベースにしつつ、次の条件を加えたものだと前文で説明している。

The key additional condition, as specified in Section 4(e), is that if you distribute a "Derivative AI Model" based on the "Work", you must specify the 'Solar' brand.

(主要な追加条件は第4条(e)に定められており、この「対象物」(Work)に基づく「派生AIモデル」を配布する場合は、『Solar』ブランドを明記しなければならない、というものだ。)

READMEは、ここで数えられるのは渡したテキストのトークン数であり、実際のAPIリクエストにはメッセージの書式・システム指示・ツール定義も加わるので、実際の使用量はAPIレスポンスのusageで確認するよう書いている。あわせてリンクされているUpstage Consoleのトークン数ガイドには、tokenizerと対象モデルの対応表があり、2026年9月25日に取得した版では次のとおりだった。

名前は「Solar Pro 4」のtokenizerだが、Upstage自身のガイド上は、同じ世代の小型モデルSolar Mini 4(Consoleの説明では総パラメータ35B・アクティブ3B)と共用という扱いになっている。

「tokenizerが先に出る」は重み公開のサインになるのか──過去2世代を確かめる

tokenizerがモデルと別に先に公開される、という出来事は今回が初めてではない。Upstageの公式ブログ・Consoleのドキュメントと、Hugging FaceのAPIを突き合わせると、次の並びになる。

「公開リポジトリなし」は、本記事が2026年9月25日にHugging FaceのモデルAPI(author=upstage・更新日時降順)を取得し、一覧(この時点で26件)にsolar-pro2・solar-pro3・solar-pro4・solar-mini4という名前の、重みファイルを含むモデルリポジトリが無いことを確認した結果である。Solar Pro 2・Solar Pro 3のブログ記事自体も、重みの公開ではなくConsoleからの提供開始を告知する内容だった。Solar Pro 3のブログは提供状況を次のように書いている。

Solar Pro 3 is currently available via the Upstage Console as an API, allowing teams to test the model directly in real service environments. It is also accessible through yupp.ai, OpenRouter and BizRouter.

(Solar Pro 3は現在、APIとしてUpstage Consoleから利用できる。yupp.ai・OpenRouter・BizRouter経由でも使える。)

つまりSolar Pro 2・Solar Pro 3では「tokenizerがモデルの提供開始の数日前に出る」という順番があり、その後に続いたのは本体重みの公開ではなく、API提供の開始だった。今回のtokenizerは、名前の上ではSolar Pro 4のもので、Pro 4のブログからは41日遅れている。しかし同じtokenizerを使うとガイドが書くSolar Mini 4のリリース日から見ると、前日に出ている。Solar Mini 4に合わせた公開だったのかどうかは、Upstageの説明が見つからず確かめられていない。ただ日付の並びとしては、過去2世代と同じ「モデルの提供開始の直前」に収まっており、少なくともこの並びは、本体重みの公開が近いことを示す材料にはなりにくい。

そもそもSolar Pro 4とは何か──8月11日の発表を読み直す

tokenizerの話に立ち戻る前に、Solar Pro 4自体がどういうモデルとして売られているかを確認しておく。8月11日の公式ブログ「Solar Pro 4: The Agentic Model That Finishes the Job」によると、Solar Pro 4は512Kコンテキスト・最大128K出力トークンに対応し、英語・韓国語・日本語で入出力できる。ローンチを記念して、Upstage ConsoleとOpenRouterで9月10日(Upstage Consoleについては「23:59 UTC」まで)90%オフのキャンペーンがあった。利用できる窓口はUpstage Console(API)・SolarChat(ブラウザ)・OpenRouter・Hermes Agent(Nous Research)・Upstage Studio、加えて企業向けの「専用/オンプレミス展開」(条件は個別問い合わせ)。

ブログは、同じく現行モデルとして提供しているオープンウェイトのSolar Open 2とSolar Pro 4を「役割の違う2つの現行モデル」(two current models with different jobs)として並べ、比較表を載せている。それによると、Terminal-Bench v2.1はSolar Open 2の43.2に対しSolar Pro 4が57.0、長文書推論のAA-LCRは62.7に対し71.0、マルチターンのツール利用を測るτ³-Bankingは18.1に対し23.0で、エージェント系の評価軸でSolar Pro 4が上回るとしている。このうち見出しに掲げた3項目のスコアについて、ブログは「Artificial Analysisによる2026年8月時点のスコア」とし、Artificial Analysis上での公開掲載は近日(upcoming)と注記している(比較表の*印の項目は社内評価)。価格は100万トークンあたり入力$0.30・キャッシュ入力$0.06・出力$1.20。

ブログがこの記事にとって重要なのは、Solar Open 2とSolar Pro 4を書き分けている次の一節だ。

Solar Open 2 is a general-purpose open-weights model you deploy yourself. It fits organizations that run on their own hardware, operate on-premises, and can't let data leave the building.

Solar Pro 4 targets longer, more complex commercial agent workloads: jobs that move across multiple documents, run tasks in a terminal, and chain tool calls over many steps. You use it through an API with no GPUs or serving infrastructure, at a price built for repeated calls.

(Solar Open 2は、自分でデプロイする汎用のオープンウェイトモデルだ。自社のハードウェアで動かし、オンプレミスで運用し、データを社外に出せない組織に向いている。/ Solar Pro 4は、より長く複雑な商用のエージェント業務――複数の文書をまたいで動き、ターミナルでタスクを実行し、何段階にもわたってツール呼び出しを連鎖させる仕事――を対象にしている。GPUやサービング基盤を持たずにAPI経由で使い、繰り返し呼び出す前提の価格になっている。)

Upstageは現在、重みを公開して自分でホストできる「Solar Open」系列(Solar-Open-100B・Solar-Open2-250Bとも、2026年9月25日時点でHugging Faceに.safetensorsの重み一式が公開されている)と、重みを公開せずAPIを主な提供経路とする「Solar Pro」系列を分けて提供している(Solar Pro 4には個別契約の専用/オンプレミス展開の窓口もある)。この書き分けが今後も変わらないなら、Solar Pro 4がSolar Openと同じ形で重みを公開する可能性は、公式の説明からは読み取りにくい。

トークナイザーの中身を実際に開くと

本記事はここまでの記述に加えて、tokenizer.jsonをSolar Pro 3のtokenizerと突き合わせてみた。両者とも語彙数196,608・BPEのマージ規則192,256件・追加特殊トークン4,096個という数字は共通で、語彙の規模そのものは変わっていない。一方、追加特殊トークンのうち具体的な名前が付いているもの(残りは<|special_0|>のような未使用の予約枠)を比べると、Solar Pro 3の139個に対し新しいtokenizerは153個で、次のような違いがあった。

• 新しいtokenizer(solar-pro4-tokenizer)だけにあるもの・計31個: <|im:start|>・<|im:end|>・<|think:start|>・<|think:end|>・<|tool:start|>・<|tool_call:start|>・<|tool_arg:value|>・<|tool_response:start|>など、会話・推論過程・ツール呼び出しの区切りと見られるトークンが11個。<|pr|>・<|pr_diff|>・<|pr_review|>・<|pr_linked_issue|>など、GitHubのプルリクエスト(PR)を模したprで始まる名前のトークンが18個。リポジトリを模した<|repo_name|>・<|file_sep|>が2個。
• Solar Pro 3のtokenizerだけにあるもの・計17個: <|begin|>・<|end|>・<|tool_calls|>・<|tool_call:name|>・<|tool_call:args|>・<|tool_response:result|>など、同じ役割を別の書式で表していたとみられるトークン。

PR関連のトークンがSolar Pro 3のtokenizerには無く、新しいtokenizerで加わっている点は、8月11日のブログが強調する「ターミナルでのタスク実行」「複数ステップのツール呼び出し」という説明と方向としては合う。ただし、ガイドによればこのtokenizerはSolar Mini 4とも共用なので、これらのトークンをSolar Pro 4だけの特徴とは言えない。トークンが実際の学習・推論でどう使われているかも、tokenizerのファイルだけからは分からない。なお、<table>・<chart>・<equation>・<footnote>のようなHTML風の構造タグもSolar Pro 3と新しいtokenizerの両方にあるが、用途の説明はREADMEにも8月11日のブログにも無く(本記事が確認した範囲)、ここでは存在を確認したところまでにとどめる。

本記事が手を付けていない範囲

• transformersライブラリを実際にインストールしてトークナイザーを動かす(tokenizer.encode()で具体的な文をエンコードする)ことはしていない。本記事の数字はすべてtokenizer.json・tokenizer_config.jsonのJSONを直接読んで数えたものである。
• 8月11日のブログが引用しているArtificial Analysisのスコアについて、ブログ自身がArtificial Analysis上での公開掲載は近日としており、本記事はArtificial Analysisの公開ページ上での数字の裏取りをしていない。
• Upstage公式のブログ一覧(upstage.ai/blog)とニュースルーム(upstage.ai/news)を9月25日に取得し、ページのHTMLを「tokenizer」で検索したが該当は無かった。tokenizer公開そのものを告知する発信がSNSなど別の場所にあるかどうかは確認していない。
• Solar Mini 4のリリースに合わせてtokenizerを公開したのかどうかは、Upstageの説明が見つからず確認できていない。上で書いたのは、日付の並びとガイドの対応表から言えるところまでである。
• 企業向けの「専用/オンプレミス展開」で実際にどのような契約条件が提示されるか(重みそのものが渡される可能性があるか)は、問い合わせ以降のプロセスであり本記事は確認していない。

照合に使ったページとファイル

• upstage/solar-pro4-tokenizerのHugging Faceモデルカード・README・LICENSE全文・tokenizer.json/tokenizer_config.jsonの実ファイル
• upstage/solar-pro2-tokenizer・upstage/solar-pro3-tokenizerのHugging Faceモデルカードとtokenizer.json
• Hugging Face Models API(author=upstage・更新日時降順、2026年9月25日取得)
• Upstage Consoleドキュメント「Estimate Token Usage」と、Solar Pro 4・Solar Mini 4・Solar Pro 3・Solar Pro 2の各モデルページ(版名とリリース日、2026年9月25日取得)
• Upstage公式ブログ「Solar Pro 4: The Agentic Model That Finishes the Job」(2026年8月11日)
• Upstage公式ブログ「Solar Pro 3: Better reasoning at production scale」(2026年1月26日)
• Upstage公式ブログ「Solar Pro 2: Fluent. Reasoning. Frontier.」(2025年7月10日)

続報があれば、本体重みの公開有無を含めて本記事を更新する。