RedNoteのdots3-noteをllama.cppがサポート──280Bのマルチモーダル、動くのは16B、Apache 2.0

ローカル推論エンジンllama.cppのv0.3.0（2026年8月25日公開）に、新しいマルチモーダルモデル「dots3-note」への対応が加わった。開発元は中国のSNS大手RedNote（小紅書）系の「dots-studio」で、Hugging Face上のモデルカードとllama.cppの実装PRを直接読んで内容を確認した。

3行まとめ

• dots3-noteは総パラメータ280B・アクティブ16BのMoEマルチモーダルモデル。テキスト・画像・動画・音声を理解しテキストを出力する。ライセンスはApache 2.0
• llama.cpp v0.3.0がこのモデルに対応し、DSA（疎な注意機構）とSWA（スライディングウィンドウ注意機構）が混在する構造に対応する新しいKVキャッシュ方式「DSA-ISWA」を追加した
• PR本文の検証では、コンテキスト長3200・DSAのtop-k刈り込みを実際に効かせた条件でtop-1一致率98.78%を確認したとある。ただしモデルカードのベンチマーク結果は画像埋め込みのグラフのみで、数値としては転記できなかった

モデルの中身

Hugging Faceのモデルカード（dots-studio/dots3-note-prev）は、このモデルを「dots3ファミリーで最初の重み公開モデル」と位置づけている。

dots3-note preview is the first open-weight model in the dots3 family. It is a Mixture-of-Experts model with 280B total parameters, 16B activated parameters, and support for a context length of up to 512K tokens. The model can understand text, images, video, and audio, and produces text outputs.

（dots3-note previewは、dots3ファミリーで最初の重み公開モデルである。総パラメータ280B・アクティブパラメータ16BのMixture-of-Expertsモデルで、最大512Kトークンのコンテキスト長に対応する。テキスト・画像・動画・音声を理解し、テキストを出力する）

モデルカードのスペック表（原文はProperty/Value形式）を訳すと次の通り。

ライセンスはApache 2.0で、HuggingFace APIで確認したところ本記事執筆時点でのlikes数は263、downloads数は1,919だった。モデルクラス名はModelScope上の公開情報でDots3NoteForCausalLMと確認できた。

llama.cppでの対応内容

llama.cppのv0.3.0リリースノートは、この対応をこう要約している。

llama.cpp 0.3.0 introduces the dots3-note multimodal model (with a new DSA-ISWA KV cache), MTP support for GLM-4.5-Air, and tensor-split (-sm tensor) plus multi-sequence rollback fixes for DeepSeek 4.

（llama.cpp 0.3.0はdots3-noteマルチモーダルモデル（新しいDSA-ISWA KVキャッシュを伴う）、GLM-4.5-AirのMTP対応、DeepSeek 4向けのテンソル分割（-sm tensor）と複数シーケンスのロールバック修正を導入する）

実装したPR #27060の本文によると、対応にあたって既存のllama-kv-cache-dsa（DSA用KVキャッシュの実装）を拡張する必要があったという。理由はモデルカードのスペック表にあるとおり、dots3-noteのアテンション層がDSA（疎な注意機構）とSWA（スライディングウィンドウ注意機構）を約1:3の比率で混在させる設計になっているためだ。PR本文はこの検証結果も載せている。

ctx	exercises	NMSE mean/max	top-1 (all pos)
1800	SWA window active, DSA dense-equivalent	5.0e-6 / 9.1e-6	99.11%
3200	+ real DSA top-k pruning (>2048)	2.6e-5 / 3.0e-4	98.78%

3層・16エキスパートに絞った実際の重みの一部でテストし、コンテキスト長3200でDSAのtop-k刈り込みを実際に効かせた条件でもtop-1一致率98.78%を確認した、という内容だ。

PR #27060はllama.cppメンテナーの1人であるngxson氏によるもので、curlで取得したPRページを確認すると、8コミットが2026年8月21日にmasterへマージされている。PR本文の末尾にはTODOリストがあり、「llama-kv-cache-dsaを拡張するのが適切か判断する」「Metalのmul_mat問題を修正（別PRになる予定）」「MTP対応を追加」「ビジョン・音声対応を追加（専用ブランチxsn/dots3-note-mtmdでフォローアップPRとして提出予定）」「モデルのsaver/loaderを直すかもしれない、未確定」の5項目が挙げられていた。このうちビジョン・音声対応については、その後PR #27524「mtmd: support dots3-note vision+audio」として実際に提出され、同じくngxson氏により2026年8月22日にmasterへマージされたことをcurlで確認できた。つまりv0.3.0がリリースされた8月25日の時点では、ビジョン・音声対応はTODOのままではなく、すでに数日前にマージ済みだったことになる。

もう1点、PR本文には次のような開発者自身によるAI利用の開示も記載されていた。

「AI usage disclosure: most code generated by AI, human validated at each steps to make sure there is no invasive changes」（AI利用の開示：コードの大部分はAIが生成し、破壊的な変更が無いことを確認するため各ステップで人間が検証した）

llama.cppという主要なOSS推論エンジンへの新モデル対応自体が、AIにコードを書かせて人間がレビューするという形で行われていたことが、PR本文から確認できる。

デプロイ方法は複数用意されている

モデルカードの「Deployment」節を確認すると、対応状況は次の通り。

FP8量子化済みチェックポイント（dots3-note-prev-fp8）も別途配布されており、モデルカードは「FP8チェックポイントを8GPUのノード1台でSGLangかvLLMを使って動かすことを推奨する」としている。llama.cppでの対応は、こうしたクラウド推論エンジン向けの対応とは別に、GGUF形式でのローカル実行という選択肢を増やすものになる。

ベンチマークの数字は画像でしか示されていない

モデルカードの評価結果セクション（一般推論・エージェント性能、マルチモーダル理解の2項目）は、いずれも画像として埋め込まれたグラフのみで構成されており、本文中に転記できる数値データは含まれていなかった。そのため本記事では、このモデルの実際のベンチマークスコアを具体的な数字として示すことができない。

GGUF変換版を自分で動かして試したわけではない

本記事はHugging Faceのモデルカードと、llama.cppのリリースノート・実装PRの本文のみを情報源としている。この記事を書いている自分の手元でdots3-noteのGGUF変換版を実際にダウンロードし、llama.cppで動かして応答を確認する検証は行っていない。280Bというモデルサイズは一般的な個人のPC環境では量子化してもロードが難しく、実際にローカル環境でどの程度の量子化が実用的かは、本記事の調査範囲では確認できなかった。

関連記事: ローカルLLM入門ガイド / GGUF vs MLX──Macでのフォーマット選び / コンテキストウィンドウとRAM使用量の計算式

感想・指摘はコメント欄へ。