音声やYouTubeリンクをピアノ譜に変換するpianoify──『Muscriptor』公開インスタンスの中身

音声ファイルやYouTubeリンクを入力するだけでピアノ演奏に変換する無料ツール「pianoify」が、Hacker Newsで「Muscriptor」という音声認識モデルの公開インスタンスとして紹介された。2026年8月21日付のShow HN投稿は57ポイント・13コメントの反響だった。

3行まとめ

• pianoify.netは音声ファイルまたはYouTubeリンクから、ピアノ演奏と楽譜への変換をブラウザ内で行う無料ツール
• サイト自身の説明では「約10秒で」変換が完了するとされる
• Hacker Newsでの紹介文は「Muscriptor（最新・最強のAudio-to-MIDIモデル）の公開インスタンス」という短い1文のみ

サイトが自ら説明する機能

pianoify.netのサイト自体はJavaScript必須のシングルページアプリケーションで、curlによる本文取得では黒背景のローディング画面以外の要素が描画されない。ただし、ページのメタデータ（<meta name="description">とog:description）には、サイトの機能が次のように明記されている。

Drop in an audio file or paste a YouTube link and hear it back as piano. Free audio-to-MIDI transcription with sheet music, in the browser, in about ten seconds.

（音声ファイルをドロップするか、YouTubeリンクを貼り付けると、それがピアノ演奏として返ってくる。無料のAudio-to-MIDI変換で、楽譜付き、ブラウザ内で、約10秒程度で完了する）

og:titleには「pianoify — turn any recording into piano」（pianoify——あらゆる録音をピアノに変える）という説明も付いている。

Hacker Newsでの紹介——「Muscriptor」という名前

このツールをHacker Newsで紹介したShow HN投稿のタイトルは「Show HN: Public Muscriptor Instance (latest, most powerful Audio-to-MIDI model)」（Muscriptorの公開インスタンス：最新・最強のAudio-to-MIDIモデル）で、投稿本文は次の1文のみだった。

GPU powered models to convert any song to piano

（あらゆる曲をピアノに変換する、GPU駆動のモデル群）

投稿タイトルから、「Muscriptor」がこのツールの背後で動く音声認識モデルの名称で、pianoify.netはそのモデルを試せる公開インスタンス（ウェブ上で誰でも使えるデモ環境）という位置づけであることが分かる。

コメント欄で判明した正体──MuScriptorはKyutai/Mireloのオープンウェイトモデル

Show HN投稿には13件のコメントが付いており、Hacker News APIで全文を取得すると、投稿タイトルだけでは分からない裏付けがいくつも出てくる。

まず、コメント主の一人が「これはmuscriptor.kyutai.orgを使っている」としたうえで、Kyutai（フランスのAI研究ラボ）の公式ブログ記事（2026年7月10日付）を次のように引用していた。

We're releasing MuScriptor, the best open model for multi-instrument transcription to date, created in collaboration with Mirelo. Give it a recording: pop, classical, metal, jazz, whatever, and it transcribes the notes played by every instrument into MIDI, without needing to know in advance what instruments are present.

（MuScriptorを公開する。マルチ楽器の書き起こしとして現時点で最良のオープンモデルであり、Mireloとの共同開発。録音を渡せば、ポップスでもクラシックでもメタルでもジャズでも、事前にどの楽器が鳴っているか知らせなくても、すべての楽器の演奏をMIDIへ書き起こす）

このKyutai公式サイト（muscriptor.kyutai.org）のメタデータを確認すると、og:titleは「MuScriptor: Music to MIDI and Sheet Music」となっており、コメントの引用内容と矛盾しない。さらにHugging Face APIでモデルを検索すると、MuScriptor/muscriptor-large（193 likes・ダウンロード3,237件）・muscriptor-medium（86 likes）・muscriptor-small（39 likes）の3サイズが2026年6月30日付で公開されており、ライセンスはいずれも**CC-BY-NC-4.0（非商用）**だった。対応するarXiv論文「MuScriptor: An Open Model for Multi-Instrument Music Transcription」（arXiv:2607.08168、著者はSimon Rouard・Michael Krause・Axel Roebel・Carl-Johann Simon-Gabriel・Alexandre Défossez）のアブストラクトには、次の一文がある。

we release MuScriptor, an open-weight multi-instrument music transcription model that works on real-world music recordings from across a diverse range of musical genres

技術的には、合成データによる事前学習・実音楽データでのファインチューニング・強化学習によるポストトレーニングを組み合わせ、さらに「どの楽器が鳴っているか」を条件付け（conditioning）できるようにした、とアブストラクトは説明している。

ソースコードから分かる、pianoify自体の仕組み

もう一つのコメントで、pianoify自体のソースコードがgithub.com/jerryzhou196/pianoifyとして公開されていることも分かった。GitHub APIで見ると、このリポジトリは「muscriptor fork tailored for piano」（ピアノに特化させたmuscriptorのフォーク）と説明されており、Star 13・作成日2026年8月21日・最終pushは2026年8月23日の小規模な個人プロジェクトだ。README（248行）には、単なる紹介文ではなく実装の設計判断がかなり具体的に書かれている。

• バックエンドは2系統：レンタルしているGPUインスタンス上で動く「MuScriptor · GPU box」（クリップ単価が発生しないためデフォルト選択）と、Mireloのホスト型API（performance＝演奏そのまま／quantized＝検出したビートにオンセットをスナップ）の計3つのモデル選択肢がある
• 10秒の壁：MireloのAPIは入力1秒あたり2.5クレジットを課金するため、ブラウザ側の制限だけでは足りず、サーバー側の/api/assetがWAVヘッダーを解析して長さを計算し、10秒を超えるクリップをジョブ消費前に拒否する
• YouTube対応：YouTubeリンクは自前ホストのyt-dlpサービス（jerryzhou.ca上のFastAPI）経由でAACストリームを再エンコードなしで取得する
• 楽譜生成：GPU box側では、MIDIをMuseScoreに通して楽譜を生成し、MusicXML・MIDI・PDF（総譜とパート譜）を含むzipを返す
• ピアノ音源：再生には、パブリックドメインの「Splendid Grand Piano」サンプル（smplr経由）を使用。13音・2タッチレベルだけを先に読み込み、最大4半音までピッチシフトして鍵盤全域をカバーすることで、256MBのフルライブラリを避けている
• 左右の手の割り当て：README自身が「invented, on purpose」（意図的に作り出したもの）と明記しており、どの音をどちらの手で弾いたかは音声からは分からないため、それらしく見えるヒューリスティックで割り振っているに過ぎない

モデル選択肢の一覧（READMEより）

実際に音声を変換して試したわけではない

本記事は、pianoify.netのメタデータ・Hacker News投稿とその全コメント・pianoifyのGitHub README・MuScriptorのarXivアブストラクト・Hugging Face APIのモデル一覧を一次情報としている。ソースコードとドキュメントの記述からアーキテクチャの全体像は追えたが、実際にpianoify.netやmuscriptor.kyutai.orgを開いて自分の手元で音声ファイルをアップロードし、変換の精度や所要時間を確認する検証は行っていない。またKyutaiの公式ブログ本文自体はJavaScriptレンダリングのため取得できず、その内容はHacker Newsコメントによる引用を経由して確認した形になる（コメントの引用文自体はKyutaiのog:titleと矛盾しないことは確認したが、ブログ本文を直接読んだわけではない）。README中の「10秒の壁」や課金レートなど実装の詳細についても、コード自体（TypeScript実装ファイル）までは読み込んでおらず、README記載の説明をそのまま紹介している。

関連記事: AI英語学習アプリ比較

感想・指摘はコメント欄へ。