OpenAI、COBOL（コボル）・Fortranなど学習データの少ない言語での性能向上を公表MultiLangBenchでGPT-6 Astraは平均87.4%、GPT-5.6 Solは26.8%

OpenAIは2026年10月19日（現地）、COBOL（コボル）・Fortran（フォートラン）・Visual Basicなど、学習に使えるコードや文書が少ないプログラミング言語での最新モデルの性能向上を、研究記事「Advancing Coding in Low-Resource Programming Languages」で公表した。新しい評価MultiLangBench（マルチラングベンチ）では、GPT-6 Astraが20言語平均で87.4%、GPT-5.6 Solは26.8%。COBOL移行の評価では、GPT-6.1 Solが低い推論設定で86.6%、GPT-5.6 Solは5.4%だった。数字はすべてOpenAIの発表によるもので、MultiLangBenchの評価設定とテストはGitHubで公開されている。

3行まとめ

1. MultiLangBench（20言語でSQLite互換DBを作る評価）で、GPT-6 Astraの平均合格率は87.4%（GPT-5.6 Solは26.8%）。COBOLは10.9%から72.1%へ。
2. COBOL移行評価で、GPT-6.1 Solは低い推論設定で86.6%（GPT-5.6 Solは5.4%、費用は39%減）。高い推論設定では97.9%。
3. MultiLangBenchはGitHub（Apache-2.0）で公開。OpenAIは、本番への適用には専門家のレビューとテストが必要と書いている。

本記事の内容は、日本時間10月20日7時台に公式ページとGitHubのリポジトリで確認したものです。

何が発表されたのか

OpenAIの記事は、COBOLが「オンラインバンキングシステムの40%超」「対面のクレジットカード取引の80%」「ATM取引の95%」を支えていると書く（同社が外部リンクで引いている数字）。Fortranは天気予報や原子力関連の記録の安全分析で使われているという。これらの言語はPythonやJavaScriptに比べて学習できるコードや文書が少なく、同社は、開発者や企業顧客から「コーディングモデルはこうした言語で苦戦する」という声が寄せられてきたと説明している。

進み具合を測るために、OpenAIは2つの評価を作った。

OpenAIはこの2つを「新しいソフトを作る力」と「既存ソフトの挙動を保つ力」という、補い合う2つの技能を見るものだと説明している。

MultiLangBenchの結果はどうだったか

OpenAIの発表では、最大の推論設定でのGPT-6 Astraの20言語平均のテスト合格率は87.4%で、GPT-5.6 Solの26.8%から上がった。テストした全言語で改善し、20言語中19言語で83%を超えた。COBOLは最も難しく、72%にとどまると書かれている。

（数字はOpenAIの記事より。最大の推論設定での結果）

低価格の選択肢としてGPT-6 Lunaも挙がっている。Lunaも全言語でGPT-5.6 Solを上回り、平均40.3%。1サンプルあたりの推定API費用は平均0.77ドルで、GPT-5.6 Solの3.48ドルより約78%低いという。今回確認したページには、Astraの費用の数字は載っていなかった。

COBOL移行の評価で何を見ているのか

2つ目の評価は、COBOLプログラムをC++・Java・Kotlin・Python・Rustのどれかへ移す課題だ。OpenAIは、COBOLの固定小数点演算は丸めを明示しない限り余分な小数桁を切り捨てる、という例を挙げている。丸める書き換えをすると、エラーなく動くのに金融計算の結果が変わってしまう。こうした挙動が保たれているかを調べるため、隠しテストで観測できる出力が「byte-for-byte」（バイト単位）で一致することを求め、全テストに通った場合だけ成功とする。

この評価での結果は次のとおり（OpenAIの発表）。

MultiLangBenchではAstraとLuna、COBOL移行ではGPT-6.1 Solと、評価ごとに比べているモデルが違う。2つの数字を並べて「COBOLはどちらが難しいか」を比べることはできない。

GitHubで公開されたMultiLangBenchの中身

リポジトリのREADMEによると、モデルはSQLite 3.40.1を実装し、SQLiteのドキュメントを渡される。テストはSQLiteのTCLテストから作られ、各テストは「initial_database（初期DBを作るSQL）」「user_query（候補の実装が実行するSQL）」「validation_query（本物のSQLite 3.40.1で変更後のDBに対して実行する検証SQL）」の3部からなる。期待する出力と一致すれば合格だ。TCLテスト約5万1千件のうち、約2万4千件がこの形に変換できたとある。

採点のルールとして、READMEは次の点を挙げている。

• スコアは（api_cost, test_pass_rate）の組で表す
• 指定した言語で書かなかった場合、合格率は0とする
• 60秒でタイムアウトした場合や、クラッシュした場合は不合格
• 全2万4千件を回すと費用がかかるため、評価には名前が00・01・02で始まる272件だけを使う。高得点のサンプルで精度を上げるために全件を回してもよいが、その場合はその旨を明記する
• 環境からSQLiteの痕跡（ライブラリ・実行ファイル）をすべて消し、インターネットは使えない

ライセンスはApache-2.0。OpenAIの記事は、言語ごとの結果も一緒にGitHubで公開したと書いているが、今回取得したリポジトリのトップページ（READMEとファイル一覧）には、結果の表や結果のファイルは見当たらなかった。

日本の開発者にとって：使えるのか、試せるのか

OpenAIの記事の最後には、最新のモデルをAPIで、自分のチームが使う言語のコーディング課題で試してほしいという案内がある。どの言語やワークフローに力を入れるべきかのフィードバックも求めている。今回確認した2ページには、日本向けの提供条件や日本語での案内は書かれていなかった。モデルのトークン単価は今回の2ページには載っておらず、本記事では扱わない。料金はOpenAI APIの使い方と料金の記事にまとめている。

日本時間7時台にページを確認した時点で気づいた点が2つある。1つは、ページの説明文（description）が「ChatGPTを改善する」と書いているのに、本文の「試す」案内はAPIだったこと。ChatGPTのどのプランで同じ結果が出るかは、今回のページからは読み取れなかった。もう1つは、GitHubのリポジトリがコミット3件・スター0の状態だったことだ。トップページに見えていたのは scripts・tests のフォルダとREADMEなどで、OpenAI自身のものも含め、モデルの結果は載っていなかった。

この数字をどう読むか──OpenAI自身が作った評価での結果

注意しておきたい点が4つある。

1. 評価もモデルもOpenAIのもの。 評価を作ったのも結果を出したのもOpenAIで、第三者の再現は今回確認したページには載っていない。READMEで評価の設計が見られるようになったことで、検証はしやすくなった。
2. 条件が揃っていない数字を比べている。 MultiLangBenchの数字は「最大の推論設定」、COBOL移行の86.6%は「低い推論設定」、97.9%は「より高い推論設定」。どの設定を使うかで結果もコストも変わる。
3. READMEの272件と、発表の数字の関係は不明。 READMEは評価に使うのは272件でよいとするが、OpenAIの記事の数字がどのテスト範囲のものかは、今回確認した2ページには書かれていなかった。
4. COBOL移行評価の公開は確認できていない。 MultiLangBenchはGitHubで公開されたと書かれているが、READMEにはCOBOL移行評価への言及はなかった。

OpenAIの記事は、本番のソフトウェアへ適用するには、専門家のレビューと、システムの業務ルールや依存関係に照らしたテストが引き続き必要だと明記している。

確認したページと時刻

• Advancing Coding in Low-Resource Programming Languages | OpenAI（2026年10月19日付。日本時間10月20日 7:35に取得）
• GitHub - openai/MultiLangBench（日本時間10月20日 7:35に取得）

本記事は続報があり次第更新します。