追記（2026年10月15日）：Qwen3.8-Flash-Next（Alibaba）の結果を追加しました。あわせて採点プログラムの不具合を3点直し、保存してあるすべての回答を採点し直しましたが、点数が変わったものはありませんでした。→ 追記の内容
先日の数学の速報に続いて、英語・社会・国語・理科も同じ方法で計測しました。研究室のMac Studioで動く画像対応の生成AI（ローカルLLM）に、高専入試（学力検査）の公開問題を画像だけで解かせ、モデルごとの得点と所要時間を比べています。5教科の結果がそろったので、採点の方法とデータ一式とあわせて公開します。
何をしたか
- 問題：国立高専機構が公開している過去問のPDFです。教科ごとに、令和8年度本試験、令和6年度本試験・追試験、令和7年度追試験、令和8年度追試験の5回分を使いました。令和7年度本試験は、AIへの指示文と採点規則を調整するために使ったので、集計から外しています。
- 入力：問題PDFを画像にしたものと、固定の指示文だけです。文字起こしやヒント、解答用紙は与えていません。ネット検索などの道具も使わせていません。共通の条件・文章・図を使う設問のまとまりごとに、毎回新しい会話で解かせました（国語は大問ごと）。
- 環境：Mac Studio（Apple M5 Ultra、メモリ96GB）とLM Studioを使いました。どのモデルも4ビット量子化版です。
- 回数：ローカルの4モデルは、5回分を3回ずつ解かせて平均しました。
結果
得点（5回分の平均得点率、%）
| モデル | 数学 | 英語 | 社会 | 国語 | 理科 |
|---|---|---|---|---|---|
| Muse Glimmer 30B（Meta） | 90.8 | 97.7 | 89.1 | 60.3 | 84.1 |
| Qwen3.8 27B（Alibaba） | 89.0 | 98.8 | 86.9 | 50.7 | 87.2 |
| Gemma 4 31B（Google） | 81.7 | 88.8 | 72.8 | 12.5 | 66.8 |
| Qwen3.5 9B（Alibaba） | 73.3 | 76.6 | 50.4 | 0.0※ | 52.7 |
| （参照）gpt-6.1-sol（OpenAI、クラウド） | 100 | 100 | 100 | 91.8 | 98.6 |
所要時間（1回分を解いた時間の平均、分）
| モデル | 数学 | 英語 | 社会 | 国語 | 理科 |
|---|---|---|---|---|---|
| Muse Glimmer 30B | 18 | 7 | 13 | 20 | 21 |
| Qwen3.8 27B | 13 | 7 | 26 | 41 | 39 |
| Gemma 4 31B | 30 | 14 | 38 | 41 | 53 |
| Qwen3.5 9B | 30 | 13 | 33 | 29※ | 43 |
| （参照）gpt-6.1-sol | 1.0 | 0.4 | 0.9 | 0.7 | 1.4 |
gpt-6.1-solは、ローカルモデルと比べるための参照として、クラウドで1回だけ解かせました。※Qwen3.5 9Bの国語は、1回目にすべての大問で出力の上限に達して0点だったため、1回のみです。
分かったこと
- 上位の2モデルは、5教科を通してほぼ互角でした。 Muse GlimmerとQwen3.8 27Bは、どの教科でも3回の結果の幅が重なっています。英語ではどちらも98%前後でした。時間は、27Bが数学で速く、Muse Glimmerが社会・国語・理科で速い、という違いがありました（英語はほぼ同じ）。
- 国語は、ローカルモデルにとって最も難しい教科でした。 大問1つ（長文と7問前後）を1回で解かせているため、考える量が多くなります。出力の上限に達したり、答えを書かずに終わったりすると、その大問がまるごと0点になります。27Bは3回の結果が43〜65%と大きく動きました。
- 同じモデルでも、回によって点数が動きます。 Qwen3.5 9Bの英語は、3回で68%→77%→85%と変わりました。27Bの令和8年度本試験の国語は、33点・0点・88点でした。1回だけの結果で順位を決めるのは危ういと、あらためて感じています。
- 小さいモデルほど速いとは限りません。 Qwen3.5 9Bは、ファイルの大きさがGemma 4 31Bの3分の1ほどですが、考える量が多く、数学・英語ではGemmaとほぼ同じ時間がかかりました。
読み方の注意
- この結果は、今回の条件での値です。 モデルによって、量子化の形式・推論エンジン・生成の設定が違います。「このMac Studioで、この設定で動かしたときの結果」として読んでください。
- 学習データに含まれている可能性があります。 問題と正解は公開済みです。どのモデルも、学習データにこれらが含まれている可能性を否定できません。gpt-6.1-solの知識カットオフは2026年4月30日で、今回の問題はすべてそれより前に公開されています。ローカルモデルの学習データの時期は確認できていません。
- 時間は参考値です。 問題のまとまりごとに、送ってから答えが返るまでの時間を足し合わせたものです。1つのまとまりは30分で打ち切っているので、打ち切りの多いモデル（Gemmaの国語・理科など）の時間は短めに出ています。
- 採点について。 公表されている正解と配点に照らして採点しました。答えの書き方の違い（全角と半角、小問の番号の書き方など）は、決めた規則でそろえています。数学以外の教科では、本番の回答を見たあとに、読み取りの規則を足しました。どれも全モデルに同じように当て、経緯はすべて公開資料に書いています。正解キーは公式の正解PDFから転記し、25回分すべてを人の目で照合しました。
国語の送り方について
国語は「大問ごとに送ると、途中で打ち切られたときに大問全体が0点になる」ことが、結果を大きく左右していました。そこで、問ごとに送る方式でも計測しています。今回の表は大問ごとに送った結果で、問ごとの結果は、あらためて紹介する予定です。
追記（2026年10月15日）
Qwen3.8-Flash-Next の結果
Qwen3.8-Flash-Next（Alibaba）を、ほかのモデルと同じ問題・指示文・上限で、5教科とも5回分を3回ずつ解かせました（10月15日に計測）。
| Qwen3.8-Flash-Next | 数学 | 英語 | 社会 | 国語 | 理科 |
|---|---|---|---|---|---|
| 得点（5回分の平均得点率、%） | 78.3 | 90.3 | 84.0 | 20.7 | 76.9 |
| 所要時間（1回分の平均、分） | 2.2 | 1.4 | 2.8 | 1.3 | 4.1 |
- このモデルだけ、動かし方が違います。 LM Studioの配布版（GGUF）は最小の版でも約120GBあり、96GBのMac Studioに収まりません。そこで、mlx-serve という別のサーバーで動く、より強く量子化した版（3.3bpw。ほかのモデルは4ビット前後）を使いました。得点と時間は「モデルとサーバーの組み合わせ」の値として読んでください。得点には、量子化の影響が含まれている可能性があります。
- 得点は、5教科ともQwen3.8 27Bを下回りました。 打ち切りや、答えを書かずに終わった応答は1つもありませんでした。それでも国語は20.7%にとどまっています。
- 時間は、ほかのローカルモデルより大幅に短くなりました。 1回あたりの出力がQwen3.8 27Bより短いこと（数学で約0.4倍、国語で約0.07倍）と、全体は1,250億パラメータでも1トークンごとに使うのは約60億だけの構造（MoE）であることが、主な理由です。
採点プログラムの修正
公開後に、AIツールによるコードレビュー（GPT Pro）を受け、採点プログラムが説明どおりに働いていなかった次の3点を直しました。人による査読ではありません。
- 英字の答えに複数の候補を書いた回答（「c または d」）を、「c」と読んでいた。
- 式で書いた回答（「9+1」など）を、先頭の数（「9」）と読んでいた。
- 同じ欄に、読み取れる値と読み取れない値を併記した回答（「9」と「8/9」）を、「9」と読んでいた。直したあとは、曖昧な回答として不正解にしています。
保存してあるすべての回答（5,727記録）を直したプログラムで採点し直しましたが、点数が変わったものはありませんでした。この記事の表の数値と正解キーは変わりません。Qwen3.8-Flash-Next の結果も、直したあとのプログラムで採点した値です。経緯はGitHubの scoring/SCORING.md に記録しています。
公開資料
指示文、問題の分け方、採点プログラム、正解キー、問ごとの採点結果を一式にまとめ、GitHubで公開しました。問題の画像とモデルの生の出力は含めていません。問題そのものは、国立高専機構のサイトから入手してください。
この計測は、筆者の研究室での取り組みとして行ったもので、国立高専機構や本校の公式の活動ではありません。また、各モデルの開発元とも関係はありません。
謝辞
本計測は、一般財団法人放送大学教育振興会 2026年度助成金（課題名「外部APIとローカルLLMの分業による個人情報保護に配慮した物理教育フィードバック自動生成システムの開発と実践」）の支援を受けて行った、ローカルLLMの性能確認の一環です。計測に用いたMac Studioは、同助成により導入しました。この場を借りて御礼申し上げます。