1. この無料検証記事で公開する実測データとコード
外部の従量課金LLM APIだけに頼って自律バッチやCI/CD判定を回していると、ある日突然「クレジット枯渇(HTTP 402)」や「レート制限」で全ワークフローが止まります。かといって、手元のローカルワークステーションでOllamaを動かす場合も、「どのモデルなら実用的な遅延で、必要なJSONスキーマを落とさずに返せるのか」を感覚で選ぶと、応答タイムアウトやJSONパースエラーで後段が連鎖停止します。
この記事では、筆者の開発機(AMD RYZEN AI MAX+ 395 w/ Radeon 8060S / 統合メモリ128GB構成:Radeon 8060S 専用UMA VRAM 64.0GB + Linux OSシステムRAM 62.4GB / Ubuntu 24.04.5 LTS)上で稼働しているOllama(ollama version is 0.40.8)に対し、代表的な3モデル(qwen3.6:35b-a3b、gemma4:31b、gemma4:12b)を同一プロンプト・temperature=0・format="json"・think=false で実測ベンチマークした結果と、そのまま組み込めるPython 3.12標準ライブラリ製の Fail-Closed JSONルーター実装を無料公開します。
この記事のポイント(実機検証済み・推測なし)
1. 同一ホスト・同一タスク3問(障害トリアージ/APIエラー分類/Fail-Closedデプロイ判定)の実測値を公開
2. 速度最優先はqwen3.6:35b-a3b(平均 94.99 tok/s / 707.1 ms)、高密度Dense推論のgemma4:31bは平均 28.04 tok/s / 2016.1 ms
3. 実機で踏んだ致命的な罠:qwen3.6だけでなく **gemma4系も既定で思考トークン(think)が有効**なため、"think": falseを明示しないとnum_predict=320を思考だけで使い切ってしまい、gemma4:31b(平均 12793.3 ms)もgemma4:12b(平均 6087.5 ms)もJSON合格率 0/3(空応答)で落ちます
2. 検証環境とベンチマーク条件
誇張や別環境からの流用を避けるため、本記事の数値はすべて以下の実機から https://www.akashiczero.com へHTTPリクエストを送り、Ollamaが返却した eval_count・eval_duration・load_duration とPython側の実測ウォールクロック(time.perf_counter()`)で記録しています。
- CPU / APU: AMD RYZEN AI MAX+ 395 w/ Radeon 8060S(32 論理スレッド)
- メモリ構成: 専用UMA VRAM 64.0 GB(
mem_info_vram_total= 68,719,476,736 B) + OSシステムメモリ 62.4 GB(MemTotal= 65,462,764 kB) - OS / Python / Ollama: Ubuntu 24.04.5 LTS / Python 3.12.3 /
ollama version is 0.40.8 - 計測プロトコル: モデルごとに1回のウォームアップ後に3種類の日本語構造化JSONタスクを実行(
temperature: 0,format: "json",think: false,num_predict: 320,num_ctx: 4096,stream: false) - 評価タスク(3問):
alert_triage:SQLITE_BUSY_SNAPSHOT障害ログからの重大度・ページング要否判定api_error_rca:HTTP 402 Payment Requiredエラーからのretryable真偽値と担当チーム抽出deploy_gate_check: テスト35件通過・2件失敗の入力に対して確実にBLOCKを返す境界テスト
3. 実測結果:3モデル比較(速度・遅延・JSON合格率)
同条件(think: false, num_ctx: 4096)で計測した実測値の一覧は以下の通りです。
| モデル | 生成速度(平均) | 応答時間(平均) | JSONスキーマ合格 | 初回読込時間 | 計測時設定 |
|---|---|---|---|---|---|
| qwen3.6:35b-a3b | 94.99 tok/s | 707.1 ms | 3/3 | 7782 ms | think=false / num_ctx=4096 |
| gemma4:31b | 28.04 tok/s | 2016.1 ms | 3/3 | 14705 ms | think=false / num_ctx=4096 |
| gemma4:12b | 64.47 tok/s | 1068.5 ms | 3/3 | 4361 ms | think=false / num_ctx=4096 |
この実測(および think 制御なしの対照実験)から、実務でローカルLLMルーターを組む際の重要な設計知見が3つ得られました。
知見A:MoEでもDenseでも「think: false 未指定」は定型JSONで全滅する
今回の実験で最も価値が高かった一次発見がこれです。qwen3.6:35b-a3b だけでなく gemma4:31b と gemma4:12b も Ollama 既定設定では出力前に長い内部思考ストリーム(thinking)を生成します。短いJSONを1個返すだけのタスクで think: false を付け忘れると、num_predict=320 の枠をすべて思考文が消費して response フィールドが空になり、**gemma4:31b は平均 12793.3 ms 掛けて 0/3 全滅、gemma4:12b も 6087.5 ms 掛けて 0/3 全滅という現象が実機で再現しました。構造化抽出やCIゲートでは 全対象モデルで明示的に "think": false を渡すこと** が必須です。
知見B:MoE構成(qwen3.6:35b-a3b)が対話的JSON抽出で最速クラス
qwen3.6:35b-a3b は35Bクラスの総パラメータを持ちながらトークン生成時の活性化パラメータが小さいMoE構成であるため、think: false 時の生成速度は 94.99 tok/s、平均応答時間 707.1 ms(1秒未満)で 3/3 を処理しました。バッチの1次トリアージやリアルタイムルーターの主戦力として極めて優秀です。
知見C:gemma4:12b(64.47 tok/s)と gemma4:31b(28.04 tok/s)の役割分担
同じ think: false 条件に揃えると、gemma4:12b は平均 1068.5 ms(3/3)、31B Dense の gemma4:31b は平均 2016.1 ms(3/3)で安定します。定型分類は高速な qwen3.6:35b-a3b または gemma4:12b で捌き、スキーマ失敗時や複雑な長文レビューだけを重いDenseモデルへエスカレーションする多段構成にすることで、純利益(時間コスト対効果)を最大化できます。
4. コピペで動く:Port分離型 Fail-Closed Ollama ルーター実装(Python 3.12)
Ollamaの format="json" オプションは「文法的に壊れていないJSONを返す」ことしか保証しません。実務で怖いのは、**必須キーが抜けた {"decision": "MAYBE"} や思考トークン枯渇による空文字が素通りしてしまう事故**です。
以下のスクリプトは依存ゼロ(Python 3.12標準ライブラリのみ)かつ Port(通信注入)分離構造 で設計しており、そのまま実行すると「1次モデル不正応答時の次候補フォールバック」と「全滅時の安全側遮断(BLOCKED_FAIL_CLOSED)」を決定論的に自己検証できます。本番接続時は urllib.request 等を使った数行のHTTPトランスポート関数を transport 引数に渡すだけで動作します。
from __future__ import annotations
import json
import time
from dataclasses import dataclass
from typing import Any, Callable
@dataclass(frozen=True)
class RouteCandidate:
model: str
timeout_s: float
disable_think: bool = True
num_ctx: int = 4096
def build_ollama_payload(candidate: RouteCandidate, prompt: str) -> dict[str, Any]:
"""think誤消費と既定長コンテキスト膨張を防ぐ安全パラメータでペイロードを構築する。"""
payload: dict[str, Any] = {
"model": candidate.model,
"prompt": prompt,
"format": "json",
"stream": False,
"options": {
"temperature": 0,
"num_predict": 320,
"num_ctx": candidate.num_ctx,
},
}
if candidate.disable_think:
payload["think"] = False
return payload
def validate_deploy_gate_json(obj: Any) -> list[str]:
"""必須キーと安全側(Fail-Closed)制約を検査する。"""
errors: list[str] = []
if not isinstance(obj, dict):
return ["response_not_json_object"]
if obj.get("decision") not in ("APPROVE", "BLOCK"):
errors.append("invalid_decision_enum")
if not isinstance(obj.get("failed_checks"), list):
errors.append("failed_checks_not_list")
if not isinstance(obj.get("reason"), str) or not obj["reason"].strip():
errors.append("missing_non_empty_reason")
return errors
def route_fail_closed(
prompt: str,
candidates: list[RouteCandidate],
validator: Callable[[Any], list[str]],
transport: Callable[[dict[str, Any], float], dict[str, Any]],
) -> dict[str, Any]:
"""高速モデルから順に試行し、全滅時は推論結果を採用せずBLOCKを返す。"""
attempts: list[dict[str, Any]] = []
for cand in candidates:
t0 = time.monotonic()
try:
payload = build_ollama_payload(cand, prompt)
raw = transport(payload, cand.timeout_s)
parsed = json.loads(str(raw.get("response") or "{}"))
errs = validator(parsed)
if errs:
raise ValueError(f"schema_validation_failed:{','.join(errs)}")
return {
"status": "PASSED",
"used_model": cand.model,
"elapsed_ms": round((time.monotonic() - t0) * 1000, 2),
"result": parsed,
"attempts": attempts,
}
except Exception as exc:
attempts.append({
"model": cand.model,
"elapsed_ms": round((time.monotonic() - t0) * 1000, 2),
"error": str(exc)[:160],
})
return {
"status": "BLOCKED_FAIL_CLOSED",
"used_model": None,
"result": {
"decision": "BLOCK",
"failed_checks": ["llm_router_exhausted"],
"reason": "All local LLM candidates failed validation",
},
"attempts": attempts,
}
def _self_test() -> None:
cands = [
RouteCandidate("qwen3.6:35b-a3b", timeout_s=15.0, disable_think=True),
RouteCandidate("gemma4:12b", timeout_s=15.0, disable_think=True),
]
# Case 1: think制御漏れ相当の空応答・不正enum -> 高速モデルから次候補へ安全フォールバック
def mock_fallback(payload: dict[str, Any], _timeout_s: float) -> dict[str, Any]:
assert payload.get("think") is False
if payload["model"] == "qwen3.6:35b-a3b":
return {"response": json.dumps({"decision": "MAYBE"})}
return {
"response": json.dumps({
"decision": "BLOCK",
"failed_checks": ["unit_tests_failed"],
"reason": "2 unit tests failed",
})
}
r1 = route_fail_closed("gate", cands, validate_deploy_gate_json, transport=mock_fallback)
assert r1["status"] == "PASSED" and r1["used_model"] == "gemma4:12b"
# Case 2: 全候補タイムアウト・接続断 -> 絶対にAPPROVEへ倒さずBLOCKED_FAIL_CLOSEDを返す
def mock_all_down(payload: dict[str, Any], _timeout_s: float) -> dict[str, Any]:
raise TimeoutError(f"ollama unreachable for {payload['model']}")
r2 = route_fail_closed("gate", cands, validate_deploy_gate_json, transport=mock_all_down)
assert r2["status"] == "BLOCKED_FAIL_CLOSED" and r2["result"]["decision"] == "BLOCK"
print(json.dumps({
"self_test": "OK",
"fallback_model": r1["used_model"],
"fail_closed_decision": r2["result"]["decision"],
}, ensure_ascii=False))
_self_test()
手元の Ollama 実機へ 1 コマンドで同じ条件("think": false / num_ctx: 4096)を投げて再現確認したい場合は、以下の curl コマンドで確認できます。
curl -s https://www.akashiczero.com -d '{
"model": "qwen3.6:35b-a3b",
"prompt": "JSONで decision(APPROVE|BLOCK), failed_checks(list), reason(str) のみ出力: unit_tests_failed=2",
"format": "json",
"think": false,
"stream": false,
"options": {"temperature": 0, "num_predict": 320, "num_ctx": 4096}
}'
5. ローカルLLM本番運用で踏みがちな4つの落とし穴チェックリスト
- [ ]
format="json"だけを信じてキー存在チェック・型チェック・列挙値チェック(enum)を省略していないか - [ ]
qwen3.6・gemma4系モデルを定型JSON抽出に使う際、明示的に"think": falseとnum_ctx上限を設定しているか - [ ] 全モデル失敗時の戻り値をデフォルト承認(例:
return True)にしておらず、明示的にFail-Closed(BLOCK)で停止させているか - [ ] ローカルで賄えないタスクを外注APIへ逃がす際も、日次・月次のAPI予算ハードリミッターを噛ませて課金暴走を物理遮断しているか
6. 次のステップ:運用自動化・安全制御の有料検証ハーネス&完全版マガジン
今回の記事は無料で公開した「ローカルLLMの速度×精度の計測と判断」パートですが、実際の無人運用ではこれに加えて「API予算の上限強制と損益最適化」「モジュール境界を崩さない設計規律」「多段品質ゲート付き制作パイプライン」が不可欠になります。すぐ手元で流用できる検証ハーネスを小額(¥280〜¥380)で公開していますので、課題に合うものからご活用ください。
- API課金暴走を物理遮断するハード予算制限とPythonテンプレート実装(¥280)
https://note.com/shiroi1229/n/n6c6aede5b74f
- AIコード生成の手戻りを防ぐPort/Adapter分離設計と検証規律(¥280)
https://note.com/shiroi1229/n/n0231855d28e7
- 自律制作パイプラインにおける多段品質ゲートの設計図(¥380)
https://note.com/shiroi1229/n/n04cc32955211
- 【完全版マガジン】自前AIインフラ開発録&検証ハーネス 全19本収録(¥2,480・単品購入より大幅割引)