AKASHIC ZERO

【実機計測】Ryzen AI Max+ 395 / 128GB環境でローカルLLM 3モデルのJSON精度と速度を比較&Fail-Closedルーター実装

Ryzen AI Max+ 395 / 128GB環境でローカルLLM 3モデルのJSON精度と速度を比較&Fail-Closedルーター実装 — 境界条件の検証コード・監査レシート・導入手順を同梱した実践技術キット。

ローカルLLMOllamaPythonAIエージェントベンチマーク

1. この無料検証記事で公開する実測データとコード

外部の従量課金LLM APIだけに頼って自律バッチやCI/CD判定を回していると、ある日突然「クレジット枯渇(HTTP 402)」や「レート制限」で全ワークフローが止まります。かといって、手元のローカルワークステーションでOllamaを動かす場合も、「どのモデルなら実用的な遅延で、必要なJSONスキーマを落とさずに返せるのか」を感覚で選ぶと、応答タイムアウトやJSONパースエラーで後段が連鎖停止します。

この記事では、筆者の開発機(AMD RYZEN AI MAX+ 395 w/ Radeon 8060S / 統合メモリ128GB構成:Radeon 8060S 専用UMA VRAM 64.0GB + Linux OSシステムRAM 62.4GB / Ubuntu 24.04.5 LTS)上で稼働しているOllama(ollama version is 0.40.8)に対し、代表的な3モデル(qwen3.6:35b-a3b、gemma4:31b、gemma4:12b)を同一プロンプト・temperature=0・format="json"・think=false で実測ベンチマークした結果と、そのまま組み込めるPython 3.12標準ライブラリ製の Fail-Closed JSONルーター実装を無料公開します。

この記事のポイント(実機検証済み・推測なし)
1. 同一ホスト・同一タスク3問(障害トリアージ/APIエラー分類/Fail-Closedデプロイ判定)の実測値を公開
2. 速度最優先は qwen3.6:35b-a3b(平均 94.99 tok/s / 707.1 ms)、高密度Dense推論の gemma4:31b は平均 28.04 tok/s / 2016.1 ms
3. 実機で踏んだ致命的な罠:qwen3.6 だけでなく **gemma4 系も既定で思考トークン(think)が有効**なため、"think": false を明示しないと num_predict=320 を思考だけで使い切ってしまい、gemma4:31b(平均 12793.3 ms)も gemma4:12b(平均 6087.5 ms)もJSON合格率 0/3(空応答)で落ちます


2. 検証環境とベンチマーク条件

誇張や別環境からの流用を避けるため、本記事の数値はすべて以下の実機から https://www.akashiczero.com へHTTPリクエストを送り、Ollamaが返却した eval_count・eval_duration・load_duration とPython側の実測ウォールクロック(time.perf_counter()`)で記録しています。

  • CPU / APU: AMD RYZEN AI MAX+ 395 w/ Radeon 8060S(32 論理スレッド)
  • メモリ構成: 専用UMA VRAM 64.0 GB(mem_info_vram_total = 68,719,476,736 B) + OSシステムメモリ 62.4 GB(MemTotal = 65,462,764 kB)
  • OS / Python / Ollama: Ubuntu 24.04.5 LTS / Python 3.12.3 / ollama version is 0.40.8
  • 計測プロトコル: モデルごとに1回のウォームアップ後に3種類の日本語構造化JSONタスクを実行(temperature: 0, format: "json", think: false, num_predict: 320, num_ctx: 4096, stream: false)
  • 評価タスク(3問):
  1. alert_triage: SQLITE_BUSY_SNAPSHOT 障害ログからの重大度・ページング要否判定
  2. api_error_rca: HTTP 402 Payment Required エラーからの retryable 真偽値と担当チーム抽出
  3. deploy_gate_check: テスト35件通過・2件失敗の入力に対して確実に BLOCK を返す境界テスト

3. 実測結果:3モデル比較(速度・遅延・JSON合格率)

同条件(think: false, num_ctx: 4096)で計測した実測値の一覧は以下の通りです。

モデル生成速度(平均)応答時間(平均)JSONスキーマ合格初回読込時間計測時設定
qwen3.6:35b-a3b94.99 tok/s707.1 ms3/37782 msthink=false / num_ctx=4096
gemma4:31b28.04 tok/s2016.1 ms3/314705 msthink=false / num_ctx=4096
gemma4:12b64.47 tok/s1068.5 ms3/34361 msthink=false / num_ctx=4096

この実測(および think 制御なしの対照実験)から、実務でローカルLLMルーターを組む際の重要な設計知見が3つ得られました。

知見A:MoEでもDenseでも「think: false 未指定」は定型JSONで全滅する

今回の実験で最も価値が高かった一次発見がこれです。qwen3.6:35b-a3b だけでなく gemma4:31b と gemma4:12b も Ollama 既定設定では出力前に長い内部思考ストリーム(thinking)を生成します。短いJSONを1個返すだけのタスクで think: false を付け忘れると、num_predict=320 の枠をすべて思考文が消費して response フィールドが空になり、**gemma4:31b は平均 12793.3 ms 掛けて 0/3 全滅、gemma4:12b も 6087.5 ms 掛けて 0/3 全滅という現象が実機で再現しました。構造化抽出やCIゲートでは 全対象モデルで明示的に "think": false を渡すこと** が必須です。

知見B:MoE構成(qwen3.6:35b-a3b)が対話的JSON抽出で最速クラス

qwen3.6:35b-a3b は35Bクラスの総パラメータを持ちながらトークン生成時の活性化パラメータが小さいMoE構成であるため、think: false 時の生成速度は 94.99 tok/s、平均応答時間 707.1 ms(1秒未満)で 3/3 を処理しました。バッチの1次トリアージやリアルタイムルーターの主戦力として極めて優秀です。

知見C:gemma4:12b(64.47 tok/s)と gemma4:31b(28.04 tok/s)の役割分担

同じ think: false 条件に揃えると、gemma4:12b は平均 1068.5 ms(3/3)、31B Dense の gemma4:31b は平均 2016.1 ms(3/3)で安定します。定型分類は高速な qwen3.6:35b-a3b または gemma4:12b で捌き、スキーマ失敗時や複雑な長文レビューだけを重いDenseモデルへエスカレーションする多段構成にすることで、純利益(時間コスト対効果)を最大化できます。


4. コピペで動く:Port分離型 Fail-Closed Ollama ルーター実装(Python 3.12)

Ollamaの format="json" オプションは「文法的に壊れていないJSONを返す」ことしか保証しません。実務で怖いのは、**必須キーが抜けた {"decision": "MAYBE"} や思考トークン枯渇による空文字が素通りしてしまう事故**です。

以下のスクリプトは依存ゼロ(Python 3.12標準ライブラリのみ)かつ Port(通信注入)分離構造 で設計しており、そのまま実行すると「1次モデル不正応答時の次候補フォールバック」と「全滅時の安全側遮断(BLOCKED_FAIL_CLOSED)」を決定論的に自己検証できます。本番接続時は urllib.request 等を使った数行のHTTPトランスポート関数を transport 引数に渡すだけで動作します。

from __future__ import annotations

import json
import time
from dataclasses import dataclass
from typing import Any, Callable

@dataclass(frozen=True)
class RouteCandidate:
    model: str
    timeout_s: float
    disable_think: bool = True
    num_ctx: int = 4096

def build_ollama_payload(candidate: RouteCandidate, prompt: str) -> dict[str, Any]:
    """think誤消費と既定長コンテキスト膨張を防ぐ安全パラメータでペイロードを構築する。"""
    payload: dict[str, Any] = {
        "model": candidate.model,
        "prompt": prompt,
        "format": "json",
        "stream": False,
        "options": {
            "temperature": 0,
            "num_predict": 320,
            "num_ctx": candidate.num_ctx,
        },
    }
    if candidate.disable_think:
        payload["think"] = False
    return payload

def validate_deploy_gate_json(obj: Any) -> list[str]:
    """必須キーと安全側(Fail-Closed)制約を検査する。"""
    errors: list[str] = []
    if not isinstance(obj, dict):
        return ["response_not_json_object"]
    if obj.get("decision") not in ("APPROVE", "BLOCK"):
        errors.append("invalid_decision_enum")
    if not isinstance(obj.get("failed_checks"), list):
        errors.append("failed_checks_not_list")
    if not isinstance(obj.get("reason"), str) or not obj["reason"].strip():
        errors.append("missing_non_empty_reason")
    return errors

def route_fail_closed(
    prompt: str,
    candidates: list[RouteCandidate],
    validator: Callable[[Any], list[str]],
    transport: Callable[[dict[str, Any], float], dict[str, Any]],
) -> dict[str, Any]:
    """高速モデルから順に試行し、全滅時は推論結果を採用せずBLOCKを返す。"""
    attempts: list[dict[str, Any]] = []
    for cand in candidates:
        t0 = time.monotonic()
        try:
            payload = build_ollama_payload(cand, prompt)
            raw = transport(payload, cand.timeout_s)
            parsed = json.loads(str(raw.get("response") or "{}"))
            errs = validator(parsed)
            if errs:
                raise ValueError(f"schema_validation_failed:{','.join(errs)}")
            return {
                "status": "PASSED",
                "used_model": cand.model,
                "elapsed_ms": round((time.monotonic() - t0) * 1000, 2),
                "result": parsed,
                "attempts": attempts,
            }
        except Exception as exc:
            attempts.append({
                "model": cand.model,
                "elapsed_ms": round((time.monotonic() - t0) * 1000, 2),
                "error": str(exc)[:160],
            })
    return {
        "status": "BLOCKED_FAIL_CLOSED",
        "used_model": None,
        "result": {
            "decision": "BLOCK",
            "failed_checks": ["llm_router_exhausted"],
            "reason": "All local LLM candidates failed validation",
        },
        "attempts": attempts,
    }

def _self_test() -> None:
    cands = [
        RouteCandidate("qwen3.6:35b-a3b", timeout_s=15.0, disable_think=True),
        RouteCandidate("gemma4:12b", timeout_s=15.0, disable_think=True),
    ]

    # Case 1: think制御漏れ相当の空応答・不正enum -> 高速モデルから次候補へ安全フォールバック
    def mock_fallback(payload: dict[str, Any], _timeout_s: float) -> dict[str, Any]:
        assert payload.get("think") is False
        if payload["model"] == "qwen3.6:35b-a3b":
            return {"response": json.dumps({"decision": "MAYBE"})}
        return {
            "response": json.dumps({
                "decision": "BLOCK",
                "failed_checks": ["unit_tests_failed"],
                "reason": "2 unit tests failed",
            })
        }

    r1 = route_fail_closed("gate", cands, validate_deploy_gate_json, transport=mock_fallback)
    assert r1["status"] == "PASSED" and r1["used_model"] == "gemma4:12b"

    # Case 2: 全候補タイムアウト・接続断 -> 絶対にAPPROVEへ倒さずBLOCKED_FAIL_CLOSEDを返す
    def mock_all_down(payload: dict[str, Any], _timeout_s: float) -> dict[str, Any]:
        raise TimeoutError(f"ollama unreachable for {payload['model']}")

    r2 = route_fail_closed("gate", cands, validate_deploy_gate_json, transport=mock_all_down)
    assert r2["status"] == "BLOCKED_FAIL_CLOSED" and r2["result"]["decision"] == "BLOCK"
    print(json.dumps({
        "self_test": "OK",
        "fallback_model": r1["used_model"],
        "fail_closed_decision": r2["result"]["decision"],
    }, ensure_ascii=False))

_self_test()

手元の Ollama 実機へ 1 コマンドで同じ条件("think": false / num_ctx: 4096)を投げて再現確認したい場合は、以下の curl コマンドで確認できます。

curl -s https://www.akashiczero.com -d '{
  "model": "qwen3.6:35b-a3b",
  "prompt": "JSONで decision(APPROVE|BLOCK), failed_checks(list), reason(str) のみ出力: unit_tests_failed=2",
  "format": "json",
  "think": false,
  "stream": false,
  "options": {"temperature": 0, "num_predict": 320, "num_ctx": 4096}
}'

5. ローカルLLM本番運用で踏みがちな4つの落とし穴チェックリスト

  • [ ] format="json" だけを信じてキー存在チェック・型チェック・列挙値チェック(enum)を省略していないか
  • [ ] qwen3.6・gemma4 系モデルを定型JSON抽出に使う際、明示的に "think": false と num_ctx 上限を設定しているか
  • [ ] 全モデル失敗時の戻り値をデフォルト承認(例:return True)にしておらず、明示的にFail-Closed(BLOCK)で停止させているか
  • [ ] ローカルで賄えないタスクを外注APIへ逃がす際も、日次・月次のAPI予算ハードリミッターを噛ませて課金暴走を物理遮断しているか

6. 次のステップ:運用自動化・安全制御の有料検証ハーネス&完全版マガジン

今回の記事は無料で公開した「ローカルLLMの速度×精度の計測と判断」パートですが、実際の無人運用ではこれに加えて「API予算の上限強制と損益最適化」「モジュール境界を崩さない設計規律」「多段品質ゲート付き制作パイプライン」が不可欠になります。すぐ手元で流用できる検証ハーネスを小額(¥280〜¥380)で公開していますので、課題に合うものからご活用ください。

  • API課金暴走を物理遮断するハード予算制限とPythonテンプレート実装(¥280)

https://note.com/shiroi1229/n/n6c6aede5b74f

  • AIコード生成の手戻りを防ぐPort/Adapter分離設計と検証規律(¥280)

https://note.com/shiroi1229/n/n0231855d28e7

  • 自律制作パイプラインにおける多段品質ゲートの設計図(¥380)

https://note.com/shiroi1229/n/n04cc32955211

  • 【完全版マガジン】自前AIインフラ開発録&検証ハーネス 全19本収録(¥2,480・単品購入より大幅割引)

https://note.com/shiroi1229/m/mb902bc9cb04c

FREE TECHNICAL BRIEFING

実測ポストモーテム・修正パッチの続報を受け取る

一次検証データ・Fail-Closed 境界実装・新規無料記事の公開時にのみ配信します(広告なし・いつでも1クリック解除可能)。プライバシーポリシーに同意のうえご登録ください。

購読管理フォームを別タブで開く ↗