ツール呼び出しでも大きいモデルは勝てなかった

ツール呼び出しでも大きいモデルは勝てなかった LLMにツールを持たせる（function calling / tool use）。これはエージェントの基盤技術であり、RAGの次の進化であり、ローカルLLMの実用性を左右する機能だ。 では、どのモデルがfunction callingで最も正確か。13モデルをQ4_K_M量子化でテストした2026年のベンチマーク（JD Hodges, 2026）の結果は、予想を裏切るものだった。 97.5%の精度を出したのは3.4GBのモデルだった。25GBのモデルは85%で負けた。 少なくともこのテスト環境では、大きいモデルが強いという前提は成り立たなかった。 ベンチマーク結果: 13モデル全比較 全モデルQ4_K_M量子化（モデルの精度を維持しつつVRAM使用量を約75%削減する4bit圧縮）、LM Studio経由で統一環境テスト。40ケースのfunction calling精度。サイズはLM Studio上でのロードVRAM（ファイルサイズとは異なる）。 順位 モデル サイズ 精度 1 Qwen3.5 4B 3.4GB 97.5% 2 GLM-4.7-Flash 18GB 95.0% 2 Nemotron 3 Nano 4B 4.2GB 95.0% 4 Mistral Nemo 12B 7.5GB 92.5% 5 Qwen3 8B 5GB 85.0% 5 GPT-OSS 20B 12GB 85.0% 5 Nemotron 3 Nano 30B-A3B 25GB 85.0% 8 DeepSeek-R1-Distill 14B 9GB 57.5% 8 Phi-4 Mini 2.5GB 57.5% 10 Gemma 3 4B QAT 3.2GB 55.0% 11 Mistral Small 3.2 24B 15GB 42.5% 12 Hammer 2.1 7B 4.2GB 20.0% 13 xLAM-2 8B FC-R 4.9GB 15.0% 3つの衝撃 衝撃1: 3.4GBが97.5% Qwen3.5 4Bは40ケース中39ケースで成功。失敗は1ケースのみ。3.4GBはRTX 4060 8GBのVRAMの半分以下。推論モデルとEmbeddingを同時に動かしても余裕がある。 衝撃2: サイズだけでは精度を予測できない サイズ モデ