🖥️ ローカルLLMでHermesを使う時
Hermesはクラウドのフロンティアモデルでも、手元のローカルLLM(Mac の MLX や GPU の GGUF など)でも動きます。ローカルLLMで使う場合に効いてくる、実地で見えてきたコツをまとめます。
🧠 思考(reasoning)は基本ONを推奨
最近のローカルLLM(Qwen3系など)は、回答前に内部で「思考」してから答える思考モードを持ちます。これは OFFにすると速いぶん、エージェント用途では取りこぼしが増えがちです。ローカルLLMでHermesをエージェントとして使うなら、思考ONを推奨します。
実地で見えた例:design-md スキル
「DESIGN.md(デザイントークン仕様)を作る」スキルを、同じモデル(Qwen3.5-9B)で思考ON/OFFだけ変えて試した結果です。生成物を実際にバリデータ(@google/design.md lint / export)にかけて独立検証しました。
| 条件 | lint結果 | エクスポート |
|---|---|---|
| Qwen3.6-35B-A3B・思考ON | ✅ エラー 0 | ✅ 成功 |
| Qwen3.5-9B・思考ON | ✅ エラー 0 | ✅ 成功 |
| Qwen3.5-9B・思考OFF | ❌ エラー 3 | ❌ 失敗 |
思考OFFのエラー3件はすべて「{elevation.md} 等のトークンを参照しているのに定義を書き忘れている」という自己整合性の崩れでした。思考ONにした途端、同じ小型モデルでも0エラーに。差はモデルサイズではなく思考ON/OFFでした。
・相互参照・構造化出力・複数ステップ・仕様書き → 思考ON(整合性が命)
・短い一発タスク・速度最優先・参照の少ない生成 → 思考OFFでも可
🔧 ツールは「絞る」が基本
ローカルLLMは、毎回プロンプト先頭に大量のツール定義(初期設定だと80以上のスキルで約25Kトークン)を積むと、選択に迷い・遅くなります。用途ごとに必要なツールだけを有効にした軽量プロファイルを使うのが、ローカルでは速度・精度の両面で効きます。
→ プロファイルの作り方とプリフィル/KVキャッシュの話 / 自動ツール作成について(ローカルは自動より厳選)
⚡ 速度:プリフィルとプレフィックスキャッシュ
初回の遅さの正体は「大量のツール定義の読み込み(プリフィル)」です。プレフィックスキャッシュ対応の推論エンジン(Mac=MLX、Linux=vLLM/SGLang、Windows=llama.cpp等)を使うと、2回目以降は先頭部分のプリフィルをスキップでき大幅に速くなります。詳細はプロファイルのページを参照。
🧭 マルチエージェント / Kanban は基本不要
個人のローカル環境は通常「1台・1モデルのシングルストリーム推論」です。ここでワーカーを並列起動しても、裏のモデルは1つなので処理は直列化され、並列による時短は得られません(むしろKVキャッシュの奪い合いで遅くなりがち)。オーケストレーションの価値はフロンティアモデルや複数マシン構成で活きます。
✅ ローカルで動くスキルを確認する
どのスキルがローカルLLMで実用に足るかは、実際に試さないと分かりません。当ガイドでは Hermes 標準73スキルを Qwen で1つずつ検証し、結果を更新しています。