- 公式マニュアルに勝る『現場の知恵』をAIに最優先させる、システムプロンプトによる重み付け技術
- コマンド実行前の確認手順を3点セットで回答させるなど、安全性を担保する指示（Instruction）の雛形
現場の知恵を、AIの「第一優先事項」にする
自己進化型FAQ AI（SharePointエージェントやCopilot）を構築し、大量のドキュメントを読み込ませた際、多くの管理者が「AIが一般的な回答ばかりで、現場特有の重要な情報（お作法）を無視してしまう」という壁に突き当たります。
私はこの問題を解決するため、データ量を増やすのではなく、エージェントに対する**「指示（System Instructions）」**を徹底的に作り込み、AIに「情報の優先順位」を教え込む手法を確立しました。公式マニュアルを凌駕し、「現場の検証済みナレッジ（HTML）」を最優先させるプロンプトエンジニアリングの極意を共有します。
なぜAIは「現場の声」を無視するのか？（私の考察）
CiscoやFortiGateなどの公式マニュアルは完璧ですが、自社のシステム構成特有の「癖」や、過去に泥臭く解決した未知のバグ回避策までは載っていません。 複数のソースが与えられたとき、AIはデフォルトでは「分量の多い、あるいは形式が整った公式ドキュメント」を信じてしまう傾向があります。
これを防ぐには、AIに対して明確な**「情報の重み付け（優先順位）」**を指令として叩き込む必要があります。私は以下のロジックで、「公式は参考、ナレッジは絶対」という思考ルーチンを構築しました。
[私が設計した「優先順位ベース」の思考フロー]
graph TD
A["ユーザーの質問"] --> B{ "AIエージェント (Instructions)" }
B -->| "優先度: 極大" | C["**社内独自HTMLナレッジ**<br/>(現場の成功体験)"]
B -->| "優先度: 補完" | D["公式リファレンスPDF<br/>(一般的な仕様)"]
C --> E("現場に即した実用的な回答")
D -.->| "知識の穴埋め" | E
style C fill:#dff,stroke:#0078d4,stroke-width:2px
🗜️ 私が検証して導き出した「最強の指示」リスト
AIをこちらの意図通りに従順に従わせるために、私が実際にInstructionsへ埋め込んでいる設定値です。
| 指示項目 | 私の設定値 / 推奨プロンプト | 実装後の効果 |
|---|---|---|
| ソースの優先順位 | 「必ず指定フォルダのHTMLファイルを最優先の唯一の真実として参照せよ」 | 公式ドキュメントの一般論による上書き（ハルシネーション）を撲滅 |
| 書式の強制 | 「必ず <code> タグを使用し、実行前の『ステータス確認コマンド』を必携とせよ」 |
現場ですぐに使える、コピペ可能な高品質な成果物の生成 |
| 自己進化プロンプト | 「解決時に #ナレッジ登録 と出力し、事象・手順のJSON構造を提示せよ」 | Power Automateが即座に解析できる「AI自身の記憶の整理」を自動化 |
| 境界線の設定 | 「ソースに記述がない場合は、プロの誠実さを持って『不明』と回答せよ」 | DLP環境下における「もっともらしい嘘」の拡散を完全防止 |
私が実践して成果を上げた具体的な運用フロー
AIの回答精度を「実用レベル」に引き上げるために私が行っている手順です。
- 「優先順位」の明文化: エージェントの根本設定に、「あなたは社内インフラの守護神です。公式マニュアルはあくまで補足であり、[指定フォルダ] のHTMLナレッジこそが最高の正解であることを肝に銘じてください」といった強い言葉を定義しました。
- CLI出力の「サンドイッチ」形式: 変更コマンドだけを教えるのは危険です。「実行前確認コマンド → 変更コマンド → 実行後確認コマンド」という3点セットで回答するよう指示を固定。これにより、現場のヒューマンエラーが大幅に減りました。
- 「ナレッジ登録」の半自動化: やり取りの最後にAIに自己要約させ、特定のハッシュタグ（#ナレッジ登録）をつけさせることで、そのまま私の「HTML自動変換エンジン」へ流し込むための綺麗なデータを抽出させています。
検証結果: この指示チューニングを施したことで、AIの回答における「自社環境への適合率」が劇的に向上し、検証機でのコマンド動作確認の手間が大幅に軽減されました。
よく受ける質問と私の回答(FAQ)
Q: 指示（Instructions）を書き換えてもAIが言うことを聞かない時はどうしていますか？
A: AIは時折、過去の対話の慣性に引きずられます。私はそのような時、あえて「命令: 以下のルールに絶対に従うこと」という強い制約語（Strict Grounding）を用い、かつエージェントの設定で「テストセッションを一度クリア（リセット）」して、マッサラな状態で再学習させています。
Q: 指示（プロンプト）を作り込むだけで精度は十分ですか？
A: いいえ、指示はあくまで「脳のルール」です。並行して前の記事で書いた「HTMLによる記憶の整理（ナレッジの構造化）」も行わないと、AIは正しい答えを見つけられません。「綺麗な棚（HTML）」と「正しい探し方（Instructions）」のセットが不可欠です。
Q: 推測での回答を禁止すると、AIの利便性が下がりませんか？
A: インフラの現場において、「もっともらしい嘘（ハルシネーション）」は致命傷になります。私は、「分からないことは『分からない』と答え、担当者へのエスカレーションを促す」ことこそが、AIに対する長期的な信頼を築く唯一の道だと信じて運用しています。
よくやらかす失敗パターンと対処法
RAGのInstructions調整を進める中で何度も繰り返した失敗と、その回避策をまとめた。
❌ Instructionsが長すぎてAIが後半を無視した
「これをすること、あれをすること…」と50行以上のルールを書き込んだところ、後半に書いたルール（ナレッジ登録の形式など）が完全に無視されるようになった。GPT-4系モデルはInstructionsの前半に書いたルールほど強く適用される傾向がある。最重要ルール（情報の優先順位）を先頭に置き、全体を20行以内に絞ったことで改善した。
❌ 「なるべく〜してください」という丁寧語が効かなかった
最初は「なるべく〜してください」「可能であれば〜してください」と書いていたが、AIが「なるべく」を文字通りに解釈して守らなかった。「必ず〜する」「絶対に〜せよ」「例外なく〜すること」という命令形に書き換えてから遵守率が大幅に上がった。丁寧語はユーザー向けの会話体であり、Instructions向けではないと気づいた。
❌ HTMLナレッジのファイル数が増えすぎてRAGが誤ヒットした
1ファイルに複数の事象を詰め込んでいた時期、類似キーワードを含む別事例が検索で混入し、AIが異なる機器の設定コマンドを誤って回答した。1問1ファイルの原則に戻して分割したところ、誤ヒット率がほぼゼロになった。量の問題ではなく、粒度の問題だったと理解した。
❌ セッションリセットを忘れて新旧ルールの混在が起きた
Instructionsを書き換えた後、テストセッションをリセットせずに動作確認したため、どちらの指示が効いているか判別できない状態が続いた。Instructions変更後は必ずセッションをリセット（Copilot Studioでは「テスト」パネルの「会話をリセット」ボタン）してから確認するようにした。
❌ #ナレッジ登録 タグが本文中間に混入してJSON抽出が失敗した
Power Automateの取得条件として「AIの返答に #ナレッジ登録 が含まれる場合にトリガー」を設定していたが、AIが返答の中間に自然な文として埋め込んでしまい、後続のJSON抽出処理が失敗した。Instructionsに「返答の末尾、JSON構造の直後に #ナレッジ登録 を単独行で出力すること」と明示したことで解決した。
自分が踏んだ落とし穴と回避策
書いている内容は、私が実際に踏んだトラブルとその回避策が中心です。対処手順だけ書いて終わるのではなく、『なぜ最初の選択肢を捨てたか』『どのログを見て判断したか』も残すようにしています。製品アップデートで前提が変わったときに、この記事を読み直して自分でも辿り直せる形にしておくのが目的です。
