Domain 5 / 全6項目 / 主戦場: S1 サポート・S3 調査・S6 データ抽出

コンテキスト管理と信頼性(配点15%)

AIの作業記憶(コンテキスト)は有限で、雑に要約すると数字と日付が溶ける。長丁場でも情報を失わない設計、人間へ引き継ぐ判断、エラーの正しい流し方、出典の保全——「信頼できるシステム」の総仕上げドメイン。

Task Statement 5.1長い対話での重要情報の保持

会話を要約しながら進めると、金額・割合・日付・顧客の要望のような「硬い事実」が曖昧な要約に溶けて消える。硬い事実は要約の外に「事実ブロック」として毎回のプロンプトに固定で入れる。
試験が問うこと
  • 漸進的要約のリスク:数値・パーセンテージ・日付・顧客が明言した期待値が要約で失われる
  • lost in the middle:長い入力の最初と最後は確実に処理されるが、真ん中の情報は取りこぼされうる→重要な発見は冒頭にサマリーとして置き、詳細は明確なセクション見出しで整理
  • ツール結果はコンテキストを不釣り合いに食う(注文照会1回で40+フィールド、要るのは5個)→関連フィールドだけに刈り込んでから蓄積させる
  • 対処の型:取引の事実(金額・日付・注文番号・ステータス)を「case factsブロック」として抽出し、要約された履歴の外側で毎プロンプトに含める
  • 下流のエージェントのコンテキスト予算が限られているなら、上流には「冗長な本文と推論過程」でなく「キーファクト・引用・関連度スコア」の構造化データを返させる
うちの組織の実物

rules/handoff-memory.md の「確証済み事実」セクション(逆引き検証済みの事実を恒久ブロックとして冒頭に置き、次セッションは再調査しない)が case facts ブロックの実装。CLAUDE.md の「/compact時の保持指示」(進行中タスク・部署テーブル・委譲ルールは要約後も必ず残す)は漸進的要約リスクへの直接の防御。

ひっかけ
  • 「履歴が長くなったら全部を要約に置き換える」→ 硬い事実が溶ける。事実ブロックを外出しで維持
  • 「重要情報は文中にあれば読まれる」→ 真ん中は落ちる。冒頭サマリー+見出し構造が正解
  • 「ツール結果はそのまま全部蓄積」→ 無関係な40フィールドが予算を食う。刈り込んでから蓄積

Task Statement 5.2エスカレーションと曖昧さ解消の設計

人間に上げるべき瞬間は3つ:顧客が人間を明示的に求めた/ポリシーに書いていない例外に当たった/進展できなくなった。「難しそうだから」「顧客が怒っていそうだから」は判断材料として信頼できない。
試験が問うこと
  • 正しいエスカレーショントリガー:顧客の明示的要求/ポリシーの例外・空白(単に複雑なだけの案件は含まない)/意味のある進展の不能
  • 顧客が人間を明示要求したら調査を試みる前に即エスカレーション。ただし問題が簡単なら「解決を提案しつつ、重ねて求められたら上げる」の使い分け
  • センチメント(感情分析)ベースのエスカレーションと自己申告の確信度スコアは、実際の案件の複雑さの代理指標として信頼できない——D4・D5を貫く頻出論点
  • ポリシーが顧客の要望に対して沈黙・曖昧なら上げる(例:他社価格マッチはポリシーに自社価格調整しか書かれていない→勝手に判断しない)
  • 顧客の照合結果が複数件ヒットしたら、ヒューリスティックで1件選ばず追加の識別子を尋ねる
  • 実装は「明示的なエスカレーション基準+few-shot例」をシステムプロンプトに(D4.1/4.2の技法をここに適用)
うちの組織の実物

feedback-approval-points「自走AIの承認は『やり直せない瞬間』の境目に1点」と larc-approval-gate(CRITICAL操作は人間の承認で物理停止)が、エスカレーション設計の運用実物。「複数マッチで推測選択しない」は data-accuracy.md のID検証(キャンペーンID誤認事故)と同じ教訓。

ひっかけ
  • 「確信度が閾値以下なら自動で人間へ」→ LLMの自己申告確信度は較正されておらず、難しい案件ほど誤って自信満々(Q3誤答B)
  • 「ネガティブ感情を検知したらエスカレーション」→ 感情と案件の複雑さは相関しない(Q3誤答D)
  • 「複数ヒットしたら最も似ている1件を選ぶ」→ 誤アカウント操作の入口。追加識別子を尋ねる

Task Statement 5.3マルチエージェント系でのエラー伝播

子の失敗は「失敗の種類・試したクエリ・部分結果・代替案」を構造化してコーディネーターに返す。握りつぶし(空を成功と偽る)も全停止(例外で全ワークフロー終了)も両方アンチパターン
試験が問うこと
  • 構造化エラーコンテキストの4点セット:failure type / attempted query / partial results / alternative approaches——これがあるとコーディネーターは「修正クエリで再試行/別アプローチ/部分結果で続行」を賢く選べる
  • アクセス失敗(リトライ判断が要る)と正当な0件(成功・該当なし)の区別——D2.2と共通の頻出論点
  • 一時的な失敗は子の中でローカル回復を試み、解決できないものだけ「試したこと+部分結果」付きで上げる
  • 統合レポートにはカバレッジ注記を付ける:どの発見が十分に裏付けられ、どのトピック領域はソース不能で穴があるか
うちの組織の実物

rules/unattended-loop-ops.md「エスカレーションはSTATEに書くだけでなく直接通知」=握りつぶし防止の無人ループ版。rules/statistical-rigor.md ⑦「データが欠けていたら宣言する(黙って薄くしない)」はカバレッジ注記の分析版。x-posting-worker(transientはローカル5分リトライで自己回復、連続失敗のみ調査)はローカル回復の設計実例。

ひっかけ
  • 「タイムアウトは空結果を成功として返す」→ 調査に無言の穴が開く(Q8誤答C)
  • 「リトライを尽くしたら generic な失敗ステータスだけ返す」→ コーディネーターの回復判断材料を奪う(Q8誤答B)
  • 「1つの失敗で全ワークフロー終了」→ 部分結果で前進できる場面で全損(Q8誤答D)

Task Statement 5.4巨大コードベース探索でのコンテキスト管理

セッションが長くなるとAIの答えが劣化する(前に見つけた具体的なクラス名でなく「よくあるパターン」を語り始める)。対策はスクラッチパッドに発見を書き残す/冗長な探索は子エージェントに隔離/フェーズごとに要約して次へ注入/クラッシュ回復用のマニフェスト
試験が問うこと
  • コンテキスト劣化の症状:回答が非一貫になり、実際に発見した固有名でなく一般論を参照し始める
  • スクラッチパッドファイル:キーファインディングを外部ファイルに記録し続け、後続の質問で参照する→劣化への対抗
  • 特定の調査(「全テストファイルを探す」「返金フローの依存を追う」)は子エージェントに出し、メインは高レベルの調整に専念
  • フェーズ完了ごとに要約を作り、次フェーズの子エージェントの初期コンテキストに注入
  • クラッシュ回復:各エージェントが状態を既知の場所にエクスポートし、コーディネーターが再開時にマニフェスト(一覧表)を読み込む
  • 冗長な発見でコンテキストが埋まったら /compact で圧縮
うちの組織の実物

ほぼ全部が日常装備:スクラッチパッドディレクトリ(セッション専用の作業領域)、Explore サブエージェント(冗長探索の隔離)、/checkpoint(状態保存)、memory/project-*.md(フェーズ間サマリー注入)、Workflow の journal.jsonl(クラッシュ回復用の実行記録=マニフェスト)。

ひっかけ
  • 「メインセッションで全探索をやり切る」→ コンテキスト枯渇と劣化。隔離と要約が正解
  • 「劣化したらモデルを再起動して最初から」→ スクラッチパッド/マニフェストで積み上げを保全する設計が正解

Task Statement 5.5人間レビューのワークフローと確信度の較正

「全体精度97%」は特定の文書タイプや項目だけ精度が壊れている事実を隠す。自動化してよいかは、文書タイプ別・項目別に精度を検証してから。確信度スコアはラベル付き検証データで較正して初めてレビュー振り分けに使える。
試験が問うこと
  • 集計精度の罠:全体97%でも、特定タイプ・特定フィールドでは大きく劣る可能性→セグメント別に検証してから人間レビューを減らす
  • 層化ランダムサンプリング:高確信度の抽出からも無作為抽出して誤り率を測り続け、新種のエラーパターンを検出する
  • 項目レベルの確信度スコアをモデルに出させ、ラベル付き検証セットで閾値を較正→低確信度・曖昧・矛盾のある元文書だけを人間レビューへルーティング(限られたレビュー能力を優先配分)
うちの組織の実物

rules/statistical-rigor.md ③「全体平均で結論を出す前にセグメント分解(シンプソンのパラドックス)」が集計精度の罠と同一の統計原理。rules/skill-tier.md の「T2はランダム抜取で月5%をempirical評価」は層化サンプリング運用の実物。

ひっかけ
  • 「全体精度が目標を超えたので高確信度は自動化」→ タイプ別・項目別の検証を経ていない自動化は誤答
  • 「高確信度はもうチェックしない」→ 新種のエラーは高確信度側にも出る。抜取を続ける
  • 「モデルの確信度をそのまま閾値に使う」→ 較正(ラベル付きデータとの突合)が先

Task Statement 5.6出典の保全と、複数ソース統合での不確実性の扱い

要約を重ねると「どの主張がどの出典から来たか」が溶ける。主張と出典の対応表(claim-source mapping)を構造化して持ち回り、統合エージェントはそれを保存・マージする。信頼できるソース同士で数字が食い違ったら、勝手に1つを選ばず両方を出典付きで併記する。
試験が問うこと
  • 要約ステップで出典の帰属が失われるメカニズムと、claim-source mapping(主張・根拠の抜粋・出典URL/文書名・日付)を統合まで保全する設計
  • 矛盾する統計値の扱い:恣意的に1つ選ばない。矛盾として注記し、出典を付けて併記(コーディネーターが判断できる形で上げる)
  • 時間データ:公開日・データ収集日を構造化出力に必須で入れる→時点の違いを「矛盾」と誤読しない
  • レポートは「確立された発見」と「争いのある発見」をセクションで分け、元ソースの表現とメソドロジーの文脈を保存する
  • コンテンツタイプに合った表現で統合する:財務データは表、ニュースは散文、技術的発見は構造化リスト——全部を一様のフォーマットに潰さない
うちの組織の実物

rules/data-accuracy.md(参照先の明示・逆引き検証・原文照合)が claim-source mapping の運用版。rules/audit-independence.md §5「監査フェーズの矛盾は選ばない・併記する」は、矛盾ソースの扱いと同じ判断構造。rules/statistical-rigor.md ②のYoY(時点を揃えて比較)は temporal data 論点の分析版。

ひっかけ
  • 「複数ソースの数字が違うときは、より信頼できそうな方を選んで報告」→ 恣意的選択は誤答。出典付き併記
  • 「見やすさのため全発見を統一フォーマットに変換」→ データの性質に合った形(表/散文/リスト)が正解
  • 「日付は本文に書いてあるから構造化不要」→ 時点差を矛盾と誤読する。構造化出力に必須で持たせる

用語ミニ辞書(Domain 5)

漸進的要約 / progressive summarization

会話が長くなるたびに履歴を要約で置き換えていく方式。便利だが金額・日付・割合などの「硬い事実」が丸められて消えるリスクがある。

lost in the middle

長い入力の冒頭と末尾は確実に処理されるが、中間の情報は取りこぼされやすいというLLMの性質。重要事項は冒頭サマリー+明示的な見出しで対処。

case facts ブロック

取引の硬い事実(金額・日付・注文番号・ステータス)を要約の外に構造化して抜き出し、毎回のプロンプトに固定で入れる持ち回りブロック。うちの「確証済み事実」セクションと同型。

エスカレーショントリガー

人間に上げる正当な条件:①顧客の明示的要求 ②ポリシーの例外・空白 ③進展不能。感情分析や自己申告確信度は代理指標として不適格、が試験の立場。

構造化エラーコンテキスト

失敗の種類・試したクエリ・部分結果・代替案の4点セット。これを上げればコーディネーターが「再試行/別手/部分結果で続行」を選べる。

スクラッチパッドファイル

長いセッション中の重要な発見を外部ファイルに書き残し、後で参照する仕組み。コンテキスト劣化(具体名を忘れて一般論を語り出す)への対抗策。

マニフェスト(クラッシュ回復)

各エージェントが状態を既知の場所にエクスポートし、再開時にコーディネーターが読み込む一覧。途中で落ちても積み上げが消えない設計。

層化ランダムサンプリング

セグメント(文書タイプ・確信度帯など)ごとに無作為抽出して精度を測る方法。「全体97%」の裏に隠れた弱点セグメントと新種エラーを見つける。

確信度の較正 / confidence calibration

モデルの自己申告スコアを、正解ラベル付きデータと突き合わせて「スコアXなら実際の正答率Y」を確かめる作業。較正なしのスコアをレビュー振り分けに使うのは誤答。

claim-source mapping / カバレッジ注記

主張↔出典の対応表を統合工程まで保全する設計と、「どこが裏付け十分でどこに穴があるか」の明示。要約で出典が溶けるのを防ぐ。

仕上げチェックリスト(30秒で説明できたらチェック)

← D4 プロンプトと構造化出力 ホームへ →