コンテキスト設計とは｜必要な1件を渡すのに、34倍の文書を一緒に送っていた

コンテキスト設計とは何を設計することなのか

AIに何を渡すかを決める作業です。指示・参考資料・履歴・ツール定義の4つを、量と順序まで含めて設計します。

コンテキスト設計で扱うのは、AIに何を渡すかです。プロンプトの文言を練る作業だと思われがちですが、実際には渡す情報の選択と配置まで含みます。

渡しているものは4種類

エージェントに渡る内容は、大きく4つに分かれます。役割を伝える指示、参考にさせたい資料、これまでの履歴、そして使えるツールの定義です。

このうち資料と履歴は放っておくと膨らみます。検索結果を全部添える、履歴を全部積む、という作りにすると、量が制御できなくなります。

複雑にする前に単純な形を試す

Anthropicは、多くのチームを見てきた経験として、成功している実装は複雑な枠組みではなく単純で組み合わせやすい形を使っていると述べています。

コンテキストについても同じことが言えます。凝った検索や要約の仕組みを組む前に、渡す件数を絞るだけで改善する場合が少なくありません。

必要な1件に対して、34倍の文書を送っていた

必要な事実を1件だけ含む文書群を作り、置く位置と件数を変えて計測しました。絞り込むだけで978字を削減できます。

コンテキスト設計の効果を確かめるため、実際に測りました。返品期限という必要な事実1件を、無関係な参考資料の中に埋めています。

測ったのは、渡す文脈の総文字数と、必要な事実が先頭から何文字目に現れるかです。

必要な事実1件を、文書群のどこに置くかで「読み始めてから何文字目」が変わる

文書数  総文字数  必要な事実の位置   先頭からの割合
   5件     162字  先頭         7字目     4%
   5件     162字  末尾       139字目    86%
  30件    1008字  先頭         7字目     1%
  30件    1008字  末尾       985字目    98%
  30件    1008字  中央       509字目    50%

--- 必要なものだけ渡した場合 ---
   1件      30字  先頭       7字目     23%

30件・末尾に置いた場合と比べた文脈量の差: 34倍
削減できる文字数: 978字

差が出ました。34倍です。必要な情報は30文字しかないのに、それを見つけてもらうために1,008文字を送っていることになります。

同じ量でも位置で変わる

もう1つ見てほしいのが位置です。30件の場合、必要な事実が先頭なら1%の地点、末尾なら98%の地点に現れます。同じ量を渡していても、探す距離が違います。

長い文脈では、中ほどに置かれた情報が見落とされやすいことが知られています。上の表で中央に置いた場合は50%の地点でした。ここが最も不利な位置になります。

絞るのが最も効く

位置を工夫するより、そもそも渡す件数を減らす方が確実です。1件だけ渡せば、位置の問題自体が消えます。

何を渡して、何を渡さないのか

判断の基準は、答えを出すのに必要かどうかです。あると便利そうなものは渡しません。件数の上限を先に決めます。

コンテキスト設計で迷うのは、境界をどこに引くかです。渡しすぎると埋もれ、渡さなすぎると答えられません。

渡すもの

1. 答えに直接使う事実。数値・期限・条件など
2. 判断に必要な前提。誰からの依頼か、どの状態か
3. 直近のやり取り。文脈がつながる範囲だけ
4. 使うツールの定義。その場面で必要なものに絞る

渡さないもの

1. 関連しそうな参考資料。検索で上位に来ただけのもの
2. 古い履歴。要約に置き換えるか、切り捨てる
3. その場面で使わないツール。選択を誤る原因になる
4. 念のための注意書き。毎回送られる分、費用になる

上限を先に決める

実務で効くのは、渡す件数の上限を決めておくことです。上位3件まで、履歴は直近5往復まで、といった形で決めます。

上限があると、増えたときに何かを落とす判断が発生します。この判断を先送りにすると、いつのまにか全部渡す構成に戻ります。

Anthropicの推奨は、可能な限り単純な解から始めることでした。場合によってはエージェント的なシステム自体を作らないという選択も含む、とされています。文脈の設計も同じで、複雑な仕組みを入れる前に件数を絞ることから始まります。

渡す量は費用に直結します。詳しくはエージェントのコスト制御の記事で扱っています。構成そのものを単純にする話は決定的ワークフローの記事にあります。