エージェントのコスト制御｜40往復で費用が4.3倍になり、入力の93%が過去の履歴だった

エージェントの費用は何で決まるのか

1回の応答の単価ではなく、会話全体の長さで決まります。やり取りのたびに、それまでの履歴を丸ごと送り直しているためです。

エージェントのコスト制御を考えるとき、費用は送った量と返ってきた量で計算されます。ここまでは単純なのですが、見落とされやすいのが「送った量」に過去のやり取りが全部含まれる点です。

AIは前回の会話を覚えていません。そのため、続きを話すにはこれまでのやり取りを毎回添えて送る必要があります。会話が長くなるほど、1回あたりに送る量が増えていきます。

毎回送っているものの内訳

エージェントの場合、送る内容は4つに分かれます。役割を指示するシステムプロンプト、使えるツールの定義、これまでの履歴、そして今回の発話です。前の3つは会話が続く限り毎回送られます。

同じ部分は割引される仕組みがある

毎回同じ内容を送るなら、そこを保存しておいて再利用する仕組みがあります。プロンプトキャッシュと呼ばれるもので、公式の価格表によればキャッシュから読み出す場合は通常の入力価格の10%になります。

40往復で4.3倍になり、入力の93%が履歴だった

会話の往復を重ねたときのトークン量を計算しました。履歴をそのまま積む場合と圧縮する場合で、費用に4.3倍の差が出ました。

エージェントのコスト制御は、言葉で説明するより数字を見た方が早いので計算しました。往復のたびに増えていくトークン量を出しています。

条件は次のとおりです。システムプロンプト1,200・ツール定義800・利用者の発話150・応答400・ツールの実行結果900トークン。価格は入力100万トークンあたり3ドル、出力15ドルと仮定しています。

1会話あたりのトークンと費用（入力$3 / 出力$15 per 1M と仮定）

往復数   履歴そのまま            履歴を圧縮
   5回   25,250tok $0.106       25,250tok $0.106
  10回   86,750tok $0.320       51,800tok $0.215
  20回   318,500tok $1.075      109,250tok $0.448
  40回   1,217,000tok $3.891    219,800tok $0.899

40往復での差: 4.3倍
入力トークンの内訳（40往復・履歴そのまま）: 履歴が全体の 93%

開きました。40往復で$3.891と$0.899、4.3倍の差です。5往復の時点では差がありません。会話が短いうちは問題にならず、長くなってから効いてきます。

なぜ加速度的に増えるのか

1回あたりに送る量が毎回増えるからです。往復ごとに履歴が伸び、その伸びた履歴を次の回でまた送ります。増え方が足し算ではなく累積になります。

送っている内容の93%が履歴だった

40往復時点の内訳を見ると、送っている入力の93%が過去の履歴でした。システムプロンプトもツール定義も今回の発話も、合わせて7%しかありません。

圧縮といっても複雑なことはしていません。履歴が一定量を超えたら、古い部分を短い要約に置き換えているだけです。それだけで4分の1以下になります。

何から手を付ければ費用が下がるのか

順番があります。まず履歴の扱い、次に毎回同じ部分のキャッシュ、最後にモデルの選択です。逆順にやると効果が出ません。

エージェントのコスト制御で最初にやることは、モデルを変えることではありません。送っている量を減らすことです。順に見ていきます。

1. 履歴の扱いを決める

前の節で見たとおり、長い会話では入力の9割以上が履歴になります。ここを放置したまま単価を下げても、効果は限定的です。

1. 会話の往復数の分布を調べる。ほとんどが5往復以内なら、そもそも問題にならない
2. ツールの実行結果を残す量を決める。直近の1〜2回分だけ残す構成が多い
3. 古い履歴を要約に置き換える。何を残すかは用途で変わる
4. 上限を決める。超えたら新しい会話として始め、要約だけ引き継ぐ

2. 毎回同じ部分をキャッシュする

システムプロンプトとツール定義は、会話のあいだ変わりません。ここをキャッシュすると読み出しが通常の10%になります。

ただし注意点があります。公式が明記しているとおり、キャッシュへの書き込みは最初に保存するときに課金されます。しかも通常より割高です。1回しか読まない内容をキャッシュすると、かえって高くつきます。

3. 最後にモデルを見直す

ここまでやってからモデルの選択を考えます。送る量が最適化されていない状態で単価だけ下げても、削減幅は小さいためです。判断に必要な場面だけ高性能なモデルを使い、他は軽いモデルに振り分ける構成もあります。

実際にかかっている額を把握する方法は、エージェント可観測性の記事で扱っています。どこで費用が発生しているかが見えないと、この順番の判断もできません。