ガードレールとは｜入口だけだと4件中1件しか止まらなかった

ガードレールとは何を検査する仕組みなのか

AIに渡す前の入力と、返ってきた後の出力を調べる仕組みです。問題のあるものを通さないための関所にあたります。

ガードレールは、AIのやり取りに検査を挟む仕組みです。道路の脇にある柵と同じで、外れそうになったものを止める役割を持ちます。

入口で見るもの

入力側で止めたいのは、指示を書き換えようとする内容です。OWASPはこれを利用者の入力がAIの挙動や出力を意図しない形に変えてしまう問題として、最上位の弱点に挙げています。

具体的には、「これまでの指示を無視して」といった表現や、システムからの命令に見せかけた文言を検出します。

出口で見るもの

出力側で止めたいのは別の種類です。個人情報が含まれていないか、根拠なく断定していないか。答えの中身に関する検査になります。

この2つは性質が違うので、片方の検査ではもう片方を止められません。次の節で、実際にどれだけ差が出るかを見ます。

入口だけだと4件中1件しか止まらなかった

同じ4件を3つの構成に通しました。入口だけ・出口だけでは、それぞれ別の問題がすり抜けます。

ガードレールの置き場所による差を確かめるため、実際に通しました。用意したのは普通の質問1件と、問題のあるケース3件です。

問題のある3件は、入力に指示が紛れているもの、出力に電話番号が含まれるもの、出力が根拠なく断定しているものです。

// 入口: 指示を上書きしようとする表現を弾く
const checkInput = (s) => !/\[system\]|これまでの指示|指示を無視/.test(s);

// 出口: 個人情報と断定表現を弾く
const checkOutput = (s) =>
  !/\d{3}-\d{4}-\d{4}/.test(s) && !/必ず|絶対に/.test(s);

同じ4件を3構成に通したときに、止まる件数

入口だけ  止めた 1件 / 通した 3件
         すり抜け: 出力に個人情報が漏れる, 出力が根拠なく断定
出口だけ  止めた 2件 / 通した 2件
         すり抜け: 入力に指示が紛れる
両方      止めた 3件 / 通した 1件
         すり抜け: なし

差が出ました。入口だけでは1件しか止まりません。電話番号が含まれる出力も、根拠なく断定する出力も、そのまま通っています。

見ている対象が違うから

理由は単純で、入口の検査は入力しか見ていないからです。入力が普通の質問なら通し、その後にAIが何を返すかは関知しません。

出口だけの構成も同じです。2件は止まりますが、入力に紛れた指示は素通りします。実行された後に出力を見ても、操作が済んでいれば手遅れです。

両方でようやくゼロになる

両方に置いた構成では、問題のある3件すべてが止まりました。そして普通の質問1件は通っています。止めるべきものだけを止められた状態です。

検査だけで安全になるのか

なりません。検査はすり抜けられる前提で組み、実行できる操作を減らす対策と組み合わせます。

ガードレールは有効ですが、これだけに頼る設計にはできません。理由が2つあります。

検査に見えない形の指示がある

1つ目は、OWASPが明記している点です。入力は人間に知覚できなくてもモデルに影響しうるとされています。文字色を背景と同じにする、画像に埋め込む、といった方法があります。

検査は文字列を見るので、そこに現れない形の指示は止められません。すり抜ける余地が構造的に残ります。

攻撃でなくても誤作動する

2つ目は、OWASPが権限の過大さを定義した文にあります。想定外・曖昧・操作された出力に応じて有害な操作が実行されてしまう問題で、原因がインジェクションかどうかを問わない、とされています。

つまり攻撃されていなくても、AIが勘違いしただけで同じことが起こりえます。入力の検査では、この種の誤作動を防げません。

権限を絞る対策と組み合わせる

現実的な構成は、検査と権限制限の組み合わせです。検査ですり抜けたものが、実行の段階で止まる形にします。

権限の絞り方はエージェントのセキュリティの記事で扱っています。取り消せない操作に人の確認を挟む方法はHITLの記事にあります。