← 記事一覧
AIセキュリティ

LLMアプリをリリースする前に:セキュリティチェックリスト

プロンプトインジェクション、情報漏えい、権限を持ちすぎたAIエージェント。本番環境で実際に問題になるリスクと、リリース前に何をどう検証すべきかを解説します。

多くのLLM機能は、デモでは問題なく動き、本番運用の最初の一週間でつまずきます。原因はモデルの精度ではありません。ユーザーや文書、Webページがモデルに「別のことをしろ」と指示したときに何が起きるかを、誰も確認していなかったことです。

従来のセキュリティ診断では、この問題は見つかりません。脆弱性診断はAPI、認証、インフラを確認しますが、カスタマーサポートのチャットボットが言葉巧みに誘導されて、別の顧客の注文履歴を答えてしまわないかまでは確認しないのが普通です。LLMのインシデントの多くは、このすき間で起きています。

本記事では、リリース前に検証すべき項目を整理します。内容はOWASP Top 10 for LLM Applicationsに沿っており、その中でも本番環境に到達しやすいリスクに絞っています。

1. プロンプトは必ず注入されると考える

プロンプトインジェクションがOWASPのリストで1位なのには理由があります。言語モデルは、開発者からの指示と、読み込むよう渡されたテキストを確実に区別することができません。

検証すべきものは2種類あります。

見落とされやすいのは間接インジェクションです。社外の人が書いた文書を対象に検索拡張生成(RAG)を行っているなら、その文書もすべて攻撃対象になります。

リリース前にやるべきこと:

2. モデルに見せるデータを制御する

モデルが漏らせるのは、コンテキストに入っている情報だけです。最も効果的な情報漏えい対策は、そもそもモデルにデータを渡さないことです。

国内のユーザーを対象とする場合、プロンプトやログに含まれる個人データは個人情報保護法の対象です。リリース前に、利用するモデル提供事業者がそのデータをどこで処理・保存するのかを把握しておいてください。

3. エージェントにできることを制限する

モデルがメール送信、レコード更新、API呼び出し、コード実行といった「操作」を行えるようになると、リスクは一気に大きくなります。OWASPではこれを過剰な権限(Excessive Agency)と呼んでいます。

エージェントが使える各ツールについて、次のように問いかけてください。攻撃者がモデルの次の出力を自由に操れるとしたら、このツールで起こりうる最悪の事態は何か。

4. モデルの出力を信用しない

モデルの出力は、形を変えたユーザー入力です。別のシステムに渡すなら、見知らぬ人が入力した値と同じように検証してください。

5. ユーザーより先にレッドチーミングを行う

自動スキャンも役に立ちますが、LLM機能には、自社プロダクトの文脈で実際に壊そうとする人による検証が欠かせません。リリース前のレッドチーミングでは、次の点を押さえます。

  1. 脅威モデル — 誰が攻撃し、何を狙うのか。データ、無料での利用、評判の毀損、接続されたシステムへのアクセスなど。
  2. すべての入力経路 — チャット、アップロード、検索で取得したコンテンツ、ツールの応答、多言語での入力。対応しているすべての言語でテストしてください。英語向けに調整されたフィルターは、日本語の攻撃を見逃すことがよくあります。
  3. すべてのツールと権限 — それぞれをエージェントに悪用させられないか試します。
  4. 修正案つきの指摘事項 — 各問題を影響度で順位付けし、「プロンプトを改善する」ではなく、コードや設定の具体的な変更として示します。

テストケースは残しておきましょう。モデルの更新、プロンプトの変更、ツールの追加のたびに、回帰テストと同じように再実行します。

まとめ

これでLLMアプリが完全に安全になるわけではありません。ただ、問題が起きても小さく、見つけやすく、元に戻せる状態にはなります。顧客の前に出す前に必要なのは、その状態です。

同じような課題をお持ちですか?

開発・セキュリティ・移行・監査など、必要なことをお知らせください。次のステップを明確にご提案します。

相談を予約