生成AIがんばってるビジネス職が
陥るセキュリティの穴

入力データの行方

ChatGPTにテキストを打ち込んだ瞬間、そのデータはOpenAIのサーバーに送信されます。ここまでは想像がつく方も多いはずです。問題は、その先。

入力データは応答生成に使われた後も、一定期間サーバーに保持されます。プランによっては、モデルの改善（学習データ）として利用される可能性があります。出典: OpenAI Help Center 無料プランで業務データを入力することは、その情報を将来的に他者の応答に影響させうる行為にあたります。

主要AIサービスのデータ取扱い比較

同じサービス名でも、プランごとにデータの扱いは別物です。自社が契約しているプランがどれにあたるか、確認してみてください。

「機密情報」の範囲は、思っているより広い

「顧客の個人情報」が機密だと分かっている方は多いはずです。それだけで終わりではありません。AIに入力すべきでない情報の種類を整理します。

実際に起きたこと

シャドーAIの実態

シャドーIT（IT部門の承認なく使われるソフトウェア）のAI版がシャドーAIです。従来のシャドーITとの違いは、AIの場合「ツールそのものが使えてしまう」だけでなく、「使うたびに業務データが外部に送信される」点にあります。

シャドーAIを生む最大の要因は「正規ツールが使いにくい」ことです。禁止だけでは解決しません。使いやすい正規ルートを用意しながら、リスクの高い経路を塞ぐ。両面からのアプローチが求められます。

Consumer版とEnterprise版は別物

同じ「ChatGPT」でも、Freeプランと Enterpriseプランではセキュリティ要件が根本的に異なります。出典: OpenAI Enterprise Privacy

ブラウザ拡張機能という見えないリスク

AIを活用したブラウザ拡張機能は、メール要約、文章校正、議事録作成など「あると便利」な機能を提供します。その代償として、多くの拡張機能がブラウザ上の全コンテンツへのアクセス権限を要求しています。

利用規約の読みどころ

利用規約を全文読む必要はありません。ただし、以下の5つの条項だけは確認してから業務利用を始めてください。

1. データの利用目的 ── 入力データが「サービス改善」や「モデルの学習」に使われるか否か。使われる場合のオプトアウト方法はあるか。
2. データの保持期間 ── 入力データと出力データがサーバーに保持される期間。削除リクエストの手続きは用意されているか。
3. 第三者への共有 ── サブプロセッサー（下請けのクラウドサービス等）へのデータ共有の範囲。データがどの国のサーバーに保存されるか。
4. 出力の知的財産権 ── AIが生成したコンテンツの著作権は誰に帰属するか。商用利用に制限はあるか。
5. 免責事項 ── AI出力の正確性について、プロバイダが一切保証しない旨の記載。これを見落とすと、AI出力に基づくビジネス判断のリスクをすべて自社が負うことになります。

ハルシネーション ── AIが「もっともらしい嘘」をつく理由

生成AIは「次に来る確率が高い単語」を予測して文章を組み立てる仕組みです。事実を検索しているわけではなく、「それっぽい文章」を生成しているにすぎません。結果として、実在しない論文の引用、架空の統計データ、存在しない法律条文を、あたかも事実であるかのように出力することがあります。

Mata v. Avianca事件はその典型例です。ニューヨークの弁護士がChatGPTに判例調査を依頼し、AIが「生成」した架空の判例6件をそのまま裁判所に提出して制裁を受けました。出典: Wikipedia

プロンプトインジェクション ── AIの動作を乗っ取る攻撃

プロンプトインジェクションとは、AIに対する指示（プロンプト）に悪意のある命令を紛れ込ませ、本来の動作を書き換える攻撃手法です。OWASP LLM Top 10でも第1位に挙げられている、LLMアプリケーション特有の脆弱性です。出典: OWASP Top 10 for LLM Applications

AIを悪用した攻撃の進化

攻撃者側もAIを使っています。従来のフィッシングメールは文法の不自然さで見抜けましたが、AIが生成する攻撃は別次元の精度に達しています。

AI時代の「見抜く力」チェックポイント

1. 出典を確認する ── AIが挙げた参考文献・URLに実際にアクセスし、記載内容と一致するか確認する
2. 数値を疑う ── 統計データや市場規模は、調査元（原典）まで遡って検証する
3. 固有名詞を検索する ── 人名、企業名、法律名が実在するか、Webで検索して確認する
4. 日付を確認する ── AIの学習データには期限がある。最新情報が反映されていない前提で扱う
5. 「らしさ」を信じない ── 丁寧な文章、整った書式、自信のある口調は、正確性の証拠にならない
6. 別チャネルで裏取りする ── 金銭・認証・機密に関わる依頼は、メール以外の手段で送信者に直接確認する

AI利用ポリシーに必要な5つの要素

ゼロから完璧なポリシーを作ろうとすると半年かかります。まず以下の5つだけ決めてください。それだけで組織のリスクは大幅に下がります。IPAが公開している「テキスト生成AIの導入・運用ガイドライン」も策定の参考になります。出典: IPA

1. 承認ツールリスト ── 業務で使ってよいAIサービスを明示する。リストにないものは原則禁止ではなく「申請制」にすると、現場の反発を抑えられます。
2. 入力データの分類基準 ── 何を入力してよくて、何がダメか。Session 1のLEVEL 1/2/3をベースに自社向けにカスタマイズしてください。
3. 出力の利用ルール ── AI出力をそのまま外部に出す場合のレビュー基準。特に数値・法律・契約に関わる出力は、必ず人間の確認を経るルールを設けてください。
4. インシデント報告フロー ── 「うっかり機密を入力してしまった」場合の報告先と手順。報告のハードルを下げることが最優先です。
5. 定期レビューのサイクル ── AIの進化速度は速いので、ポリシーは半年に1回見直すスケジュールを最初から組み込んでください。

リスク分類マトリクス

「データの機密度」と「AIツールの管理レベル」の2軸で整理すると、許可 / 条件付き許可 / 禁止の判断が明確になります。

極秘情報（個人情報、認証情報）は、Enterprise版であってもAI入力を禁止にするのが安全側の判断です。「管理下だから大丈夫」ではなく、「入力しなければ流出しない」というゼロリスクの選択肢を残してください。

「やってしまった」時の初動

機密情報をAIに入力してしまった場合、最悪の対応は「黙っていること」です。報告が遅れるほど対応の選択肢が狭まります。

ガイドライン・フレームワーク

各サービスのデータポリシー（公式）

本研修で参照した事例

用語集