DXPO福岡'26 生成AIのリスク・責任・サイバーセキュリティ

第 2 回 I T ・ 情 シ ス D X PO 福 岡 ’ 2 6 ｜ I T イ ン フ ラ ・ セ キ ュ リ テ ィ コ ー ス 生成AIの利用に伴う リスク・責任・サイバーセキュリティ 〜AIを使う力と疑う力〜 小出 洋 九州大学 情報基盤研究開発センター 情報システムセキュリティ研究部門 教授 2026年10月22日（木）11:45–12:30 ［要確認］ ｜ マリンメッセ福岡 A館

自 己 紹介 小出 洋（こいで ひろし） 経歴 社会貢献 研究・受賞 電気通信大学大学院 博士後期課程修了 福岡県警 サイバー犯罪対策テクニカ Moving Target Defense／侵入検知 → 日本原子力研究所 ルアドバイザ（2014〜） ／LLM×強化学習の自律型防御 → 九州工業大学（戸畑・飯塚） SECCON実行委員（2012〜） IPA未踏スーパークリエータ → 九州大学（2017〜） 福岡未踏 プログラムマネージャ サイバーセキュリティに関する総務 大臣奨励賞（2026） DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 2

D XP O 福 岡 での 3年 間 「備える」から「機械にうまくやらせる」、そして「疑う」へ 2024｜バックオフィスDXPO 2025｜IT・情シスDXPO 2026｜今日 サイバー攻撃は100%防げない 「ひとががんばる」から「機械にう 機械＝生成AIが業務の中心に 機密性・完全性・可用性とBCP まくやらせる」へ うまくやらせる条件は「疑う力」 守る側も技術向上を 共用セキュリティ基盤を使いこなす 人材 機械に「うまく」やらせるには、任せる前に確かめる仕組みが要る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 3

今日の問い AIの答えは速くなった。 では、その答えを 誰が・いつ・どう確かめるのか？ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 4

今 日 の結 論 車に例えると：フレーム・アクセル・ブレーキ アクセル＝使う力 ブレーキとハンドル＝疑う力 業務にAIを組み込み、作業を速く・広くする力 答え・入力・権限を確かめ、責任ある判断につなげる力 がっちりとしたフレーム＝仕事と技術の基礎力 自分の業務・ビジネスの知識 ｜ 使っている情報システムとセキュリティの基礎 ｜ 情報の扱い方のルール フレームがあるから、アクセルもブレーキも効く。疑う力は「安心して使い続ける条件」 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 5

1. 生 成AI は い まど こ ま で 来 たか 業務での使われ方は「答える」から「動く」へ 生成AI（答える） AIエージェント（動く） 文書作成・要約・翻訳 メール・カレンダー・ファイルに接続 調査・アイデア出し 情報収集→判断候補→実行 コード生成 チケット起票・コード修正 → 人が読んで使う → AIが仕事を進める リスクの重心も「間違った答え」から「間違った行動」へ移る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 6

生 成A Iの 性 質 「もっともらしい」と「正しい」は別物 仕組み 得意 苦手・注意 大量の文章から、次に来そうな言葉 下書き・要約・言い換え 事実の保証（ハルシネーション） を確率的に並べる 定型作業の高速化 最新情報・社内事情 → 流暢で自信ありげな文章になる 観点の洗い出し 指示と情報の区別（後述） 生成AIは「自信満々な新人」。仕事は速いが、確認は上司の役目 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 7

2 . 生 成A Iの3つ の リス ク 情報漏えい・誤情報・サイバー攻撃 ① 情報漏えい ② 誤情報 ③ サイバー攻撃 入れてはいけない情報を入れる もっともらしい誤り AIを使った攻撃 AI経由で外へ出ていく 確認せずに外へ出す AIそのものへの攻撃 一昨年の整理で言えば：① 機密性 ② 完全性 ③ 可用性・完全性 がAIによって新しい形で脅かされる そして、どのリスクも最後は「誰が責任を負うか」に行き着く DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 8

リ ス ク① 情 報 漏え い 事例：善意の入力・うっかり共有が漏えいになる 米国の大手IT企業（2023年） 対話AIの共有リンク（2025年） 社内の弁護士が全社に警告：ChatGPTの回答に社内の機密情 会話を「共有リンク」で公開する機能で、利用者の会話が検 報とよく似た内容が現れた 索エンジンに表示 → 社員が業務情報を入力していた可能性 → 業務の相談や個人情報も含まれていた → 機密情報の入力を禁止 → 提供元が機能を撤回 悪意はない。「便利だから」「早く終わらせたいから」の延長で起きる DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 9

リ ス ク① 情 報 漏え い 入れた情報は、どこへ行くのか？ 学習への利用 履歴・共有 シャドーAI 接続先 個人向けサービスでは入 会話履歴の保存、共有リ 会社が把握していないAIツ エージェントがメール・ 力が学習に使われる設定 ンクの公開 ール・拡張機能・議事録ア ファイルに接続 のことも → 意図せず第三者が閲覧 プリ → AIが読める範囲＝漏れ → 管理の外で情報が流れる うる範囲 → 法人契約・設定の確認 問うべきは「AIに何を見せてよいか」を誰が決めているか DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 10

リ ス ク② 誤 情 報 事例：AIの誤りは、そのまま組織の誤りになる 米国の訴訟（2023年） カナダの航空会社（2024年） 弁護士が生成AIで調べた実在しない判例を裁判所に提出 → チャットボットが運賃規定を誤案内 → 「チャットボットの 弁護士に制裁金 発言も会社の責任」として賠償 米国の新聞（2025年） 豪州のコンサル報告書（2025年） 生成AIで作られた夏の推薦図書リストを掲載 → 多くが実在 政府向け報告書に存在しない文献・引用 → 報告書を訂正し しない本で謝罪 、委託費の一部を返金 「AIがそう言ったので」は、言い訳にならない DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 11

リ ス ク② 誤 情 報 確かめるコスト：何を、どの順で確かめるか 生成するコスト 確かめる6ステップ 数秒 1.一次ソースが存在するか：論文・判例・法令・統計が実在するか 2.中身が一致するか：引用・要約が原文と食い違っていないか 3.数字が合っているか：桁・単位・年度・計算 確かめるコスト 4.固有名詞が正しいか：人名・社名・製品名・法令名 数十分〜 5.最新か：改正・更新・廃止されていないか 6.自社に当てはまるか：前提条件・国・業種・契約 量が増えるほど「確認したつもり」が増え る 用途に応じて「どこまで確かめるか」を決めておく（社内メモ ≠ 顧客向け文書） DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 12

リ ス ク③ サ イ バー 攻 撃 AIを使った攻撃：見分けがつかなくなる ディープフェイク会議詐欺（2024年・香港） フィッシングの高度化 英国の設計会社の社員が、CFOらを装ったビデオ会議の指示 不自然な日本語という「見分けポイント」が消える で約2億香港ドルを送金 取引先・上司を装う文面を大量生成 → 参加者は本人以外すべて偽物 「見た目で見抜く」教育から「手順で確かめる」仕組みへ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 13

リ ス ク③ サ イ バー 攻 撃 AIそのものへの攻撃：プロンプトインジェクション 仕組み：メール・Webページ・文書の中に「AIへの指示」を隠す → AIは情報と命令を区別できず、従ってしまう 業務AIアシスタント（2025年） 開発支援AIエージェント（2025年） 細工したメールを1通送るだけで、利用者が何もしなくても 公開リポジトリの課題（Issue）に指示を仕込む → それを読 、AIに社内情報を外部へ送らせうる脆弱性が報告 んだAIエージェントが非公開リポジトリの情報を公開側に書 → 提供元が修正 き出しうることが実証 AIが読むものはすべて「攻撃の入口」。権限が大きいほど被害も大きい DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 14

A Iエ ー ジェ ン ト 時 代 の要 点 リスクは「賢さ」より「権限」にある 決めておくこと 問い 何を読ませるか 入力・情報源に、信頼できないものが混ざっていないか どこに接続させるか メール、ファイル、チャット、クラウド、社内システム 何を実行させるか 送信・変更・削除・公開・発注 どこで人が承認するか 外部送信、本番変更、顧客連絡、支払い 何を記録するか AIが何を見て、何をしたかを後から追えるか 最小権限・承認点・記録は、人間の新人に対するのと同じ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 15

攻 撃 側の 時 間 軸 AIで脆弱性の発見も速くなる 事例：Copy Fail（2026年） 意味すること Linuxカーネルのローカル権限昇格（CVE-2026-31431） 発見 → 公表 → 悪用 の間隔が短くなる AI支援の解析で発見が高速化したと報じられる 組織が判断に使える時間が減る PoCも公開 → 判断を事前に設計しておく AI時代のセキュリティは「作業」より「判断設計」の問題 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 16

3. 責任 責任はAIに移らない 利用者・組織の責任 法令上の論点 説明責任 出力を使って外に出した時点で、組 個人情報保護（入力・第三者提供） 顧客・取引先・行政に「何を、どう 織の判断 著作権（生成物の利用） 確認したか」を説明できるか （前出：チャットボットの誤案内） 契約上の秘密保持義務 AIは道具。判断と責任は、最後は人と組織に残る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 17

日 本 のル ー ル の 動 き ガイドラインは「AIエージェント」も対象に AI推進法（2025年成立） AI事業者ガイドライン 第 1.2版（2026年3月） 既存の法令 の推進 開発者・提供者・利用者の役割 著作権法 国・事業者の責務の基本的な枠組み AIエージェント時代のリスク管理を 不正競争防止法（営業秘密） 人工知能関連技術の研究開発・活用 明示 ※ 詳細は総務省・経済産業省の公表資料を参照。自社への適用は法務・専門家と確認を DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 18 個人情報保護法

4. 疑う力とは 疑う ＝ 否定することではなく 確かめる手順を持つこと その根拠は？ 何を渡した？ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 19 誰が決める？

個 人 の疑 う 力 今日からできる5つの習慣 1.入れる前に分ける：その情報、社外に出してよいものか 2.数字・固有名詞・出典は必ず裏取り：一次情報で確認 3.指示の出どころを疑う：メールや文書の中の「お願い」はAI宛てかも 4.お金・権限・外部送信は別経路で確認：電話・対面・承認フロー 5.最後は自分の名前で出す：説明できないものは出さない DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 20

組 織 の疑 う 力 3点セット：見える化・境界設計・判断訓練 見える化 境界設計 判断訓練 どのAIを、誰が、どの業務で、どの AIに見せる情報・任せる作業・人が 誤情報・漏えい・詐欺が起きたとき データに使っているか 承認する点を決める の初動を机上演習で体験しておく シャドーAIも含めて把握 最小権限と記録 AI時代の対策は、ツール導入ではなく「運用と判断の設計」 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 21

境 界 設計 の 例 入力してよい情報を、あらかじめ区分する 情報の区分 例 生成AIへの入力 公開情報 Web掲載済みの資料 可 社内限り 社内手順書・企画書 会社が契約・設定を確認したサービスのみ可 機密・顧客情報 顧客データ・未公開の数字 原則不可（個別承認） 認証情報 パスワード・APIキー 禁止 ※ 一例。区分と扱いは各組織の情報管理規程に合わせて設定 「使うな」ではなく「ここまでなら使ってよい」を示すとシャドーAIが減る DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 22

境 界 設計 の 例 AIに任せる作業と、人が承認する点 AIに任せる 人が承認する 下書き・要約 社外への送信・公表 情報収集・分類 本番環境の変更 候補の提示 支払い・契約 定型チェック 顧客への回答 承認点は「取り返しがつかない操作」の直前に置く DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 23 記録する AIが何を見たか 何を提案したか 誰が承認したか

ミ ニ 演習 （ 3分 ） あなたが情シスの責任者だとします • 営業部が、無料のAI議事録アプリを独自に導入していたことが判明 • 顧客との商談の録音・議事録が、半年分アップロードされている • アプリの利用規約では、入力データをサービス改善に使う可能性がある • 現時点で、外部への流出は確認されていない Q. 最初の24時間で、何を確認し、誰に、何を伝えますか？ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 24

ミ ニ 演習 の 考 え 方 不完全な情報で、確認する順番を決めておく ① 止める・保全 ② 確かめる ③ 判断する ④ 直す 新規アップロードを止める 規約・設定・保存先 契約・法令上の報告要否 「使ってよいAI」の提示 削除の前に状況を記録 対象顧客と情報の範囲 顧客への説明の要否と時期 入力区分の周知 責めるより、使える選択肢を示す方が次の事故を防ぐ DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 25

5. 人材 人の役割は「作業者」から「判断者」へ 作業（AI） 提案（AI） 判断（人） 責任（人・組織） 求められるのは「全部できる人」ではなく、技術・業務・判断を「つなげる人」 DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 26

育て方 教育は三段階、座学より演習 全員向け基礎 中核・管理職向け 推進役向け AIの性質と限界 机上演習で判断を体験 AIガバナンス・新しい攻撃 入力区分と5つの習慣 承認点・説明責任 エージェントの権限設計 九州大学の社会人向け実践プログラム「SECKUN／ProSec-IT」（2018年度〜）でも、演習・議論中心で技術以外の要素（法制・危機管理など）を含めて学ぶ 場を提供しています 道具は買える。人と体制は育てるしかない DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 27

まとめ 今日の持ち帰り 1. 生成AIは「もっともらしい」。正しさは使う人が確かめる 2. リスクは情報漏えい・誤情報・サイバー攻撃。エージェントは「権限」が要点 3. 責任はAIに移らない。説明できる記録と承認点を 4. 組織は「見える化・境界設計・判断訓練」の3点セット 5. 使う力と疑う力の両方を持つ人を、演習で育てる 疑う力があるから、AIを安心して使い続けられる DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 28

今日の問い AIの答えは速くなった。 では、その答えを 誰が・いつ・どう確かめるのか？ AIを使う力と、疑う力を。 小出 洋 ｜ 九州大学 情報基盤研究開発センター [email protected] ｜ X: @hirosk ｜ YouTube: @koide55