---
title: DXPO福岡'26 生成AIのリスク・責任・サイバーセキュリティ
tags: 
author: [Hiroshi Koide](https://www.docswell.com/user/hirosk)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/VENYZKZVJ8.jpg?width=480
description: DXPO福岡'26 生成AIのリスク・責任・サイバーセキュリティ by Hiroshi Koide
published: October 22, 26
canonical: https://www.docswell.com/s/hirosk/Z6N424-2026-10-22-113800
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/VENYZKZVJ8.jpg)

第 2 回 I T ・ 情 シ ス D X PO 福 岡 ’ 2 6 ｜ I T イ ン フ ラ ・ セ キ ュ リ テ ィ コ ー ス
生成AIの利用に伴う
リスク・責任・サイバーセキュリティ
〜AIを使う力と疑う力〜
小出 洋
九州大学 情報基盤研究開発センター 情報システムセキュリティ研究部門 教授
2026年10月22日（木）11:45–12:30 ［要確認］ ｜ マリンメッセ福岡 A館


# Page. 2

![Page Image](https://bcdn.docswell.com/page/Y79PZVZVE3.jpg)

自 己 紹介
小出 洋（こいで ひろし）
経歴
社会貢献
研究・受賞
電気通信大学大学院 博士後期課程修了
福岡県警 サイバー犯罪対策テクニカ
Moving Target Defense／侵入検知
→ 日本原子力研究所
ルアドバイザ（2014〜）
／LLM×強化学習の自律型防御
→ 九州工業大学（戸畑・飯塚）
SECCON実行委員（2012〜）
IPA未踏スーパークリエータ
→ 九州大学（2017〜）
福岡未踏 プログラムマネージャ
サイバーセキュリティに関する総務
大臣奨励賞（2026）
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/G78D1P147D.jpg)

D XP O 福 岡 での 3年 間
「備える」から「機械にうまくやらせる」、そして「疑う」へ
2024｜バックオフィスDXPO
2025｜IT・情シスDXPO
2026｜今日
サイバー攻撃は100%防げない
「ひとががんばる」から「機械にう
機械＝生成AIが業務の中心に
機密性・完全性・可用性とBCP
まくやらせる」へ
うまくやらせる条件は「疑う力」
守る側も技術向上を
共用セキュリティ基盤を使いこなす
人材
機械に「うまく」やらせるには、任せる前に確かめる仕組みが要る
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/L7LMQ1QVJR.jpg)

今日の問い
AIの答えは速くなった。
では、その答えを
誰が・いつ・どう確かめるのか？
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4EMY1W1NEW.jpg)

今 日 の結 論
車に例えると：フレーム・アクセル・ブレーキ
アクセル＝使う力
ブレーキとハンドル＝疑う力
業務にAIを組み込み、作業を速く・広くする力
答え・入力・権限を確かめ、責任ある判断につなげる力
がっちりとしたフレーム＝仕事と技術の基礎力
自分の業務・ビジネスの知識 ｜ 使っている情報システムとセキュリティの基礎 ｜ 情報の扱い方のルール
フレームがあるから、アクセルもブレーキも効く。疑う力は「安心して使い続ける条件」
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PER9LYL4J9.jpg)

1. 生 成AI は い まど こ ま で 来 たか
業務での使われ方は「答える」から「動く」へ
生成AI（答える）
AIエージェント（動く）
文書作成・要約・翻訳
メール・カレンダー・ファイルに接続
調査・アイデア出し
情報収集→判断候補→実行
コード生成
チケット起票・コード修正
→ 人が読んで使う
→ AIが仕事を進める
リスクの重心も「間違った答え」から「間違った行動」へ移る
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/P7XQWGWZEX.jpg)

生 成A Iの 性 質
「もっともらしい」と「正しい」は別物
仕組み
得意
苦手・注意
大量の文章から、次に来そうな言葉
下書き・要約・言い換え
事実の保証（ハルシネーション）
を確率的に並べる
定型作業の高速化
最新情報・社内事情
→ 流暢で自信ありげな文章になる
観点の洗い出し
指示と情報の区別（後述）
生成AIは「自信満々な新人」。仕事は速いが、確認は上司の役目
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/37K9V4VV7D.jpg)

2 . 生 成A Iの3つ の リス ク
情報漏えい・誤情報・サイバー攻撃
① 情報漏えい
② 誤情報
③ サイバー攻撃
入れてはいけない情報を入れる
もっともらしい誤り
AIを使った攻撃
AI経由で外へ出ていく
確認せずに外へ出す
AIそのものへの攻撃
一昨年の整理で言えば：① 機密性 ② 完全性 ③ 可用性・完全性 がAIによって新しい形で脅かされる
そして、どのリスクも最後は「誰が責任を負うか」に行き着く
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/LJ3WMDQQJ5.jpg)

リ ス ク① 情 報 漏え い
事例：善意の入力・うっかり共有が漏えいになる
米国の大手IT企業（2023年）
対話AIの共有リンク（2025年）
社内の弁護士が全社に警告：ChatGPTの回答に社内の機密情
会話を「共有リンク」で公開する機能で、利用者の会話が検
報とよく似た内容が現れた
索エンジンに表示
→ 社員が業務情報を入力していた可能性
→ 業務の相談や個人情報も含まれていた
→ 機密情報の入力を禁止
→ 提供元が機能を撤回
悪意はない。「便利だから」「早く終わらせたいから」の延長で起きる
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/8JDK6P9WEG.jpg)

リ ス ク① 情 報 漏え い
入れた情報は、どこへ行くのか？
学習への利用
履歴・共有
シャドーAI
接続先
個人向けサービスでは入
会話履歴の保存、共有リ
会社が把握していないAIツ
エージェントがメール・
力が学習に使われる設定
ンクの公開
ール・拡張機能・議事録ア
ファイルに接続
のことも
→ 意図せず第三者が閲覧
プリ
→ AIが読める範囲＝漏れ
→ 管理の外で情報が流れる
うる範囲
→ 法人契約・設定の確認
問うべきは「AIに何を見せてよいか」を誰が決めているか
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/VEPKYNZX78.jpg)

リ ス ク② 誤 情 報
事例：AIの誤りは、そのまま組織の誤りになる
米国の訴訟（2023年）
カナダの航空会社（2024年）
弁護士が生成AIで調べた実在しない判例を裁判所に提出 →
チャットボットが運賃規定を誤案内 → 「チャットボットの
弁護士に制裁金
発言も会社の責任」として賠償
米国の新聞（2025年）
豪州のコンサル報告書（2025年）
生成AIで作られた夏の推薦図書リストを掲載 → 多くが実在
政府向け報告書に存在しない文献・引用 → 報告書を訂正し
しない本で謝罪
、委託費の一部を返金
「AIがそう言ったので」は、言い訳にならない
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/27VVGKW37Q.jpg)

リ ス ク② 誤 情 報
確かめるコスト：何を、どの順で確かめるか
生成するコスト
確かめる6ステップ
数秒
1.一次ソースが存在するか：論文・判例・法令・統計が実在するか
2.中身が一致するか：引用・要約が原文と食い違っていないか
3.数字が合っているか：桁・単位・年度・計算
確かめるコスト
4.固有名詞が正しいか：人名・社名・製品名・法令名
数十分〜
5.最新か：改正・更新・廃止されていないか
6.自社に当てはまるか：前提条件・国・業種・契約
量が増えるほど「確認したつもり」が増え
る
用途に応じて「どこまで確かめるか」を決めておく（社内メモ ≠ 顧客向け文書）
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/5JGL8QDY7L.jpg)

リ ス ク③ サ イ バー 攻 撃
AIを使った攻撃：見分けがつかなくなる
ディープフェイク会議詐欺（2024年・香港）
フィッシングの高度化
英国の設計会社の社員が、CFOらを装ったビデオ会議の指示
不自然な日本語という「見分けポイント」が消える
で約2億香港ドルを送金
取引先・上司を装う文面を大量生成
→ 参加者は本人以外すべて偽物
「見た目で見抜く」教育から「手順で確かめる」仕組みへ
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/47QY9K16EP.jpg)

リ ス ク③ サ イ バー 攻 撃
AIそのものへの攻撃：プロンプトインジェクション
仕組み：メール・Webページ・文書の中に「AIへの指示」を隠す → AIは情報と命令を区別できず、従ってしまう
業務AIアシスタント（2025年）
開発支援AIエージェント（2025年）
細工したメールを1通送るだけで、利用者が何もしなくても
公開リポジトリの課題（Issue）に指示を仕込む → それを読
、AIに社内情報を外部へ送らせうる脆弱性が報告
んだAIエージェントが非公開リポジトリの情報を公開側に書
→ 提供元が修正
き出しうることが実証
AIが読むものはすべて「攻撃の入口」。権限が大きいほど被害も大きい
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/KE4WXPRMJ1.jpg)

A Iエ ー ジェ ン ト 時 代 の要 点
リスクは「賢さ」より「権限」にある
決めておくこと
問い
何を読ませるか
入力・情報源に、信頼できないものが混ざっていないか
どこに接続させるか
メール、ファイル、チャット、クラウド、社内システム
何を実行させるか
送信・変更・削除・公開・発注
どこで人が承認するか
外部送信、本番変更、顧客連絡、支払い
何を記録するか
AIが何を見て、何をしたかを後から追えるか
最小権限・承認点・記録は、人間の新人に対するのと同じ
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/L71YN9QYJG.jpg)

攻 撃 側の 時 間 軸
AIで脆弱性の発見も速くなる
事例：Copy Fail（2026年）
意味すること
Linuxカーネルのローカル権限昇格（CVE-2026-31431）
発見 → 公表 → 悪用 の間隔が短くなる
AI支援の解析で発見が高速化したと報じられる
組織が判断に使える時間が減る
PoCも公開
→ 判断を事前に設計しておく
AI時代のセキュリティは「作業」より「判断設計」の問題
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/G7WG4QM1E2.jpg)

3. 責任
責任はAIに移らない
利用者・組織の責任
法令上の論点
説明責任
出力を使って外に出した時点で、組
個人情報保護（入力・第三者提供）
顧客・取引先・行政に「何を、どう
織の判断
著作権（生成物の利用）
確認したか」を説明できるか
（前出：チャットボットの誤案内）
契約上の秘密保持義務
AIは道具。判断と責任は、最後は人と組織に残る
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4JZL2WQXE3.jpg)

日 本 のル ー ル の 動 き
ガイドラインは「AIエージェント」も対象に
AI推進法（2025年成立）
AI事業者ガイドライン 第
1.2版（2026年3月）
既存の法令
の推進
開発者・提供者・利用者の役割
著作権法
国・事業者の責務の基本的な枠組み
AIエージェント時代のリスク管理を
不正競争防止法（営業秘密）
人工知能関連技術の研究開発・活用
明示
※ 詳細は総務省・経済産業省の公表資料を参照。自社への適用は法務・専門家と確認を
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 18
個人情報保護法


# Page. 19

![Page Image](https://bcdn.docswell.com/page/YE6WVG6PEV.jpg)

4. 疑う力とは
疑う ＝ 否定することではなく
確かめる手順を持つこと
その根拠は？
何を渡した？
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 19
誰が決める？


# Page. 20

![Page Image](https://bcdn.docswell.com/page/GE5MDV6PE4.jpg)

個 人 の疑 う 力
今日からできる5つの習慣
1.入れる前に分ける：その情報、社外に出してよいものか
2.数字・固有名詞・出典は必ず裏取り：一次情報で確認
3.指示の出どころを疑う：メールや文書の中の「お願い」はAI宛てかも
4.お金・権限・外部送信は別経路で確認：電話・対面・承認フロー
5.最後は自分の名前で出す：説明できないものは出さない
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/972983MZJR.jpg)

組 織 の疑 う 力
3点セット：見える化・境界設計・判断訓練
見える化
境界設計
判断訓練
どのAIを、誰が、どの業務で、どの
AIに見せる情報・任せる作業・人が
誤情報・漏えい・詐欺が起きたとき
データに使っているか
承認する点を決める
の初動を机上演習で体験しておく
シャドーAIも含めて把握
最小権限と記録
AI時代の対策は、ツール導入ではなく「運用と判断の設計」
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/DJY461XN7M.jpg)

境 界 設計 の 例
入力してよい情報を、あらかじめ区分する
情報の区分
例
生成AIへの入力
公開情報
Web掲載済みの資料
可
社内限り
社内手順書・企画書
会社が契約・設定を確認したサービスのみ可
機密・顧客情報
顧客データ・未公開の数字
原則不可（個別承認）
認証情報
パスワード・APIキー
禁止
※ 一例。区分と扱いは各組織の情報管理規程に合わせて設定
「使うな」ではなく「ここまでなら使ってよい」を示すとシャドーAIが減る
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/V7NYZ21VE8.jpg)

境 界 設計 の 例
AIに任せる作業と、人が承認する点
AIに任せる
人が承認する
下書き・要約
社外への送信・公表
情報収集・分類
本番環境の変更
候補の提示
支払い・契約
定型チェック
顧客への回答
承認点は「取り返しがつかない操作」の直前に置く
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 23
記録する
AIが何を見たか
何を提案したか
誰が承認したか


# Page. 24

![Page Image](https://bcdn.docswell.com/page/YJ9PZ15V73.jpg)

ミ ニ 演習 （ 3分 ）
あなたが情シスの責任者だとします
• 営業部が、無料のAI議事録アプリを独自に導入していたことが判明
• 顧客との商談の録音・議事録が、半年分アップロードされている
• アプリの利用規約では、入力データをサービス改善に使う可能性がある
• 現時点で、外部への流出は確認されていない
Q. 最初の24時間で、何を確認し、誰に、何を伝えますか？
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/GJ8D14Y4JD.jpg)

ミ ニ 演習 の 考 え 方
不完全な情報で、確認する順番を決めておく
① 止める・保全
② 確かめる
③ 判断する
④ 直す
新規アップロードを止める
規約・設定・保存先
契約・法令上の報告要否
「使ってよいAI」の提示
削除の前に状況を記録
対象顧客と情報の範囲
顧客への説明の要否と時期
入力区分の周知
責めるより、使える選択肢を示す方が次の事故を防ぐ
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/LJLMQ64VER.jpg)

5. 人材
人の役割は「作業者」から「判断者」へ
作業（AI）
提案（AI）
判断（人）
責任（人・組織）
求められるのは「全部できる人」ではなく、技術・業務・判断を「つなげる人」
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 26


# Page. 27

![Page Image](https://bcdn.docswell.com/page/47MY15KN7W.jpg)

育て方
教育は三段階、座学より演習
全員向け基礎
中核・管理職向け
推進役向け
AIの性質と限界
机上演習で判断を体験
AIガバナンス・新しい攻撃
入力区分と5つの習慣
承認点・説明責任
エージェントの権限設計
九州大学の社会人向け実践プログラム「SECKUN／ProSec-IT」（2018年度〜）でも、演習・議論中心で技術以外の要素（法制・危機管理など）を含めて学ぶ
場を提供しています
道具は買える。人と体制は育てるしかない
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/P7R9L3X4E9.jpg)

まとめ
今日の持ち帰り
1. 生成AIは「もっともらしい」。正しさは使う人が確かめる
2. リスクは情報漏えい・誤情報・サイバー攻撃。エージェントは「権限」が要点
3. 責任はAIに移らない。説明できる記録と承認点を
4. 組織は「見える化・境界設計・判断訓練」の3点セット
5. 使う力と疑う力の両方を持つ人を、演習で育てる
疑う力があるから、AIを安心して使い続けられる
DXPO福岡’26 ｜ 生成AIの利用に伴うリスク・責任・サイバーセキュリティ ｜ 28


# Page. 29

![Page Image](https://bcdn.docswell.com/page/PJXQW46Z7X.jpg)

今日の問い
AIの答えは速くなった。
では、その答えを
誰が・いつ・どう確かめるのか？
AIを使う力と、疑う力を。
小出 洋 ｜ 九州大学 情報基盤研究開発センター
koide@cc.kyushu-u.ac.jp ｜ X: @hirosk ｜ YouTube: @koide55