AI×業務改革　AI WorkspaceプロジェクトのAgent活用最前線

AI×業務改革 TITLE SUBTITLE AI WorkspaceプロジェクトのAgent活用最前線 小山 NAME 達也

SUBTITLE 小山 達也 IT本部IT戦略部 IT本部IT戦略部コーポレートオペレーショングループ PHOTO 2021/05 | DeNA IT戦略部システム開発Gへ中途入社 2022/04~2025/05 | IT戦略部システム開発Gマネージャー 2024/08~ | IT戦略部CorpOpsGマネージャー 2025/06~ | IT戦略部 副部長

全従業員がAIを使いこなすと何が経営としてうれしいのか SUBTITLE 社内の現状 AIがいる働き方がもたらすもの 情報が分散・サイロ化 Confluence・GoogleDrive・各種ツールに情報が散在 定型作業の極小化 問い合わせ対応・申請処理・ナレッジ維持をAIが代替 → コスト削減 ナレッジの陳腐化・属人化 ドキュメントが更新されず、正しい情報にたどり着けない 判断・意思決定の高度化・高速化 人とAIの共存による判断・意思決定の高度化 定型業務が人手のまま 申請・手続き・問い合わせ対応を人が手作業で回している 高付加価値業務へのシフト 単純作業からの解放 → 人的資本の充実・高品質化 AI Workspaceプロジェクトは、これを共通コーポレート部門から実現する

AI Workspaceプロジェクトについて SUBTITLE VISION APPROACH AIがいる働き方を、 AI Agent開発 横断的なワークフロー自動化 未来の当たり前に。 RAG / MCP AIを全従業員の「パートナー」とし て位置づけ、AIとの協働を全社の文 化として根付かせる 社内ナレッジの検索・活用 人間×AIの協働 創造的業務へのシフト AIの導入ではなく、継続的な成果

SUBTITLE 社内問い合わせ効率化

Findoutとは？ SUBTITLE Findout（RAG） 解決 AIの回答で満足 ユーザー SlackでFindoutアプ リへDMで質問 全社ドキュメントを検索 ・参照し、回答を生成 エスカレーション 「起票する」ボタン

SUBTITLE 社内AIヘルプデスク「Findout」RAG精度改善 課題 取り組み 成果 問い合わせの自己解決率 が低い ➔ 評価基準の確立と100件テスト 自己解決率 ケースで継続検証 自己解決率 44% ➔ 技術最適化(RAGチューニング) 44% 80%↑ ✔ 月間2500件が自己解決 ✔ ヘルプデスクの負荷軽減 + 他部門への横展開も

アプローチ① 高速な評価システムの構築 SUBTITLE 改善を「勘」ではなく「数字」で回す仕組み構築 & そのためのシステム「raglab」を開発 テストケース 実際の問い合わせ 100件 人による採点 RAG 実行 LLM 採点 回答を自動生成 0~4点で自動採点 人による採点 高得点の施策のみ 採点基準の試行錯誤: 3軸 から 1軸への転換 BEFORE AFTER 正確性 正確性のみ 0~4点中 3点以上 = 合格 網羅性 網羅性 関連性 関連性 = 合計点で合否判定 不正解でも合格に 基準をシンプルに

アプローチ② マネージドRAGへの移行 SUBTITLE BEFORE: フルスクラッチ ✕ ベクトルDB 構築・運用 ✕ チャンク戦略の設計・実装 AFTER: Amazon Bedrock® Knowledge Bases ✔ インフラ運用をAWSに委託 ✕ リランキングモデルの導入 ✔ リランキング、チャンク処理、クエリ変 換を高速に検証 ✕ エンベディングモデルの選定 ✔ 精度改善のチューニングに集中 全部自力。工数大・改善速度が遅い。 パラメータチューニングの積み上げ 検索結果数量最適化+Rerank > 74% + 階層型チャンク + クエリ変換 > 79% + Cohere Embed 3™ > 80% ※Amazon Web Services、AWS、および Amazon Bedrock® は、米国およびその他の諸国における、 Amazon.com, Inc. またはその関連会社の商標です。 ※Cohere および Cohere Embed 3™ は、Cohere Inc. の商標または登録商標です。

RAG精度改善の学び SUBTITLE 改善の前に、精度を定量的に測り続ける評価基盤を構築 評価基盤があるから、技術選定も改善判断も数字で回せる しかし、精度は80%強で天井に...。残る課題は？ 正答 80% 不正解 20% 分析 70% ドキュメントに書かれていない 30% その他 技術では解けない壁 RAGの天井を決めているのは モデルでも検索ロジックでもなく データソースの網羅性だった...

SUBTITLE ナレッジの継続的な成長サイクル

AIによるドキュメント自動更新・提案機能 SUBTITLE 背景 取り組み 成果 RAG精度80%到達後、残る ➔ ヘルプデスクのやり取りから新 ナレッジが自律的に成長 課題の主因が「ドキュメント に記述がない」ことと判明 情報を抽出 ➔ 関連ドキュメントを自動探索 ➔ 追記を提案 RAG精度向上の次のステップ - ナレッジの鮮度・網羅性を自動で維持 ✔ 月約30件がAI起点で更新 ✔ 継続的なナレッジ改善サイ クルを実現

SUBTITLE 仕組み STEP 1 STEP 2 F STEP 3 STEP 4 AI サポートチケット AIが更新を提案 人が確認 更新 Findoutから起票され た問い合わせ チケット内容からド キュメント更新差分を 生成 変更差分をレビュー 「更新」ボタンを押す ドキュメントが最新化 される AIが提案、人が判断。AIと協働しながら、ナレッジを継続的に改善

ドキュメント自動更新の学び SUBTITLE 一度作って終わりではなく、 運用の中で仕組みが自動で成長し続けるサイクルを構築 ● 継続的な精度改善の設計が、PoC止まりにしない鍵となった ● 問い合わせが増えるほどナレッジが充実する「好循環」が回り始めた

SUBTITLE Agentによる定型業務の自動化

ツール利用申請とは？ SUBTITLE 社内で新しいツール・サービスを利用開始するための申請ワークフロー ツール利用申請 課題 ツールの基本情報 ツール名, 提供会社... 利用目的 導入目的, 利用シーン 申請数は約200件/月。 ガバナンス上、入力項目の 削減はできない。 リスク判定 入力情報, 利用範囲 しかし... AIサービス データ学習, 権利, 成果物用途 申請者が全項目を 自分で調べて入力 費用/予算 予算, 金額 etc.. AI推進したいのに、 申請の煩雑さで足が止まる

SUBTITLE 申請ワークフロー自動化のプロセス WF ユーザー AI Agent 自動入力 ツール名を伝える Web情報から調査 申請フォームを自動補 完 ワークフロー申請 ユーザーはツール名を伝えるだけ。面倒な情報収集・入力はAI Agentにおまかせ

SUBTITLE 決断できなかった2ヶ月と、そこからの転換 BEFORE (~2ヶ月) 技術調査 もっと良い手段 があるかも 別のツールも検 証してみよう AFTER ➔ フレームワークを一つに決め、開発着手 ➔ ツール利用申請に特化した最小構成でリリース 完璧じゃない...

AI Agentによる申請ワークフロー自動化 SUBTITLE の学び 「待てばもっと良い手段が出る」は正しい。 だからこそ、待たずに提供する判断が必要。 ● 最新技術の調査に時間を使いすぎず、まず最小限の形で価値を届ける ● 不完全でもユーザーに届けることで初めてフィードバックが得られ、改善が始まる ● 最適な選択をすることではなく、選択した後にそれを最適にしていく

SUBTITLE 今後の展望 AIがいる、未来の当たり前へ

今後の展望 SUBTITLE 1. 成功事例のさらなる横展開 RAG精度改善・ワークフロー自動化のノウハウを他部署・プロジェクトへ展開 2. 他業務システムへのMCP・Agent開発 MCP（Model Context Protocol）による横断的なデータ活用、サイロ化されたシステムを AIが橋渡し 3. AIがいる働き方を、未来の当たり前に 全従業員がAIをパートナーとして活用する文化の醸成、創造的業務へのシフトを加速 成果を測り、改善を回す文化を、全社のAIプロジェクトへ

SUBTITLE