①私たちはAIと どう向き合うか（やくらさん）

UiPath Friends Festival 2024 テック三昧 私たちはAIと どう向き合うか やくら（shuy_oooo）

自己紹介 • やくら（X: @shuy_oooo） • SIerでUiPathのカスタマーサクセスや プリセールスのリーダをしている人 • 得意領域はAI • 22年から UiPath Japan MVP に認定 • 2年連続ラスベガスに行かせてくれて ありがとう！（妻と会社へ）

AI やってる？

個人で使うか、組織で使うか 個人での利用 組織・業務での利用 生成AIで議事録作成（要約）、アイデアの壁打ち、 ソースコードの生成（UiPath Autopilot含む）など 文書関連の業務効率化（UiPath DU等）、 規約・ナレッジを取り込ませたAIチャットなど

エンタープライズレベルでの AI導入は想像以上に難しい

本日のテーマ AI導入の壁に私たちは どう向き合えばよいか

壁その① 精度が気になる

精度の感じ方は人それぞれ (例) Document Understandingの抽出精度90％は高い？低い？ 高い 低い 10回に1回ミスする計算だけど じゃあ逆に何％だったら満足する？ 業務に適用してホントに大丈夫？ 95％？100％？ 「何％以上ならOK」というような絶対的な基準はなく とても曖昧な世界なので気にしすぎは良くない

精度についての基本的な考え方 100 精度100％は 実現不可能なので 高すぎる期待は捨てる インプットが変われば 精度も変わる （環境の変化に影響する） 50を90にするより 90を95にする方が はるかに難しい AI以外の仕組みで フェールセーフを 実現する

精度を補うためのヒント 生成AI① ベクトル データベース ①質問 ②検索 ③結果 生成AI② 突合・辞書引き ④質問と検索結果 ⑥回答 UI ⑤回答 LLM（生成AI） 社内マスタなど ML 異なる複数のモデルの 結果で判断する AIから得た結果 RAG（コンテキストグラウンディング） を使用して結果の裏付けを取る AIとルールベースを 組み合わせる

（低すぎは論外ですが） ホントに精度が一番重要ですか？ 精度より重要な問題があるはず

壁その② ルール・制約が厳しい

会社それぞれ色んなルール・制約がある 生成AIの利用が 一律禁止されている オンプレ主体なので Automation Cloudへの移行が必要 そもそもクラウド利用が難しい →詰み！

最低限のルールは必要 ✓ ユーザが入力したデータがAIの教師データとして再利用されるケースが発生しています。機密情 報の流出リスクを考慮する必要があります。 ✓ 教師データやRAGに使用する情報に関して、著作権や商標、パブリシティー権を侵害する可能性 があります。自社以外の情報を利用する場合は細心の注意が必要です。 ✓ 例えば医師など特定の資格が必要な業務をAIが遂行することは法令違反の可能性があります。最 終的な意思決定は人間が行うなどプロセスの設計が必要です。 実際にAI利用には様々なリスクが存在するのでルールの整備と順守は必要

とりあえず成功企業の真似をしてみる ✓ セキュリティポリシー・ガイドライン ✓ 監視・モニタリング ✓ 適用業務・ユースケース ✓ クラウド移行・活用例

日本企業はこの壁でつまずいているケースが 多いので1人（1社）で悩まず相談してみる

壁その③ 結構なお金が必要

結構お金がかかる 実行するのにお金がかかります 構築するのにお金がかかります 運用するのにお金がかかります (結論)お金がたくさん必要です

精度の維持向上のためには結構お金がかかります ✓ MLは定期的なトレーニングが不可欠です。ただし、トレーニングしたからといって精度向上が約 束されているわけではありません（下がる場合もあります）。 ✓ データの鮮度が悪いとRAGは使い物になりません。例えば、社内規定の変更の度にRAGを再構築 しないと古い規定を参照した回答になります（社内規定って頻繁に更新されませんか？）。 ✓ ルールベースによるチェックの仕組みは、ワークフローの複雑性を上げます。構築時のコスト増は もちろん、変更容易性（メンテナンスコスト増）にも注意が払う必要があります。

「ROIが…」って言っていたら AI導入は進みません （企業におけるIT投資にROIが最も重要なファクターであることは重々理解してます）

測定容易な指標と測定困難な指標 定量観点での導入効果 （直接的な測定が容易） 定性観点での導入効果 （直接的な測定が困難） ✓ 生産性の向上 ✓ スキル・リテラシーの向上 ✓ 作業時間の削減 ✓ 経験・体験の獲得 ✓ コストの削減 ✓ ビジネスアジリティの向上 AI導入はこっちを評価することが大事

RPAを活用し業務全体を捉えることでAI導入効果の最大化を狙う 一連の業務はRPAによって自動化する。 社内マスタ等とのルールベースチェックを 行うことでAIモデルの精度を補う。 一律のメッセージはなく、申請内容をサマリ したメッセージを生成AIで作成する。 生成AI 社内マスタや台帳等 注文書 （添付ファイル） 注文に関するメール 承認者 Document Understanding 生成AI お客様 営業 社内システム 注文関連情報 （メール本文） 人間によって補正を受けたデータは 再学習用のデータとして使われる。 チャット Communication Mining 一部精度の良くないものはAction Centerで 人間によるチェックと補正を受ける。

アジャイルで進める ✓ PoCに時間をかけるよりも、多くの人を巻き込み、実際に使 いながら検証する。 実装 設計 テスト 企画 ✓ 利用者と意見（フィードバック）を聞きながら、必要な機能 や改善のみをスピーディーに取り込む。 ✓ 間違いや失敗を許容しながら、トライアンドエラーや仮説検 証のスタイルで進む。 デプロイ

AIはお金がかかるけど、付加価値創出や 競争力強化などを大きな利益をもたらします やるきゃないよね！

さいごに ✓ 精度ばかり気にしない ✓ 成功している企業を徹底的に真似る ✓ 定性観点での導入効果も加味する

Thank you