AI Builder のGPTアクションを使って業務にAIを速攻で取り入れる

AI Builder のGPTアクションを使って 業務にAIを速攻で取り入れる！ ギークフジワラ | 日本マイクロソフト株式会社 | ローコード テクニカル リード ランチタイムセッション LU02 | 2023年12月8日 (金) 12:25-13:25

本イベントのスポンサー様 Gold Sponsor Silver Sponsor Facilities & Staff Sponsor ダイキン工業㈱

写真OK！ SNS投稿OK！ #JPPC2023 ※画像はBing Image Creator で作成されています

• https://twitter.com/hashtag/JPPC2023?src=hashtag_click
• https://www.bing.com/images/create

ブログ | geekfujiwara.com ギークフジワラ テキストの方がわかりやすいコンテンツなどを中心に掲載。 Geek Fujiwara 日本マイクロソフト株式会社 ローコード テクニカル リード 誰でもアプリを作れる世の中になるように Power Platform に関する配信を行っています。 初級 >>>>>>>>>>>>>>>>中級>>>>>>>>>>上級>>>>>>>>>マニアック ギークフジワラ Udemy 体系的に学び、ゼロから業務で使えるように！ にも対応！ ギークフジワラ で検索！ さらに最新情報をキャッチアップ！ 時々マニアックな内容も。 X | @geekfujiwara 技術的な最新情報やクイズを出題したりしています。

• https://geekfujiwara.com/
• https://www.youtube.com/c/geekfujiwara
• https://twitter.com/geekfujiwara
• https://www.udemy.com/user/gikuhuziwarateng-yuan-hong-dao/

2023年、 高度に電子化された社会・・・！！？？

これだけ電子化が進んでも 世界にはまだまだ紙が 蔓延(はびこ)っている・・・

ペーパーレス化を会社やステークホルダーが 対応してくれるのを待つ？

ペーパーレス化を会社やステークホルダーが 対応してくれるのを待つ？ 忙しいからなぁ・・・ それに、 自分にはできないよ

ペーパーレス化を会社やステークホルダーが 対応してくれるのを待つ？ 忙しいからなぁ・・・ それに、 自分にはできないよ もし、超簡単 だったら？ 今、 目の前にある業務を やりながらでもできる！

本日のテーマ AI Builder を用いた ドキュメントに対する 生成AI の超簡単で汎用的な 活用方法をご紹介

AI Builder 使ってますか？

これからの10年で アプリの形は変わる

AI は最大のビジネスチャンス UP TO 14% $15.7T 90% 1PWC, 2017 2Economist Intelligence Unit, 2018 3Ignite, 2016 2030年までに AI の存在が世 界のGDPを押し上げる1 私たちは、あなたが指 先で情報を追求した ように、AI の民主化 を追求したい.3 AI が2030年までに世界経済に 貢献する可能性1 Satya Nadella AI が成長にプラスの影響を与え ると予想している企業の割合2

• https://www.pwc.com/gx/en/issues/data-and-analytics/publications/artificial-intelligence-study.html
• https://news.microsoft.com/speeches/satya-nadella-microsoft-ignite-2016/
• https://www.eiuperspectives.economist.com/technology-innovation/intelligent-economies-ais-transformation-industries-and-society

AIの時代では すべてのアプリが インテリジェントに アプリ データ AI モデル

AI Builder は Azure AI の上に構築 AI Builder 市民開発者 テキスト認識 請求書処理 領収書処理 ドキュメント処理 IDドキュメントリーダー 名刺リーダー 物体検出 予測 カテゴリ分類 エンティティ抽出 キーフレーズ抽出 言語検出 感情分析 翻訳 GPT Azure AI Azure Applied AI Services 開発者と データサイエンティスト Azure Form Recognizer Azure Metrics Advisor Azure Cognitive Search Azure Bot Service Azure Video Analyzer Azure Immersive Reader Azure Cognitive Services Vision Azure Machine Learning Speech Language Decision Azure OpenAI

ローコードでインテリジェントを追加 Power Apps AI Builder Power Automate

AI Builder GPT プレビュー aka.ms/TryAIBuilder

• https://aka.ms/TryAIBuilder

AI Builder – 今どんな機能があるの？

幅広い AI シナリオ Documents テキスト認識 請求書処理 領収書処理 ドキュメント処理 IDドキュメントリーダー 名刺リーダー Vision 物体検出 Prediction 予測 Language カテゴリ分類 エンティティ抽出 キーフレーズ抽出 言語検出 感情分析 翻訳 GPT

AI Builder GPT アクションの現在状況 リージョン US 環境 (日本展開はまだ) Power Apps Power Automate データソースか らから追加す るだけ Power Platform 独自の承認ア クションを入れ る必要はない 独自の承認アクションを 入れる必要がある 入れないとエラーになる アクション 'GPT でテキストを作成 する' の後にコンテンツ承認アク ションが存在しません。 コンテンツ を誰かに手動で確認してもらうに は、'GPT でテキストを作成する' アクションの後に「開始してテキス トの承認を待機」アクションを追 加します。 リファレンス プレビュー GPT アクションで独自のエンタープライズ データを使用する | Microsoft Learn 製品の提供地域 | Dynamics 365 (microsoft.com)

• https://learn.microsoft.com/ja-jp/power-platform/release-plan/2023wave2/ai-builder/use-own-enterprise-data-gpt-actions
• https://dynamics.microsoft.com/ja-jp/availability-reports/

朗報！ Power Apps 開発者プランを使用して作成された開発環境をお持ちの場合は、 AI Builder を利用できるようになりました。 これは、AI Builder のモデルをカスタ マイズして、フローやアプリで使用できることを意味します。 開発環境内で使用で きる 20,000 クレジットが毎月付与されます。 Power Apps 開発者プランで AI Builder を試す | Microsoft Learn 米国の開発者環境をデプロイして、 ’GPT でテキストを作成する’ AI Builder アクションを使ってみよう！ https://aka.ms/ppac

• https://learn.microsoft.com/ja-jp/power-platform/release-plan/2023wave2/ai-builder/try-out-ai-builder-power-apps-developer-plan
• https://aka.ms/ppac

ドキュメント認識に話を戻して・・・

これまでのドキュメント認識(OCR)を用いた 必要な情報の抽出方法 Step 1 学習データを準備 Step 2 読取項目のタグ付け Step 3 公開

これまでのドキュメント認識(OCR)を用いた 必要な情報の抽出方法の課題 Step 1 学習データを準備 Step 2 読取項目のタグ付け Step 3 公開

アイディア Step 1 Step 2 Step 3 学習データを準備 読取項目のタグ付け 公開 全文OCR GPT フォーマット学習を行わない！ テキスト認識エンジン + GPT

何もないところから アプリ作成デモ

アイディア Step 1 Step 2 Step 3 学習データを準備 読取項目のタグ付け 公開 全文OCR GPT フォーマット学習を行わない！ テキスト認識エンジン + GPT

「OCR2GPT」 の振り返り
全文OCR

テキスト認識エンジン

GPT
テキスト

プロンプト

日本マイクロソフト株式会社
御中
請求No.
INV-44444
ご担当：
佐藤太郎
様
請求日
2022年2月1日
件名：導入作業費用について
大金鋼鉄株式会社
下記の通り、ご請求申し上げます。
〒111-1111
東京都新宿区新宿1-2-3
新宿第1ビル2階
TEL：
03-333-3333
FAX：
03-444-5555
E-Mail：
sample@tokushugokin.com
担当：
鈴木次郎
合計金額
¥33,000
（税込）
お支払期限：
請求日翌月末

Input に従って以下の回答フォー
マットの形式で出力して。

出力
・TEL：03-333-3333
・請求日：2022年2月1日
・合計金額：¥33,000（税込）
・請求明細：
1. 品番：INSTFA01
摘要：FA01据付作業
数量：1
単価：¥20,000
金額：¥20,000

## 回答フォーマット
・TEL
・請求日
・合計金額
・請求明細
## input
日本マイクロソフト株式会社
御中
請求No.
INV-44444
ご担当：
佐藤太郎
様
請求日
2022年2月1日
件名：導入作業費用について
大金鋼鉄株式会社
下記の通り、ご請求申し上げます。
〒111-1111
東京都新宿区新宿1-2-3
新宿第1ビル2階
TEL：
03-333-3333
FAX：
03-444-5555
E-Mail： sample@tokushugokin.com
担当：
鈴木次郎
合計金額
¥33,000
（税込）
お支払期限：
請求日翌月末

2. 品番：SRVFA01
摘要：FA01メンテナンスサービス
数量：1
単価：¥10,000
金額：¥10,000
{

GPT でテキストを
作成する

}

"TEL": "03-333-3333",
"請求日": "2022年2月1日",
"合計金額": "¥33,000（税込）",
"請求明細": [
{
"品番": "INSTFA01",
"摘要": "FA01据付作業",
"数量": 1,
"単価": 20000,
"金額": 20000
},
{
"品番": "SRVFA01",
"摘要": "FA01メンテナンスサービス",
"数量": 1,
"単価": 10000,
"金額": 10000
}
]

色々なドキュメント認識のシナリオに適用してみる 仕入先から届いた色々のフォーマットの 請求書から必要な情報を抽出 銀行窓口での相続案件対応で 戸籍謄本から家系図の作成 給油レシートから金額や給油量を抽出 機密保持契約から 機密情報の保持期間を抽出

色々なドキュメント認識のシナリオに適用してみる 仕入先から届いた色々のフォーマットの 請求書から必要な情報を抽出 銀行窓口での相続案件対応で 戸籍謄本から家系図の作成 プロンプト以外、 全部同じじゃない？ 給油レシートから金額や給油量を抽出 機密保持契約から 機密情報の保持期間を抽出

もう一つのアイディア: プロンプトが切り替えられる1つのアプリに！ 仕入先から届いた色々のフォーマットの 請求書から必要な情報を抽出 銀行窓口での相続案件対応で 戸籍謄本から家系図の作成 給油レシートから金額や給油量を抽出 機密保持契約から 機密情報の保持期間を抽出

完成形のアプリのデモ

精度どうなの？

AI Builder 各モデルとの比較 - GPT は意図を理解した結果に強み 事前構築済みモデル 領収書処理 全文OCR GPT テキスト認識エンジン + GPT カスタムモデル (n=6) ドキュメント処理中 プロンプト アウトプット 凡例： 位置OK、文字OK 位置OK、文字NG

GPTは異なるフォーマットどころか多言語にも対応できそう

これからの10年で アプリの形は変わる

AI を利用した アプリ開発によって！

おまけ

本ソリューションは に公開済み！ https://github.com/geekfujiwara/OCR2GPT

• https://github.com/geekfujiwara/OCR2GPT

この資料は既に に公開済み！ https://www.docswell.com/s/geekfujiwara/ZGX4LJ-jppc23-aibuilder-gpt-document-ocr

• https://www.docswell.com/s/geekfujiwara/ZGX4LJ-jppc23-ai-builder-gpt-document-ocr

msft.it/6019iPNb3

• https://msft.it/6019iPNb3