すごすぎ!GPT-4oをPower Apps、Power Automateで楽しんでみよう!

29.7K Views

May 25, 24

スライド概要

■ タイトル: すごすぎ!GPT-4oをPower Apps、Power Automateで楽しんでみよう!
- 日付: 2024年5月25日
- スピーカー: 出戻りガツオ(De’modori Gatsuo)
- 主催: ビリビリ☆Power Apps 同好会

### スピーカープロフィール
- 名前: 出戻りガツオ(De’modori Gatsuo)
- 役職: Microsoft 365 コンサルタント、インドの青鬼 語り隊 隊長
- スキル: Power Apps、Power Automate、Python、Excel VBA、Google Apps Script、RPA、Power BI、SharePoint

#### セッション内容
1. テーマ紹介
- GPT-4o(オムニ)について
- Azure OpenAI APIの使用方法とその事前準備
- 利用コストと必要な環境
- Power Automate Premiumプランの必要性
2. GPT-4oの特徴
3. デモと実践
- GPT-4oを使用した具体例
- Power AppsおよびPower Automateとの連携方法
- Azure Key Vaultの利用でのセキュリティ強化
- 画像の認識と処理方法
4. APIの利用手順
5. 実用例
- 画像処理の実演
- 物体検出、文字読み取りの実用例
6. まとめ
- GPT-4oの活用方法と今後の展望

#### 使用方法
- Power Automateの利用方法
- HTTPアクションの設定
- プロンプトと画像の送信
- AI Serviceによる戻り値設定

- 画像処理の手順
- Power Appsからの画像データ送信
- JSON形式への変換と処理

### Title: Amazing! Enjoy GPT-4o with Power Apps and Power Automate!
- Date: May 25, 2024
- Speaker: De’modori Gatsuo
- Organizer: Bilibili☆Power Apps Enthusiasts Club

### Speaker Profile
- Name: De’modori Gatsuo
- Position: Microsoft 365 Consultant, Leader of the Indian Blue Demon Storytelling Squad
- Skills: Power Apps, Power Automate, Python, Excel VBA, Google Apps Script, RPA, Power BI, SharePoint

#### Session Content
1. Introduction to the Theme
- About GPT-4o (Omni)
- How to use Azure OpenAI API and necessary preparations
- Usage costs and required environment
- Need for Power Automate Premium plan

2. Features of GPT-4o

3. Demo and Practical Application
- Specific examples using GPT-4o
- How to integrate with Power Apps and Power Automate
- Enhancing security with Azure Key Vault
- Image recognition and processing methods

4. API Usage Procedure

5. Practical Examples
- Demonstration of image processing
- Practical examples of object detection and text reading

6. Summary
- How to utilize GPT-4o and future prospects

#### Usage Methods
- How to use Power Automate
- Setting up HTTP actions
- Sending prompts and images
- Setting return values with AI Service

- Image Processing Procedure
- Sending image data from Power Apps
- Converting to JSON format and processing

profile-image

給与担当/HRからDXコンサルタント - Python,Power Apps,Power Automate,Power BI, Google Apps Script,VBA - PL-100、PL-300、fundamental制覇 - Microsoftのファン - 鰹塾 塾長 #インドの青鬼語り隊 隊長

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

すごすぎ!GPT-4oを Power Apps、Power Automate で楽しんでみよう! 2024.05.25 ビリビリ☆Power Apps 同好会 登壇大会 #1 De’modori Gatsuo

2.

Profile 出戻りガツオ 魁 !! 鰹 塾 塾 長 - Job Microsoft 365 Consultant インドの青鬼 語り隊 隊長 - Skill Power AppsとPower Automate!! - Python, Excel VBA, Google Apps Script - RPA (WinAutomation – Power Automate for desktop) - Power BI - SharePoint @DemodoriGatsuo DEmodoriGatsuO May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 2

3.

本日のテーマ! 話題のGPT-4o(オムニ)の凄すぎポイントの紹介、Power Apps & Power Automateでサクっと試していきます! GPT-4o(オムニ) 1. Azure OpenAIのAPIを中心に、2024年5月25日時点の情報を記載します • Azureのアカウント登録をはじめとした事前準備が必要です • 利用にはコストが発生します 2. プレミアムコネクタが使える環境で実行可能な操作です • Power Automateの専用プランが必要になります。 • (例)Power Automate Premium Microsoft Power Apps および Power Automate ライセンス ガイド May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 3

4.

GPT-4oとは GPT-4o(オムニ)は、OpenAIから2024年5月14日未明に発表された テキスト、音声、画像を統合的に処理可能なマルチモーダルAI Hello GPT-4o | OpenAI 限りなく人間に近い速度で 対応するGPTモデル May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 4

5.

すごい、安い、はやい GPT-4oは、入出力の多様さ、コストの安さ、音声入力の応答速 度をはじめ、既存のモデル、他社のAIモデルと一線を画している • 入力は、テキスト・音声・画像・ビデオに対応 出力は、テキスト・音声・画像を生成 • 非英語の言語の性能大幅向上 • 音声は、GPT-4oの中で完結(Speech to textを経由しない) • APIのコストはGPT-4 Turboより50%安い • ChatGPTでは、GPT-4oを無課金ユーザーでも1日10回まで使える • 音声入力の応答速度は、最速232ミリ秒・平均320ミリ秒 (会話における人間の応答時間に近い) May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 5

6.

テキスト評価 ■ピンクの縦棒がGPT-4o Hello GPT-4o | OpenAI May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 6

7.

翻訳の質 ■緑の縦棒がOpenAIのモデル。最も高いモデルがGPT-4o。 Hello GPT-4o | OpenAI May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 7

8.

画像理解 画像の理解もあらゆる評価指標で他のモデルを圧倒している May 25, 2024 評価指標 説明 MMMU (%) (val) テキスト、画像、音声など複数のモダリティを理解 する能力を評価。 MathVista (%) (testmini) 数式や数学的な概念を含む問題の解答能力を評価。 AI2D (%) (test) 2次元の画像データを理解し、それに基づいて質問 に答える能力を評価。 ChartQA (%) (test) グラフやチャートから情報を読み取り、質問に答え る能力を評価。 DocVQA (%) (test) 文書内の情報を理解し、質問に答える能力を評価。 ActivityNet (%) (test) 動画データの中でのアクティビティ(行動や動作) を理解し、認識する能力を評価。 EgoSchema (%) (test) 視覚データの中での自己中心的な視点(エゴセント リックビジョン)を理解し、認識する能力を評価。 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 8

9.

AzureでGPT-4oのAPIが使える! Azure OpenAIで「GPT-4o」のリソースをデプロイし、GPT-4oの 発表から数日でできるようになった(Microsoft Build 2024) リージョン 日本語 eastus 米国東部 eastus2 米国東部2 northcentralus 米国中北部 southcentralus 米国南中部 westus 米国西部 westus3 米国西部3 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 9

10.

API利用の流れ 外部APIを使うため、Power Automateを経由する。APIの利用に、 エンドポイントやAPIキーといった機密情報が登場する 1. Power Automateへ 値を渡す 2. 外部APIに HTTP要求を 送信 • プロンプトや 画像を送信 • HTTP要求のため、 エンドポイントと APIキー、本文を 用意して送信 May 25, 2024 3. 外部APIにHTTP要求を送信 • AI Serviceにて要求に対す る戻り値を設定 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 4. Power Apps へ値を渡す • Power Appsに データを戻す 5. Power Appで 使用! 遊ぶ!! 10

11.

Azure Key Vaultを活用 エンドポイントやAPIキーといった機密情報の格納は、Azure Key Vaultに格納することで安全性を高められる ■ Power Automateのコネクタ Azure Key Vault - Connectors | Microsoft Learn ■ Dataverse コネクタから、環境変数として呼び出す 環境変数の「名前」を指定して、シークレッ トを呼び出すことができる 例 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 11

12.

使い方! URIからヘッダー Power Automateから利用する場合は、「HTTP」アクションで実 施する(今回は「Chat」の例を紹介) ■ URI エンドポイント/openai/deployments/デプロイ名/chat/completions?api-version=2024-02-15-preview ■ Method POST ■ Header Key Value Content-Type application/json api-key APIキー May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 12

13.

使い方! 本文 ■ Body { “messages”: [ { “role”: “system”, “content”: “{システムの役割}” }, { “role”: “user”, “content”: “{プロンプト}”, ] } // 必要に応じてパラメーターを追加 Azure OpenAI Service の REST API リファレンス - Azure OpenAI | Microsoft Learn May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 13

14.

画像処理が、特に「すごい」 GPT-4oの特徴は「画像の認識」が抜群に優れている。 物体の検出、文字の読み取りにも対応。反応速度も速い。 APIの場合、“image_url”にて、画像を設定 プロンプトでJSONスキーマを定義 “response_format”にて戻り値の形式を定義 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 14

15.

Power Appsから画像を渡す方法 Power Appsから画像をbase64文字列で渡し、GPT-4oで画像を処 理することができる Substitute(JSON(画像.Image, JSONFormat.IncludeBinaryData) , """", "") 1. 画像.Imageから、画像コントロールの画像プロパティを引数に設定 2. JSON関数を使用して、画像データをJSON形式に変換 1. JSONFormat.IncludeBinaryData - バイナリデータ(画像データそのもの) 3. Substitute関数を使用して、JSON文字列の二重引用符(""")を空文字列("")に置換 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 15

16.

物体検出、文字列読み取りができる 画像に映っているものが「何か」特定するだけではなく、文字列 も読み取ることができる インドの青鬼 語り隊隊長の任命状 May 25, 2024 インドの青鬼を買った時のレシート Copyright (c) 2024, ビリビリ Lovers. All rights reserved 16

17.

画像読み取りから 次のステップへ 食材の写真を取得して、 料理を提案、レシピ・カロリー・調理 にかかる時間を算出! Copyright (c) 2024, ビリビリ Lovers. All rights reserved May 25, 2024 17

18.

GPT-4oを使って、 簡単・爆速であったらいいな! を実現できる! May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 18

19.

Power Apps から、 世界中の便利なサービスにつなげる そのバリューが私たちにある May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 19

20.

With Power Apps !! わからないことも 「GPT-4o 」に聞い て気軽に進めよう! May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 20

21.

Appendix 使いこなすポイント May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 21

22.

Parameterの解説 Parameter 日本語訳 max_tokens 最大応答 temperature 温度 top_p 上位 P stop シーケンスの停止 • モデルの応答を目的のポイントで終了する frequency_penalty 頻度のペナルティ • 応答でまったく同じテキストが繰り返される可能 性を低下させる presence_penalty プレゼンス ペナルティ • 応答で新しいトピックを紹介する可能性を高める May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved コメント • • • • • 応答の文字数 1 つのトークンは、一般的な英語テキストの約 4 文字 最大 4000 トークン ランダム性 この値が高いと、より創造的、低いと決定的なレスポン スになる • 確率が高いトークンと低いトークンの両方から選択 • 温度または上位 P の両方ではなくどちらかを調整するこ とが推奨されている 22