すごすぎ！GPT-4oをPower Apps、Power Automateで楽しんでみよう！

すごすぎ！GPT-4oを Power Apps、Power Automate で楽しんでみよう！ 2024.05.25 ビリビリ☆Power Apps 同好会 登壇大会 #1 De’modori Gatsuo

Profile 出戻りガツオ 魁 !! 鰹 塾 塾 長 - Job Microsoft 365 Consultant インドの青鬼 語り隊 隊長 - Skill Power AppsとPower Automate!! - Python, Excel VBA, Google Apps Script - RPA (WinAutomation – Power Automate for desktop) - Power BI - SharePoint @DemodoriGatsuo DEmodoriGatsuO May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 2

• https://qiita.com/DEmodoriGatsuO

本日のテーマ！ 話題のGPT-4o（オムニ）の凄すぎポイントの紹介、Power Apps & Power Automateでサクっと試していきます！ GPT-4o（オムニ） 1. Azure OpenAIのAPIを中心に、2024年5月25日時点の情報を記載します • Azureのアカウント登録をはじめとした事前準備が必要です • 利用にはコストが発生します 2. プレミアムコネクタが使える環境で実行可能な操作です • Power Automateの専用プランが必要になります。 • （例）Power Automate Premium Microsoft Power Apps および Power Automate ライセンス ガイド May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 3

• https://go.microsoft.com/fwlink/?linkid=2085130

GPT-4oとは GPT-4o（オムニ）は、OpenAIから2024年5月14日未明に発表された テキスト、音声、画像を統合的に処理可能なマルチモーダルAI Hello GPT-4o | OpenAI 限りなく人間に近い速度で 対応するGPTモデル May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 4

• https://openai.com/index/hello-gpt-4o/

すごい、安い、はやい GPT-4oは、入出力の多様さ、コストの安さ、音声入力の応答速 度をはじめ、既存のモデル、他社のAIモデルと一線を画している • 入力は、テキスト・音声・画像・ビデオに対応 出力は、テキスト・音声・画像を生成 • 非英語の言語の性能大幅向上 • 音声は、GPT-4oの中で完結（Speech to textを経由しない） • APIのコストはGPT-4 Turboより50%安い • ChatGPTでは、GPT-4oを無課金ユーザーでも1日10回まで使える • 音声入力の応答速度は、最速232ミリ秒・平均320ミリ秒 （会話における人間の応答時間に近い） May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 5

テキスト評価 ■ピンクの縦棒がGPT-4o Hello GPT-4o | OpenAI May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 6

• https://openai.com/index/hello-gpt-4o/

翻訳の質 ■緑の縦棒がOpenAIのモデル。最も高いモデルがGPT-4o。 Hello GPT-4o | OpenAI May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 7

• https://openai.com/index/hello-gpt-4o/

画像理解 画像の理解もあらゆる評価指標で他のモデルを圧倒している May 25, 2024 評価指標 説明 MMMU (%) (val) テキスト、画像、音声など複数のモダリティを理解 する能力を評価。 MathVista (%) (testmini) 数式や数学的な概念を含む問題の解答能力を評価。 AI2D (%) (test) 2次元の画像データを理解し、それに基づいて質問 に答える能力を評価。 ChartQA (%) (test) グラフやチャートから情報を読み取り、質問に答え る能力を評価。 DocVQA (%) (test) 文書内の情報を理解し、質問に答える能力を評価。 ActivityNet (%) (test) 動画データの中でのアクティビティ（行動や動作） を理解し、認識する能力を評価。 EgoSchema (%) (test) 視覚データの中での自己中心的な視点（エゴセント リックビジョン）を理解し、認識する能力を評価。 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 8

AzureでGPT-4oのAPIが使える！ Azure OpenAIで「GPT-4o」のリソースをデプロイし、GPT-4oの 発表から数日でできるようになった（Microsoft Build 2024） リージョン 日本語 eastus 米国東部 eastus2 米国東部2 northcentralus 米国中北部 southcentralus 米国南中部 westus 米国西部 westus3 米国西部3 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 9

• https://build.microsoft.com/en-US/home

API利用の流れ 外部APIを使うため、Power Automateを経由する。APIの利用に、 エンドポイントやAPIキーといった機密情報が登場する 1. Power Automateへ 値を渡す 2. 外部APIに HTTP要求を 送信 • プロンプトや 画像を送信 • HTTP要求のため、 エンドポイントと APIキー、本文を 用意して送信 May 25, 2024 3. 外部APIにHTTP要求を送信 • AI Serviceにて要求に対す る戻り値を設定 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 4. Power Apps へ値を渡す • Power Appsに データを戻す 5. Power Appで 使用！ 遊ぶ！！ 10

Azure Key Vaultを活用 エンドポイントやAPIキーといった機密情報の格納は、Azure Key Vaultに格納することで安全性を高められる ■ Power Automateのコネクタ Azure Key Vault - Connectors | Microsoft Learn ■ Dataverse コネクタから、環境変数として呼び出す 環境変数の「名前」を指定して、シークレッ トを呼び出すことができる 例 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 11

• https://learn.microsoft.com/ja-jp/connectors/keyvault/

使い方！ URIからヘッダー Power Automateから利用する場合は、「HTTP」アクションで実 施する（今回は「Chat」の例を紹介） ■ URI エンドポイント/openai/deployments/デプロイ名/chat/completions?api-version=2024-02-15-preview ■ Method POST ■ Header Key Value Content-Type application/json api-key APIキー May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 12

使い方！ 本文 ■ Body { “messages”: [ { “role”: “system”, “content”: “{システムの役割}” }, { “role”: “user”, “content”: “{プロンプト}”, ] } // 必要に応じてパラメーターを追加 Azure OpenAI Service の REST API リファレンス - Azure OpenAI | Microsoft Learn May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 13

• https://learn.microsoft.com/ja-jp/azure/ai-services/openai/reference

画像処理が、特に「すごい」 GPT-4oの特徴は「画像の認識」が抜群に優れている。 物体の検出、文字の読み取りにも対応。反応速度も速い。 APIの場合、“image_url”にて、画像を設定 プロンプトでJSONスキーマを定義 “response_format”にて戻り値の形式を定義 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 14

Power Appsから画像を渡す方法 Power Appsから画像をbase64文字列で渡し、GPT-4oで画像を処 理することができる Substitute(JSON(画像.Image, JSONFormat.IncludeBinaryData) , """", "") 1. 画像.Imageから、画像コントロールの画像プロパティを引数に設定 2. JSON関数を使用して、画像データをJSON形式に変換 1. JSONFormat.IncludeBinaryData - バイナリデータ（画像データそのもの） 3. Substitute関数を使用して、JSON文字列の二重引用符（"""）を空文字列（""）に置換 May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 15

物体検出、文字列読み取りができる 画像に映っているものが「何か」特定するだけではなく、文字列 も読み取ることができる インドの青鬼 語り隊隊長の任命状 May 25, 2024 インドの青鬼を買った時のレシート Copyright (c) 2024, ビリビリ Lovers. All rights reserved 16

画像読み取りから 次のステップへ 食材の写真を取得して、 料理を提案、レシピ・カロリー・調理 にかかる時間を算出！ Copyright (c) 2024, ビリビリ Lovers. All rights reserved May 25, 2024 17

GPT-4oを使って、 簡単・爆速であったらいいな！ を実現できる！ May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 18

Power Apps から、 世界中の便利なサービスにつなげる そのバリューが私たちにある May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 19

With Power Apps !! わからないことも 「GPT-4o 」に聞い て気軽に進めよう！ May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 20

Appendix 使いこなすポイント May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved 21

Parameterの解説 Parameter 日本語訳 max_tokens 最大応答 temperature 温度 top_p 上位 P stop シーケンスの停止 • モデルの応答を目的のポイントで終了する frequency_penalty 頻度のペナルティ • 応答でまったく同じテキストが繰り返される可能 性を低下させる presence_penalty プレゼンス ペナルティ • 応答で新しいトピックを紹介する可能性を高める May 25, 2024 Copyright (c) 2024, ビリビリ Lovers. All rights reserved コメント • • • • • 応答の文字数 1 つのトークンは、一般的な英語テキストの約 4 文字 最大 4000 トークン ランダム性 この値が高いと、より創造的、低いと決定的なレスポン スになる • 確率が高いトークンと低いトークンの両方から選択 • 温度または上位 P の両方ではなくどちらかを調整するこ とが推奨されている 22