データ取得から一次整理まで: Microsoft 系ツールをどう使い分ける?

4.1K Views

April 06, 24

スライド概要

2024年4月6日
Power BI 勉強会 in 仙台 - connpass https://powerbi.connpass.com/event/313352/

profile-image

Microsoft MVP for Data Platform - Power BI https://fb.me/ishiayaya Microsoft 365 E5, Power BIが最近のお気に入り Qiita https://ishiayaya.net/qiita Slide https://ishiayaya.net/dw https://ishiayaya.net/sd YouTube https://ishiayaya.net/yt

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

データ取得から一次整理まで: Microsoft 系ツールをどう使い分ける? 石川 陽一 Power BI MVP 2024年4月6日

2.

youtube.com/@YoichiIshikawa 石川 陽一 • • • • • • • @ishiayaya Microsoft MVP for Data Platform - Power BI Since Sep. 2021 2022/7~アント・キャピタル・パートナーズ株式会社 ISACA 東京支部 副会長(業務総括)・理事 Power BI、Microsoft Defender 東京・町田在住、富山・奥中出身 心臓にIoTデバイスICD埋め込みあり コミュニティ Power BI もくもく・わくわく会 M365セキュリティ&ゼロトラスト勉強会 • コラボ・コミュニティ Power BI Weekly News with Yugo

4.

Microsoft Fabric

5.

最近のトピックス(PoC) SaaS型監視カメラからナンバープレート記録をAPIで取得 集約して可視化

6.

全体像(できあがり)

7.

3つに分解して考える データソース ETL モデリング& 可視化

8.

データソース

10.

Demo | LPR in Action - YouTube https://www.youtube.com/watch?v=D9kYevErVdM

11.

API

12.

Verkada APIのリファレンスを読みこむ Verkada Command API | Verkada Help Center https://help.verkada.com/ja/articles/5921966-verkada-command-api

13.

Verkada APIのリファレンスを読みこむ Get All License Plates of Interest https://apidocs.verkada.com/reference/getlicenseplateofinterestviewv1

14.

ETL

15.

それでは、ツールは Power ○○○で… という前に…

17.

動作確認 = 定番ツール Postmanで

18.

いきなりPower BIでAPI接続すると… データソース ETL 毎回セマンティックモデルに読込み + 上書き Power BIのデータフローでも毎回読込み + 上書き

19.

システム間接続の定番 = Power Automate JSONの取得 + 蓄積があればPower BIで読めるので○

20.

「待てよ、これでいいのか?」

21.

しかし「ほんとにPower Automateでいいのか?」 • タイムスタンプやUTCの処理が… • 普段細かい処理書かないのでいろいろトロい(私が) • アクションの積み上げ、新しいデザイナーオフ… • HTTPコネクタ= プレミアムコネクタ • 蓄積場所はSPO? 本当にそれでいいのか? • 「置くべきところなのか?」 • ある意味、データを散らかしてないか…

22.

そういえば気になってたものが… 「ファ」 「ファ」 ファクショ~ン大魔王~♪ ではなく…

23.

Microsoft Fabric Data Factory

25.

Dataflow Gen1 と Dataflow Gen2 の違い - Microsoft Fabric | Microsoft Learn https://learn.microsoft.com/ja-jp/fabric/data-factory/dataflows-gen2-overview

26.

Dataflow Gen1 と Dataflow Gen2 の違い - Microsoft Fabric | Microsoft Learn https://learn.microsoft.com/ja-jp/fabric/data-factory/dataflows-gen2-overview

29.

Dataflow Gen2 の価格 - Microsoft Fabric | Microsoft Learn https://learn.microsoft.com/ja-jp/fabric/data-factory/pricing-dataflows-gen2

30.

Web.Contents - PowerQuery M | Microsoft Learn https://learn.microsoft.com/ja-jp/powerquery-m/web-contents

31.

モデリング&可視化

32.

いつものセマンティックモデルの準備等へ

36.

まとめ

37.

• • • • • • • 全体像をイメージしてから詳細に Power BIの周りに、よいレイクあり データは極力散らかさない Power BIはMicrosoft Fabricのコンポーネ ントのひとつです。 Power Platformのひとつでもあるけど… Fabric、少しずつでも活用を 琵琶湖もFabricもでかい

38.

ありがとうございました。 be agile