データ取得から一次整理まで: Microsoft 系ツールをどう使い分ける？

データ取得から一次整理まで: Microsoft 系ツールをどう使い分ける？ 石川 陽一 Power BI MVP 2024年4月6日

youtube.com/@YoichiIshikawa 石川 陽一 • • • • • • • ＠ishiayaya Microsoft MVP for Data Platform - Power BI Since Sep. 2021 2022/7～アント・キャピタル・パートナーズ株式会社 ISACA 東京支部 副会長（業務総括）・理事 Power BI、Microsoft Defender 東京・町田在住、富山・奥中出身 心臓にIoTデバイスICD埋め込みあり コミュニティ Power BI もくもく・わくわく会 M365セキュリティ&ゼロトラスト勉強会 • コラボ・コミュニティ Power BI Weekly News with Yugo

Microsoft Fabric

最近のトピックス（PoC） SaaS型監視カメラからナンバープレート記録をAPIで取得 集約して可視化

全体像（できあがり）

3つに分解して考える データソース ETL モデリング& 可視化

データソース

Demo | LPR in Action - YouTube https://www.youtube.com/watch?v=D9kYevErVdM

API

Verkada APIのリファレンスを読みこむ Verkada Command API | Verkada Help Center https://help.verkada.com/ja/articles/5921966-verkada-command-api

• https://help.verkada.com/ja/articles/5921966-verkada-command-api

Verkada APIのリファレンスを読みこむ Get All License Plates of Interest https://apidocs.verkada.com/reference/getlicenseplateofinterestviewv1

• https://apidocs.verkada.com/reference/getlicenseplateofinterestviewv1

ETL

それでは、ツールは Power ○○○で… という前に…

動作確認 = 定番ツール Postmanで

いきなりPower BIでAPI接続すると… データソース ETL 毎回セマンティックモデルに読込み + 上書き Power BIのデータフローでも毎回読込み + 上書き

システム間接続の定番 = Power Automate JSONの取得 + 蓄積があればPower BIで読めるので○

「待てよ、これでいいのか?」

しかし「ほんとにPower Automateでいいのか?」 • タイムスタンプやUTCの処理が… • 普段細かい処理書かないのでいろいろトロい(私が) • アクションの積み上げ、新しいデザイナーオフ… • HTTPコネクタ= プレミアムコネクタ • 蓄積場所はSPO? 本当にそれでいいのか? • 「置くべきところなのか?」 • ある意味、データを散らかしてないか…

そういえば気になってたものが… 「ファ」 「ファ」 ファクショ～ン大魔王～♪ ではなく…

Microsoft Fabric Data Factory

Dataflow Gen1 と Dataflow Gen2 の違い - Microsoft Fabric | Microsoft Learn https://learn.microsoft.com/ja-jp/fabric/data-factory/dataflows-gen2-overview

• https://learn.microsoft.com/ja-jp/fabric/data-factory/dataflows-gen2-overview?WT.mc_id=DP-MVP-5004418

Dataflow Gen1 と Dataflow Gen2 の違い - Microsoft Fabric | Microsoft Learn https://learn.microsoft.com/ja-jp/fabric/data-factory/dataflows-gen2-overview

• https://learn.microsoft.com/ja-jp/fabric/data-factory/dataflows-gen2-overview

Dataflow Gen2 の価格 - Microsoft Fabric | Microsoft Learn https://learn.microsoft.com/ja-jp/fabric/data-factory/pricing-dataflows-gen2

• https://learn.microsoft.com/ja-jp/fabric/data-factory/pricing-dataflows-gen2?WT.mc_id=DP-MVP-5004418

Web.Contents - PowerQuery M | Microsoft Learn https://learn.microsoft.com/ja-jp/powerquery-m/web-contents

• https://learn.microsoft.com/ja-jp/powerquery-m/web-contents?WT.mc_id=DP-MVP-5004418

モデリング&可視化

いつものセマンティックモデルの準備等へ

まとめ

• • • • • • • 全体像をイメージしてから詳細に Power BIの周りに、よいレイクあり データは極力散らかさない Power BIはMicrosoft Fabricのコンポーネ ントのひとつです。 Power Platformのひとつでもあるけど… Fabric、少しずつでも活用を 琵琶湖もFabricもでかい

ありがとうございました。 be agile