継続的なモデルモニタリングを実現するKubernetes Operator

2.4K Views

April 19, 22

スライド概要

第18回 MLOps 勉強会の登壇資料です。
https://mlops.connpass.com/event/242652/

MLOpsにおいて重要なModel Monitoringの仕組みを開発するにあたって、整理した要件と実際に開発したシステムについてお話ししました。

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

エンジニア・デザイナー向けのヤフー公式アカウント。イベント／登壇情報／ブログ記事など、ヤフーの技術・デザインに関わる情報を発信します。

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト

https://techblog.yahoo.co.jp/entry/2021083130180585/

モデルモニタリングの基本はデータのドリフト検定学習データ ※ ⽂献により名称が異なる ※ Feature Dri*: ⼊⼒データの分布がドリフト学習 Model 正解ラベル ※ Prediction Drift: 予測結果の分布がドリフト Model ⼊⼒データ Model 予測結果 ※ Label Dri*: 正解が変化 ©2022 Yahoo Japan Corporation All rights reserved. 5

既存のサービスやOSSを調査し、モデルモニタリングの内製を決断 (1) マネージドサービス (2) モニタリングに必要な仕組みを⼀括で提供する (3) 社内のデータソースに対応 • オンプレミスにデータがあるヤフーでは保存場所の要件があわない • フルマネージドに近づくほどデータの保存場所が限定される: S3, BigQueryなど • オンプレミスで利⽤可能なツールの機能は限定的 • 多くはドリフトの有無やメトリクスを調べ結果をサーバに送信する仕組み • 継続的な監視のためには定常実⾏のためのワークフローツールとの連携必要 ©2022 Yahoo Japan Corporation All rights reserved. 8

モデルモニタリングのシステムのベストプラクティスがないいざシステムを作ろうとすると • Good! ドリフト検定、ワークフローツール等は様々な実装が公開されている • And then… 学習データと予測結果をどうやって集める︖ モニタリングのプロセスでエラーが起きたら誰がどうやって調べる︖ 正解ラベルがない教師なし学習のモデルの性能劣化の検知をどうやて実現する︖ ドリフト検定以外にもモニタリングしなければならないメトリクスは︖ 多⽤なデータソースの⼊⼒データや出⼒データをどうやって取り出す︖ サイエンティストが設定する項⽬は何︖ モニタリングの頻度は︖ etc… ©2022 Yahoo Japan Corporation All rights reserved. 9

10.

前提をおく • 混同しやすいデータの品質管理とモデルモニタリングを別のシステムとして扱うデータの品質管理モデルモニタリング特徴量化 Model • ⾼頻度なモニタリングはそこまで重要ではない • 急激な予測性能の低下の原因はデータの品質に問題が起きた可能性が⾼い • アラートはモデルの劣化の可能性を伝えるものであり最終的には⼈が判断 ©2022 Yahoo Japan Corporation All rights reserved. 10

11.

12.

13.

14.

データドリフトの検定⽅法: 基準点と現在を⽐較する時間経過 Feature Drift検定(Servingシステムと連携する場合) Model Model ドリフトなし Model ドリフトあり Predic4on Dri*検定(Servingシステムと連携が必須) Model Model ドリフトなし ©2022 Yahoo Japan Corporation All rights reserved. Model ドリフトあり 14

15.

16.

17.

18.

19.

データドリフト検定の仕組み • Alibi Detectでドリフトを検定するワークフローをArgo Workﬂowsで実⾏基準のデータセットからドリフトのベースラインを作成ドリフト検定モデル作成 Hive, S3, etc.. データロードドリフトの検定モデル作成ドリフト検定:1回⽬ Hive, S3, etc.. データロードドリフト検定ドリフト検定:2回⽬ Hive, S3, etc.. ©2022 Yahoo Japan Corporation All rights reserved. データロードドリフト検定 19

20.

データドリフト検定の仕組み • Alibi Detectでドリフトを検定するワークフローをArgo Workﬂowsで実⾏基準のデータセットからドリフトのベースラインを作成ドリフト検定モデル作成 Hive, S3, etc.. データロードドリフトの検定モデル作成ドリフト検定:1回⽬ Hive, S3, etc.. データロードドリフトドリフト検定ドリフト検定:2回⽬ Hive, S3, etc.. ©2022 Yahoo Japan Corporation All rights reserved. データロードドリフト検定 20

21.

データドリフト検定の仕組み • Alibi Detectでドリフトを検定するワークフローをArgo Workﬂowsで実⾏ドリフト検定モデル作成 Hive, S3, etc.. ドリフト検定:1回⽬データロードドリフトの検定モデル作成データのロードとドリフトの検定を分離することで、データローダーを開発するだけでデータロード対応データソースを増やせる Hive, S3, etc.. ドリフト検定ドリフト検定:2回⽬ Hive, S3, etc.. ©2022 Yahoo Japan Corporation All rights reserved. データロードドリフト検定 21

22.

統計情報を収集する仕組み • データロギングツールであるWhylogsを採⽤ • 近似計算による⾼速なアルゴリズムを持つApache DataSketchesのラッパー • 収集するメトリクスのカスタマイズや結果ファイルの保存場所の変更など⾼い柔軟性統計情報の収集 Hive, S3, etc.. データロード ©2022 Yahoo Japan Corporation All rights reserved. 統計情報の計算 22

23.

モニタリングを実⾏する仕組みはできたが… サイエンティストがワークフローを毎回書くのは現実的ではない • Argo Workﬂowsの知識が必要で書ける人が限られる • 1つのワークフローごとに数百行のYAMLを書く必要がある • こういうワークフローを作るとよいというベストプラクティスの共有と同じワークフローだけではなく結果を確認する可視化やアラートの仕組みを別に⽤意してつなぎこむ必要がある • DBの設計やシステムの運用が必要になるモニタリングに必要なワークフローを抽象化し、すぐに使える形で提供する ©2022 Yahoo Japan Corporation All rights reserved. 23

24.

Kubernetes Operatorの導⼊ Kubernetes上の処理を抽象化して簡単な設定で複雑な処理を実⾏したい実⾏中の状態をユーザ⾃⾝がCLIやAPIを通じて参照できるようにしたいユーザ⾃⾝の権限でモデルモニタリングに必要なデータを参照したいモデルモニタリングのための Kubernetes Operatorとして開発することに ©2022 Yahoo Japan Corporation All rights reserved. 24

25.

Kubernetesの仕組み 1. API Serverを通じてリソースを登録(PodやDeploymentなど) 2. 対応するコントローラが登録されたリソース情報を読み込んでクラスタを操作 Deployment をデプロイ $ kubectl apply -f deploy.yml replicas=3 API server Resource Controller ©2022 Yahoo Japan Corporation All rights reserved. 25

26.

カスタムリソースとOperatorパターン CustomResourceDefinitions: Kubernetesに任意のリソースを登録する仕組み Operatorパターン: カスタムリソースと対応するコントローラをKubernetesに登録する Argo Workflowsもワークフローの複雑な仕組みをOperatorパターンで実現 Workﬂowをデプロイ A A→B, A →C B→D, …. B $ kubectl apply -f workﬂow.yml API server Workﬂow Resource Workﬂow Controller ©2022 Yahoo Japan Corporation All rights reserved. C D E 26

27.

どの粒度でDronachのカスタムリソースを設定するか⽅針︓カスタムリソース毎に1種類のワークフローを管理するユーザがデプロイするのは設定を集約した太字のカスタムリソースのみカスタムリソース役割 DataDriftModelJobs ドリフト検定モデルを⽣成するワークフロー DataDriftDetectJobs ドリフト検定モデルを使った検定するワークフロー ProfileJobs 統計情報を収集するワークフロー BaseModels 対象のデータセットとモニタリングの設定 Dashboards 可視化とアラートの設定 ModelKPI (詳細は割愛) サービスKPIの収集 ©2022 Yahoo Japan Corporation All rights reserved. 27

28.

[beta]

BaseModelのYAML
apiVersion: dronach.yahoo.co.jp/v1alpha1
kind: BaseModel
metadata:
name: dronach-demo
lable:
service: demo
spec:
data:
name: data-for-demo
volumeSize: 1Gi
hive:
query: "SELECT * from feature_table where day_of_year=={{workflow.creationTimestamp.j}};"
keytabSecret: keytab
account: dronach-sample-user
profile:
schedule: "0 0 */1 * *"
統計情報収集のスケジュール
resources:
limits:
cpu: 1
memory: 500Mi
dataDrift:
template:
ドリフト検定のスケジュール
schedule: "0 0 */1 * *"
resources:
limits:
cpu: 4
memory: 10Gi

学習データを取り出すクエリをそのままペースト

©2022 Yahoo Japan Corporation All rights reserved.

28

29.

利⽤の流れ対象のデータと実⾏スケジュールを指定してBaseModelリソースを作る Dronach Controllerがドリフト検定と統計情報収集のワークフローをデプロイドリフト検定A Data : hdfs://data/xxx Schedule : * */1 * * * BaseModel をデプロイドリフト検定B $ kubectl apply -f basemodel.yml API server BaseModel Resource Dronach Controller ©2022 Yahoo Japan Corporation All rights reserved. 統計情報収集 29

30.

31.

Dronachの設計を考えるうえで参考にした資料 • Monitoring Machine Learning Models in Produc6on • How to Detect Model Dri: in MLOps Monitoring • monitoringml.com • Best Prac6ces for Dealing With Concept Dri: • Concept dri: in machine learning 101 • Produc6on Machine Learning Monitoring: Outliers, Dri:, Explainers & Sta6s6cal Performance • Produc6onizing Machine Learning: From Deployment to Dri: Detec6on • DATA VALIDATION FOR MACHINE LEARNING • Learning under Concept Dri:: A Review • Monitoring and explainability of models in produc6on • Uniﬁed Shapley Framework to Explain Predic6on Dri: ©2022 Yahoo Japan Corporation All rights reserved. 31

32.

33.

まとめ簡単に導⼊できる継続的なモデルモニタリングDronachを開発 Kubernetes Operatorとして提供することで簡単に導⼊できるサイエンティスト視点 • 既存のコードに⼿を加えることなくモデルモニタリングを導⼊できる • システム連携の設計やワークフローツールの構築スキルは不要 • モニタリングシステムの運⽤をしなくてもすむプラットフォームエンジニア視点 • サイエンティストがモデルモニタリングを設定するトイルを削減 ©2022 Yahoo Japan Corporation All rights reserved. 33

34.

We are hiring!! データプラットフォームエンジニア（AIプラットフォーム/データ基盤/DBA）・AI/機械学習によって世界を良くしたい⼈・技術/サイエンス⼒を活かしてML基盤を作りたい⼈・ユーザ視点に⽴って、システムの設計/開発ができる⼈チームの詳細を聞きたい⽅は @kuromt_までお気軽にDMください ©2022 Yahoo Japan Corporation All rights reserved. 34

https://about.yahoo.co.jp/hr/job-info/role/1323/

35.