---
title: ヤフーのAIプラットフォーム紹介 ～AIテックカンパニーを支えるデータ基盤～ #yjtc
tags:  #yjtc  
author: [Yahoo!デベロッパーネットワーク](https://www.docswell.com/user/ydnjp)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/2VJNPKKD78.jpg?width=480
description: ヤフーはAIテックカンパニーを目指し、その実現に向かって進んでいます。そのためには、AI開発のためのデータ基盤が必要です。本セッションでは、AI開発に必要なデータ基盤の全体概要と、開発を効率化するAIプラットフォームを紹介をします。   Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。 https://techconference.yahoo.co.jp/2022/  アーカイブ動画はこちらからご覧ください。 https://youtu.be/XZKOHIfEnsU
published: February 02, 22
canonical: https://www.docswell.com/s/ydnjp/ZEJN15-2022-02-02-151813
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/2VJNPKKD78.jpg)

ヤフーのAIプラットフォーム紹介
~AIテックカンパニーを⽀えるデータ基盤~
ヤフー株式会社 データ統括本部データプラットフォーム本部 安藤 俊介
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 2

![Page Image](https://bcdn.docswell.com/page/GYE93VV8E3.jpg)

安藤 俊介
データ統括本部データプラットフォーム本部
AIプラットフォーム担当チームのマネージャー
趣味はサッカー観戦、ランニング、お酒
©2022 Yahoo Japan Corporation All rights reserved.
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 3

![Page Image](https://bcdn.docswell.com/page/5GE8MPPZED.jpg)

このセッションについて
AI開発に必要なデータ基盤の全体概要を説明し、
AI開発を効率化するAIプラットフォームを紹介をします。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 4

![Page Image](https://bcdn.docswell.com/page/MLEL3111JR.jpg)

アジェンダ
1. データ基盤
2. AIプラットフォーム
3. 今後の展望
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 5

![Page Image](https://bcdn.docswell.com/page/54JMDWW5JW.jpg)

アジェンダ
1. データ基盤
2. AIプラットフォーム
3. 今後の展望
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 6

![Page Image](https://bcdn.docswell.com/page/ZPJR4YYZJ9.jpg)

データ基盤
データ基盤の概要
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 7

![Page Image](https://bcdn.docswell.com/page/NPEX2GG17X.jpg)

データ基盤
ユーザーのサービス利⽤時
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 8

![Page Image](https://bcdn.docswell.com/page/63EKM44MJD.jpg)

データ基盤
データ収集
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 9

![Page Image](https://bcdn.docswell.com/page/4L73YLL2E5.jpg)

データ基盤
データ蓄積
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 10

![Page Image](https://bcdn.docswell.com/page/V87D5NN67G.jpg)

データ基盤
データ処理
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 11

![Page Image](https://bcdn.docswell.com/page/4VJPG5NZJ8.jpg)

データ基盤の概要
OSSと内製の組み合わせ
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 12

![Page Image](https://bcdn.docswell.com/page/L2EV6PKM7Q.jpg)

アジェンダ
1. データ基盤
2. AIプラットフォーム
3. 今後の展望
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 13

![Page Image](https://bcdn.docswell.com/page/Z57GNPQXJL.jpg)

AIプラットフォーム
AIプラットフォーム領域
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 14

![Page Image](https://bcdn.docswell.com/page/V4EQQ2K5EP.jpg)

AIプラットフォーム
AIプラットフォーム開発前の課題
サービス開発エンジニアやデータサイエンティストが各⾃でAI開発環境を⽤意。
課題
• サーバリソース管理、環境構築、サーバメンテナンス、データを計算環境に
転送等のデータ準備に時間と⼿間がかかっていた
• 本来注力するべき機械学習モデル・予測モデルの精度向上業務やサービ
ス改善業務に注力出来ない
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 15

![Page Image](https://bcdn.docswell.com/page/DKJ4NLPV71.jpg)

AIプラットフォーム
AIプラットフォーム概要
複数のプロダクトから構成されおり、AIを開発するためのプラットフォーム。
サイエンティストの⽣産性向上のためにAIプラットフォームを開発。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 16

![Page Image](https://bcdn.docswell.com/page/PLE15L947G.jpg)

AIプラットフォーム
Google定義のMLOpsの構成を参考
画像はGoogleが定義した
MLOpsレベル1
出典︓https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning?hl=ja
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 17

![Page Image](https://bcdn.docswell.com/page/8GEW5VQZJ2.jpg)

AIプラットフォーム
ACP (AI Cloud Platform)
AIプラットフォームの基盤。マルチテナントKubernetes環境。
サービス/ユーザーごとに専⽤のKubernetes Namespaceを作成。
CPUノード数︓130 Nodes+
GPUノード数︓90 Nodes+
アクティブNamespace数︓100 Namespace+
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 18

![Page Image](https://bcdn.docswell.com/page/W47ZN4WL73.jpg)

AIプラットフォーム
ACPの特徴 (1/2)
• データが使いやすい
• HDFSに置かれているデータを効率的に処理できる
• データ処理フレームワークのサポートが多い
• データ処理に必要なワークフローツール
• Hive, Trino(Presto) 等を実⾏してのETL処理
• 機械学習向けの統合開発環境であるJupyterHub
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 19

![Page Image](https://bcdn.docswell.com/page/KYJ683GM7V.jpg)

AIプラットフォーム
ACPの特徴 (2/2)
• 必要なリソースを柔軟にプロビジョニングできる
• 必要であれば⼀時的に⼤量の計算資源を確保してデータを処理
• 多くのパラメータで機械学習モデルを学習
• PersistentVolumeをサポート
• セキュアな環境
• 外部への通信を遮断、必要最⼩限のポートしか開放しない
• Falcoを使い不正なコマンド発⾏や通信を検知してAuditを残す
• 経路を追えるように通信のAuditを残す
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 20

![Page Image](https://bcdn.docswell.com/page/5GJ59LVQE4.jpg)

AIプラットフォーム
Model training - LakeTahoe / acloud
LakeTahoeはACP上で動作する機械学習モデル・予測モデルを学習するためのWeb
API。内製。読み⽅は「レイクタホ」。
•
GPUを含めた⼤量の計算資源を使ってHDFSのデータを使ったモデルの学習を実現
•
TensorFlowやXGBoost、scikit-learn、PyTorchやLightGBMを利⽤可能
•
システム組み込みのハイパーパラメータチューニング
acloudはLakeTahoeのAPIを操作するCLIツール。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 21

![Page Image](https://bcdn.docswell.com/page/V9E22L3WER.jpg)

AIプラットフォーム
Model training - JupyterHub
JupyterHubのDockerイメージを使うこ
とでACP上に⾃分だけの開発環境を構築
してAIを開発できる。
JupyterHubイメージはNotebookから
利⽤可能なTensorboardを備えてお
り、学習状況を簡単に確認できる。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 22

![Page Image](https://bcdn.docswell.com/page/5D7YYQ197M.jpg)

AIプラットフォーム
Deployment tool - Argo CD
KubernetesネイティブなGitOps継続的
デリバリーツール。OSS。
任意のマニフェストを社内にある
GitHubに保存するだけでAIプラット
フォームにデプロイできる。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 23

![Page Image](https://bcdn.docswell.com/page/2VENPK2DJ8.jpg)

AIプラットフォーム
Automated pipeline - Airﬂow / Argo workﬂows
•
Airﬂow
ワークフローツール。OSS。
データ取得、前処理、学習、等の⼀連のジョブを管理。
AIプラットフォームではAirﬂowのHelmチャートを管理、提供しておりユーザーごとに独⾃のAirﬂow
環境を構築。
•
Argo Workﬂows
Kubernetesネイティブのワークフローツール。OSS。
Kubernetes内で完結するワークフローに適している。
利⽤頻度が⾼い汎⽤的な処理は、
ACPの全てのユーザが利⽤できるCluster Templateとして
AIプラットフォームチームが管理、提供。
マネージドサービスとして提供しているため、すぐに利⽤可能。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 24

![Page Image](https://bcdn.docswell.com/page/GY793V1873.jpg)

AIプラットフォーム
ML metadata store - MLﬂow
機械学習システムライフサイクルを管理。
OSS。
⼤きく4つの機能で構成。
•
MLﬂow Tracking
•
MLﬂow Projects
•
MLﬂow Models
•
Model Registry
主に機械学習の実験の記録・管理と機械学
習モデルのライフサイクルを管理するため
に利⽤。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 25

![Page Image](https://bcdn.docswell.com/page/5G78MP4Z7D.jpg)

AIプラットフォーム
Prediction service - CuttySark
学習済みのモデルを使った推論サーバを
簡単に管理できるマネージドサービス。
推論PF。内製。
読み⽅は「カティーサーク」。
指定したモデルの推論サーバの作成と削
除がWebAPI経由でできる。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 26

![Page Image](https://bcdn.docswell.com/page/ML7L3161ER.jpg)

AIプラットフォーム
Model monitoring - Dronach
機械学習モデルの継続的なモニタリング
ツール。内製。読み⽅は「ドロナック」。
モデルの性能劣化を起こすコンセプトドリ
フトが発⽣していないか定期的にモニタリ
ング。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 27

![Page Image](https://bcdn.docswell.com/page/54EMDW55EW.jpg)

AIプラットフォーム
社内プラットフォームの利⽤
AIプラットフォーム以外の社内向けプラットフォームも利⽤。
•
Source repository
社内GitHubを利⽤。機械学習ジョブやWebサービスのコードを管理。
•
Pipeline deployment
AIプラットフォームとしてはArgo CDを提供しているが、その他にも
Screwdriver.cdを利⽤。
Gitのリポジトリの変更があると事前に設定したイベントを検知してデプロイ。
•
Model registry
機械学習モデル・予測モデルを置く場所としてDragon（社内の分散オブジェクト
ストレージ）とHDFSを利⽤。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 28

![Page Image](https://bcdn.docswell.com/page/ZPER4Y3ZE9.jpg)

アジェンダ
1. データ基盤
2. AIプラットフォーム
3. 今後の展望
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 29

![Page Image](https://bcdn.docswell.com/page/NP7X2G41JX.jpg)

今後の展望
今後の展望
• 推論に関わる機能を提供するCuttySarkとモニタリング機能を提供する
Dronachを主に磨き込む
• validation機能の提供
• 使いやすいインターフェースを開発する
• 社内での利⽤をさらに広げるために利便性を向上させる
サイエンティストの⽣産性を向上させるプラットフォームを提供し続けること
で事業に貢献。
©2022 Yahoo Japan Corporation All rights reserved.


# Page. 30

![Page Image](https://bcdn.docswell.com/page/637KM4ZMED.jpg)

©2022 Yahoo Japan Corporation All rights reserved.


