---
title: 20221223_技術グループ発表_GPU
tags:  #gpu  
author: [HEROZ株式会社](https://www.docswell.com/user/heroz)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/L73NGXYG75.jpg?width=480
description: HEROZ勉強会、技術調査グループGPUチームの発表
published: February 03, 23
canonical: https://www.docswell.com/s/heroz/54DWQZ-2023-02-03-125319
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/L73NGXYG75.jpg)

GPUのサービス利用
ＨＥＲＯＺ株式会社


# Page. 2

![Page Image](https://bcdn.docswell.com/page/87DW125NJG.jpg)

アジェンダ
 はじめに
 クラウド市場シェア
 クラウドデザインパターン
 機械学習システムのデザインパターン
 MLOps成熟度モデル
 GPU対応のクラウドサービス
 NVIDIA Multi-Instance GPU (MIG)
 GPUのスケジューリング
 NVIDIA GPU OPERATOR
 Containerized GPU (cGPU)
 サーバレス
 まとめ
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/VJP9Q1GNE8.jpg)

はじめに


# Page. 4

![Page Image](https://bcdn.docswell.com/page/2EVM5Y6YEQ.jpg)

はじめに
教えて！ChatGPT
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/57GG69NW7L.jpg)

はじめに
教えて！ChatGPT
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/4EQX4WQQ7P.jpg)

クラウド市場シェア


# Page. 7

![Page Image](https://bcdn.docswell.com/page/KJ46QKNY71.jpg)

クラウド市場シェア
グローバルのクラウドインフラ市場シェア
 グローバルのクラウドインフラ市場シェア、Google Cloudが拡大傾向、AWSとAzureの1
位2位は盤石。2022年第3四半期、Synergy ResearchとCanalysの調査結果 － Publickey
(publickey1.jp)
 Q3 Cloud Spending Up Over $11 Billion from 2021 Despite Major Headwinds; Google
Increases its Market Share | Synergy Research Group (srgresearch.com)
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LE1VPX5N7G.jpg)

クラウド市場シェア
アジア太平洋地域のクラウド市場シェア
 ワールドワイドのIaaSクラウド市場シェア、2021年は1位AWS、2位マイクロソフト、3位に
はAlibaba、4位がGoogleとの調査結果。ガートナーが発表 － Publickey (publickey1.jp)
 AWS, Alibaba and Microsoft Lead the APAC Cloud Market; Tencent, Google and Baidu are in the
Chasing Pack | Synergy Research Group (srgresearch.com)
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GEWL2NWM72.jpg)

クラウド市場シェア
国内クラウドサービスの市場規模
 国内クラウドサービスの市場規模は3.5兆円に拡大 ≪ プレスリリース | 株式会社ＭＭ総研
(m2ri.jp)
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/47ZMD35ME3.jpg)

クラウドデザインパターン


# Page. 11

![Page Image](https://bcdn.docswell.com/page/YJ6N1X95JV.jpg)

AWSクラウドデザインパターン
AWS-CloudDesignPattern
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/GJ554XNGJ4.jpg)

AWSクラウドデザインパターン
•
CDP:Scale Outパターン - AWS-CloudDesignPattern
•
CDP:Scale Upパターン - AWS-CloudDesignPattern
•
1台のWeb/APサーバは、 NginxのようなWebサーバ
を活用することで、workerプロセスが複数のリク
エストを処理することができる
•
スケールアウトすることで、複数台で1台では処理
できない大量のリクエストを処理することができ
る
•
スケールアップし、CPU/メモリ/ディスクを増強す
ることで、1台が1度に処理できるリクエスト数を
増やすこともできる
•
では、GPUはどうすればいいか？
•
技術よりもビジネス／コスト的な問題でスケール
アウト（GPUサーバ台数追加）／スケールアップ
（GPU枚数追加）する構成は採用しにくい
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/LE3NGX2PE5.jpg)

AWSクラウドデザインパターン
⚫ サービス別資料 | AWS クラウドサービス活用資料集 (amazon.com)
13


# Page. 14

![Page Image](https://bcdn.docswell.com/page/8EDW12Z37G.jpg)

AWSクラウドデザインパターン
サーバーレスパターン (amazon.com)
14


# Page. 15

![Page Image](https://bcdn.docswell.com/page/V7P9Q1DPJ8.jpg)

AWSクラウドデザインパターン
「AWSではじめるデータレイク」出版記念データレイク解説セミナーの資料公開 | Amazon Web
Services ブログ
15


# Page. 16

![Page Image](https://bcdn.docswell.com/page/2JVM5Y1VJQ.jpg)

AWSクラウドデザインパターン
amazon-s3-datalake-handson/JP at master · aws-samples/amazon-s3-datalake-handson · GitHub
16


# Page. 17

![Page Image](https://bcdn.docswell.com/page/5EGG6921EL.jpg)

AWSクラウドデザインパターン
•
AWS re:Invent 2022 - How Stable Diffusion was built: Tips & tricks to train large AI models (CMP314) - YouTube
•
How Stable Diffusion was built: Tips and tricks to train large AI models
17


# Page. 18

![Page Image](https://bcdn.docswell.com/page/4JQX4WPNEP.jpg)

AWSクラウドデザインパターン
•
AWS re:Invent 2022 - How Stable Diffusion was built: Tips & tricks to train large AI models (CMP314) - YouTube
•
How Stable Diffusion was built: Tips and tricks to train large AI models
18


# Page. 19

![Page Image](https://bcdn.docswell.com/page/K746QKY3E1.jpg)

AWSクラウドデザインパターン
•
https://aws.amazon.com/jp/blogs/machine-learning/stability-ai-builds-foundation-models-on-amazon-sagemaker/
•
https://docs.amazonaws.cn/en_us/sagemaker/latest/dg/distributed-training-notebook-examples.html
•
https://medium.com/@emilywebber/how-i-trained-10tb-for-stable-diffusion-on-sagemaker-39dcea49ce32
19


# Page. 20

![Page Image](https://bcdn.docswell.com/page/LJ1VPX6ZEG.jpg)

Azureクラウドデザインパターン
クラウド設計パターン - Azure Architecture Center | Microsoft Learn
20


# Page. 21

![Page Image](https://bcdn.docswell.com/page/GJWL2NW6E2.jpg)

Azureクラウドデザインパターン
Azure を使用した業界ソリューション - Azure Architecture Center | Microsoft Learn
21


# Page. 22

![Page Image](https://bcdn.docswell.com/page/4EZMD35RJ3.jpg)

Azureクラウドデザインパターン
Azure でのイメージの分類 - Azure Architecture Center | Microsoft Learn
22


# Page. 23

![Page Image](https://bcdn.docswell.com/page/Y76N1X917V.jpg)

Google Cloudソリューション デザインパターン
•
Google Cloud ソリューションデザインパターンのサイトがリニューアルしてセッション動画や
スライドの一覧ページができてます | DevelopersIO (classmethod.jp)
•
Solution Design Pattern (gc-solution-design-pattern.jp)
23


# Page. 24

![Page Image](https://bcdn.docswell.com/page/G7554XNL74.jpg)

Google Cloudソリューション デザインパターン
Solution Design Pattern - ゲーム業界向け (gc-solution-design-pattern.jp)
24


# Page. 25

![Page Image](https://bcdn.docswell.com/page/9J2NVX53ER.jpg)

Google Cloudソリューション デザインパターン
Solution Design Pattern - ゲーム業界向け (gc-solution-design-pattern.jp)
25


# Page. 26

![Page Image](https://bcdn.docswell.com/page/DEYP38K8EM.jpg)

機械学習システムのデザインパターン


# Page. 27

![Page Image](https://bcdn.docswell.com/page/VJN5VQR978.jpg)

機械学習システムの設計パターン
•
機械学習システムの設計パターンを公開します。 | メルカリエンジニアリング (mercari.com)
•
ml-system-design-pattern | System design patterns for machine learning (mercari.github.io)
27


# Page. 28

![Page Image](https://bcdn.docswell.com/page/YE9Y6DM3J3.jpg)

機械学習システムの設計パターン
•
ml-system-in-actions/chapter4_serving_patterns/web_single_pattern at main · shibuiwilliam/ml-systemin-actions · GitHub
28


# Page. 29

![Page Image](https://bcdn.docswell.com/page/GE86Z3LL7D.jpg)

機械学習システムの設計パターン
•
Machine Learning 共通基盤構築の振り返り〜チーム立ち上げからクローズまで〜 | メルカリエン
ジニアリング (mercari.com)
29


# Page. 30

![Page Image](https://bcdn.docswell.com/page/LEL9DVLQJR.jpg)

MLOps 成熟度モデル


# Page. 31

![Page Image](https://bcdn.docswell.com/page/4JMZPG1KEW.jpg)

MLOps 成熟度モデル
3大クラウド各社の MLOps 成熟度モデルの比較 - Qiita
31


# Page. 32

![Page Image](https://bcdn.docswell.com/page/PJR61ZL679.jpg)

MLOps 成熟度モデル
MLOps: 機械学習における継続的デリバリーと自動化のパイプライン | Cloud アーキテクチャ セン
ター | Google Cloud
32


# Page. 33

![Page Image](https://bcdn.docswell.com/page/PEXMY9WD7X.jpg)

MLOps 成熟度モデル
MLOps: 機械学習における継続的デリバリーと自動化のパイプライン | Cloud アーキテクチャ セン
ター | Google Cloud
33


# Page. 34

![Page Image](https://bcdn.docswell.com/page/3EKG3PVDJD.jpg)

MLOps 成熟度モデル
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web
Services ブログ
34


# Page. 35

![Page Image](https://bcdn.docswell.com/page/L73NGXMP75.jpg)

MLOps 成熟度モデル
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web
Services ブログ
35


# Page. 36

![Page Image](https://bcdn.docswell.com/page/87DW1263JG.jpg)

MLOps 成熟度モデル
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web
Services ブログ
36


# Page. 37

![Page Image](https://bcdn.docswell.com/page/VJP9Q1YPE8.jpg)

MLOps 成熟度モデル
Amazon SageMakerを利用したエンタープライズのためのMLOps基盤ロードマップ | Amazon Web
Services ブログ
37


# Page. 38

![Page Image](https://bcdn.docswell.com/page/2EVM5YGVEQ.jpg)

GPU対応のクラウドサービス


# Page. 39

![Page Image](https://bcdn.docswell.com/page/57GG69817L.jpg)

GPU対応のクラウドサービス
•
主要パブリッククラウドのサービス比較（GPU対応サービスは青字）
•
拡張性は、サーバレス＞コンテナ＞仮想サーバ
•
アクティブ／アイドル時の待機コスト、初回起動／アイドル／スケールアウト時の復旧時間に
注意
Alibaba Cloud
仮想サーバ
AWS
Azure
Google
Alibaba Cloud Elastic Compute Amazon Elastic Compute Cloud
Azure Virtual Machines Google Compute Engine (GCE)
Service (ECS)
(Amazon EC2)
Alibaba Cloud Elastic Container
AWS Fargate
サーバレスコンテナ
Instance (ECI)
Azure Container
Instances (ACI)
Cloud Run
Cloud Run for Anthos
サーバレス関数
Alibaba Cloud Function
Compute (FC)
AWS Lambda
Azure Functions
Cloud Functions
コンテナレジストリ
Alibaba Cloud Container
Registry (ACR)
Amazon Elastic Container
Registry (ECR)
Azure Container
Registry (ACR)
Google Container Registry
(GCR)
コンテナクラスタ Alibaba Cloud Container
(Kubernetes および独自 Service for Kubernetes (ACK)
仕様)
機械学習プラット
フォーム
Amazon Elastic Kubernetes
Service (EKS)
Amazon Elastic Container
Service (ECS)
Azure Kubernetes
Service (AKS)
Amazon SageMaker
Alibaba Cloud Machine
Azure Machine
Learning Platform for AI (PAI) Amazon SageMaker Serverless Learning
Inference
Google Kubernetes Engine
(GKE)
Anthos
Vertex AI
39


# Page. 40

![Page Image](https://bcdn.docswell.com/page/4EQX4W9N7P.jpg)

NVIDIA Multi-Instance GPU (MIG)


# Page. 41

![Page Image](https://bcdn.docswell.com/page/KJ46QKX371.jpg)

NVIDIA Multi-Instance GPU (MIG)
GiNZA で体感する MIG のパフォーマンス スケーラビリティ - NVIDIA 技術ブログ
41


# Page. 42

![Page Image](https://bcdn.docswell.com/page/LE1VPXNZ7G.jpg)

NVIDIA Multi-Instance GPU (MIG)
NVIDIA Multi-Instance GPU User Guide :: NVIDIA Tesla Documentation
42


# Page. 43

![Page Image](https://bcdn.docswell.com/page/GEWL2N4672.jpg)

NVIDIA Multi-Instance GPU (MIG)
NVIDIA Multi-Instance GPU User Guide :: NVIDIA Tesla Documentation
43


# Page. 44

![Page Image](https://bcdn.docswell.com/page/47ZMD32RE3.jpg)

NVIDIA Multi-Instance GPU (MIG)
クラウドベンダー各社のMIG検証手順
 Utilizing NVIDIA Multi-Instance GPU (MIG) in Amazon EC2 P4d Instances on Amazon Elastic
Kubernetes Service (EKS) | Containers
 マルチインスタンス GPU の実行 | Google Kubernetes Engine（GKE） | Google Cloud
 Use a node pool to partition an NVIDIA A100 GPU into multiple GPU instances
(alibabacloud.com)
44


# Page. 45

![Page Image](https://bcdn.docswell.com/page/YJ6N1XV1JV.jpg)

GPUのスケジューリング


# Page. 46

![Page Image](https://bcdn.docswell.com/page/GJ554XDLJ4.jpg)

GPUのスケジューリング
•
GPUのスケジューリング | Kubernetes
•
Schedule GPUs | Kubernetes
46


# Page. 47

![Page Image](https://bcdn.docswell.com/page/9E2NVX837R.jpg)

NVIDIA GPU OPERATOR


# Page. 48

![Page Image](https://bcdn.docswell.com/page/D7YP38687M.jpg)

NVIDIA GPU OPERATOR
Overview — NVIDIA Cloud Native Technologies documentation
48


# Page. 49

![Page Image](https://bcdn.docswell.com/page/VEN5VQZ9J8.jpg)

NVIDIA GPU OPERATOR
Platform Support — NVIDIA Cloud Native Technologies documentation
49


# Page. 50

![Page Image](https://bcdn.docswell.com/page/Y79Y6DZ3E3.jpg)

Containerized GPU (cGPU)


# Page. 51

![Page Image](https://bcdn.docswell.com/page/G786Z31LJD.jpg)

Containerized GPU (cGPU)
cGPU overview (alibabacloud.com)
51


# Page. 52

![Page Image](https://bcdn.docswell.com/page/L7L9DVQQER.jpg)

Containerized GPU (cGPU)
•
【CEDEC2022】将棋AIの進化とクラウドサービスの活用 – YouTube
•
cGPUとAIACCご紹介_r8.pdf
52


# Page. 53

![Page Image](https://bcdn.docswell.com/page/4EMZPNKK7W.jpg)

Containerized GPU (cGPU)
•
【CEDEC2022】将棋AIの進化とクラウドサービスの活用 – YouTube
•
cGPUとAIACCご紹介_r8.pdf
53


# Page. 54

![Page Image](https://bcdn.docswell.com/page/PER61DX6J9.jpg)

Containerized GPU (cGPU)
•
【CEDEC2022】将棋AIの進化とクラウドサービスの活用 – YouTube
•
cGPUとAIACCご紹介_r8.pdf
54


# Page. 55

![Page Image](https://bcdn.docswell.com/page/P7XMY16DJX.jpg)

Containerized GPU (cGPU)
•
【CEDEC2022】将棋AIの進化とクラウドサービスの活用 – YouTube
•
cGPUとAIACCご紹介_r8.pdf
55


# Page. 56

![Page Image](https://bcdn.docswell.com/page/37KG321DED.jpg)

Containerized GPU (cGPU)
cGPUのご紹介_2204r4.pdf
56


# Page. 57

![Page Image](https://bcdn.docswell.com/page/LJ3NG4QPJ5.jpg)

サーバレス


# Page. 58

![Page Image](https://bcdn.docswell.com/page/8JDW1Q93EG.jpg)

サーバレス
•
Function Compute の概要 (alibabacloud.com)
•
What is Function Compute? (alibabacloud.com)
58


# Page. 59

![Page Image](https://bcdn.docswell.com/page/VEP9QLZP78.jpg)

サーバレス
FunctionComputeのご紹介.pdf
59


# Page. 60

![Page Image](https://bcdn.docswell.com/page/27VM5QWV7Q.jpg)

サーバレス
FunctionComputeのご紹介.pdf
60


# Page. 61

![Page Image](https://bcdn.docswell.com/page/5JGG6WD1JL.jpg)

サーバレス
FunctionComputeのご紹介.pdf
61


# Page. 62

![Page Image](https://bcdn.docswell.com/page/47QX431NJP.jpg)

サーバレス
FunctionComputeのご紹介.pdf
62


# Page. 63

![Page Image](https://bcdn.docswell.com/page/KE46Q1R3J1.jpg)

サーバレス
FunctionComputeのご紹介.pdf
63


# Page. 64

![Page Image](https://bcdn.docswell.com/page/L71VPGQZJG.jpg)

サーバレス
FunctionComputeのご紹介.pdf
64


# Page. 65

![Page Image](https://bcdn.docswell.com/page/G7WL2KM6J2.jpg)

サーバレス
Serverless AI inference based on Function Compute and TensorFlow (alibabacloud.com)
65


# Page. 66

![Page Image](https://bcdn.docswell.com/page/4JZMDZQR73.jpg)

サーバレス
サンプルソース
• Serverless Devs Registry/start-fc - 码云 - 开源中国 (gitee.com)
• fc: 阿里云函数计算（FC）组件 - Gitee
66


# Page. 67

![Page Image](https://bcdn.docswell.com/page/YE6N1Z61EV.jpg)

まとめ


# Page. 68

![Page Image](https://bcdn.docswell.com/page/GE554W6LE4.jpg)

まとめ
教えて！ChatGPT
68


# Page. 69

![Page Image](https://bcdn.docswell.com/page/972NVQM3JR.jpg)

まとめ
教えて！ChatGPT
69