SREチームで始めたSLOモニタリングをプロダクト開発組織に拡大している話

9.8K Views

August 23, 23

スライド概要

みんなで考えるシステムの安定運用Night〜信頼性から紐解くこれからの開発〜の発表資料です
https://findy.connpass.com/event/292034/

Yuki Ando

@integrated1453

スライド一覧

経済ニュースアプリのSREの仕事をしています。

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.15MB)

関連スライド

3年間運用したCDKの失敗から学ぶCDK開発のプラクティス

Yuki Ando 89.6K

意外とマネージドなECS on EC2の運用

Yuki Ando 86K

SREチームがNew Relicを使って AWSコスト最適化に貢献した話

Yuki Ando 56.2K

AWSコストを全体で43.75%削減するためのコストモニタリング技術

Yuki Ando 50.6K

最高の開発者体験を目指してAWS CDKでCI/CDパイプラインを改善し続けている話

Yuki Ando 37.3K

[JAWS DAYS 2022] 円安と戦うために複数のAWSサービスでGravitonに移行した話

Yuki Ando 36.6K

各ページのテキスト

SREチームで始めたSLOモニタリングをプロダクト開発組織に拡大している話株式会社ユーザベース安藤裕紀 2023.8.23 みんなで考えるシステムの安定運用Night〜信頼性から紐解くこれからの開発〜 LT

00 自己紹介安藤裕紀 / Yuki Ando NewsPicks SREチームリーダー大手SIerで10年半エンジニア/アーキテクトとしてアプリケーション開発、インフラ構築、クラウド活用コンサルティングなど大企業の技術支援を行った後、2021年10月よりニューズピックス入社。現在の仕事はSREチームのリードとエンジニア採用の推進。 ©Uzabase, Inc. All Rights Reserved.

01 ソーシャル経済メディア NewsPicksについてタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルタイトルテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキストテキスト ©Uzabase, Inc. All Rights Reserved.

01 NewsPicksのプロダクト開発組織、エンジニア体制ユーザベースグループ内にNewsPicks独自のプロダクト開発組織があり、70名ほどのエンジニアが在籍していますユーザベースグループ(約1,200名※業務委託含む) NewsPicks Product Division (15Unit 約100名) プロダクトマネージャー NewsPicksエンジニア (11Unit 約70名) App Reader Experience Unit Creator Experience Unit Base Reader Experience Unit Marketing Product Unit BizPremium Product Unit Topics Experience Unit BrandDesign Unit Web Experience Unit デザイナーカスタマーサポート ©Uzabase, Inc. All Rights Reserved. Mobile App Unit Data/Algorithm Unit SRE Unit (6名) このチームから SLOモニタリング始めてます

02 SREチームはクリティカルユーザージャーニーを補足できていなかった CUJの補足「アプリが開けないと困るだろう」「ニュース記事は早く読みたいよね」くらいの浅い理解 ©Uzabase, Inc. All Rights Reserved. SLIの計測サーバーへのリクエストは全てアクセスログにあるので、 status 5XX以外の割合と処理時間の平均 SLOの策定サーバーへの全リクエストを対象に現状のSLIから可用性・レイテンシーの SLOを策定

10.

11.

12.

02 一旦、バックエンドへの全てのリクエストを対象にSLOを設定したひとまずSLIの現状をもとに教科書的なSLOを設定 (サイトリライアビリティワークブックを参考) SLIの種類 SLI ユーザーのタイプ SLO 可用性リクエスト成功率モバイルアプリ 99.9%以上 Web 99.8%以上モバイルアプリ 90%以上 Web 80%以上モバイルアプリ 99%以上 Web 95%以上レイテンシー 100ms以内のレスポンス 1000ms以内のレスポンス ©Uzabase, Inc. All Rights Reserved.

13.

02 SLOの準拠／違反の状況を週次でモニタリングしていくと… Webのレイテンシーが問題ということしかわからない。この状態からどうする？ SLIの種類 SLI ユーザーのタイプ SLO 可用性リクエスト成功率モバイルアプリ 99.9%以上 Web 99.8%以上モバイルアプリ 90%以上 Web 80%以上モバイルアプリ 99%以上 Web 95%以上レイテンシー 100ms以内のレスポンス 1000ms以内のレスポンス ©Uzabase, Inc. All Rights Reserved.

14.

15.

16.

17.

18.

02 SRE実施のフェーズ「SREの探求 22章成功の文化としてのSRE」より ● フェーズ1 : 消火活動/事後対応「システムを何とか動かし続ける」と同時に、自動化を通じて新たなアプローチを構築 ● フェーズ2 : 門番プロダクションシステムに対する変更は必ず承認を受けて通過しなければならない唯一の関門として機能する ● フェーズ3 : 支持者/パートナー合意したターゲットをパートナーが達成し、その後も引き続き満足していけるように支援する ● フェーズ4 : 触媒あらゆるサービスの構想から廃止までに関与して、適切なツールを提供できるように支援する ©Uzabase, Inc. All Rights Reserved.

19.

02 SRE実施のフェーズ「SREの探求 22章成功の文化としてのSRE」より ● フェーズ1 : 消火活動/事後対応「システムを何とか動かし続ける」と同時に、自動化を通じて新たなアプローチを構築 ● フェーズ2 : 門番プロダクションシステムに対する変更は必ず承認を受けて通過しなければならない唯一の関門として機能する ● フェーズ3 : 支持者/パートナー門番フェーズを超えて支持者/パートナーを目指す合意したターゲットをパートナーが達成し、その後も引き続き満足していけるように支援する ● フェーズ4 : 触媒あらゆるサービスの構想から廃止までに関与して、適切なツールを提供できるように支援する ©Uzabase, Inc. All Rights Reserved.

20.

02 「門番」から「支持者/パートナー」へ Google CloudのBlogにも同様のことが書いてあります https://cloud.google.com/blog/ja/products/gcp/consequences-of-slo-violati ons-cre-life-lessons SLO の規定内でサービスが稼働していたとしても、積極的に信頼性を向上させることは、障害の将来的なリスクを抑え、効率性を改善し、そしてコスト削減につながります。一方、SLO を満たしていないからといって、すぐに内部での機能開発を完全にやめてしまう組織はほとんどありません。 (中略) 関連する開発チームにも知らせましょう。このプロセスは手動でもかまいません。 SRE チームは違反をフィルターにかけて集約し、意味のあるコンテキストを提供するなど価値を付け加えることも可能です。 ©Uzabase, Inc. All Rights Reserved.

https://cloud.google.com/blog/ja/products/gcp/consequences-of-slo-violations-cre-life-lessons

21.

22.

23.

24.

25.

03 開発チームにヒアリングを絶賛実施中チームのミッションクリティカルユーザージャーニーエンドポイント読者の体験改善ニュース記事の閲覧 ● 外部記事閲覧 ● オリジナル記事閲覧ニュースフィード閲覧 ● ニュースフィードトップ ● カテゴリタブニュースのPICK・コメント ● PICK・コメント ● コメント削除フォローリスト表示 ● フォローフィード取得新規登録 ● ● ● ● ● ● 投稿者の体験改善新規ユーザー獲得 ©Uzabase, Inc. All Rights Reserved. Appleサインアップ・ログイン Facebookサインアップ・ログイン Googleサインアップ・ログイン Twitterサインアップ・ログイン Linkedinサインアップ・ログインメールアドレスのサインアップ・ログイン

26.

03 できあがったSLOモニタリングの仕組みエンドポイントごとのSLOモニタリングリポジトリ (GitHub) 開発者 CDK for Terraform 反映設定(PR) cdktf deploy ダッシュボード確認チームチャンネルに通知 Slack アラート ©Uzabase, Inc. All Rights Reserved. New Relic ● ● ● ● ● Service Levels Dashboard AlertPolicy AlertConﬁtion Workﬂow

27.

03 開発チームはエンドポイントとSLOを設定してPR出すだけエンドポイントごとのSLOモニタリングリポジトリ (GitHub) 開発者設定(PR) CDK for Terraform 反映 cdktf deploy ダッシュボード確認チームチャンネルに通知 New Relic Slack アラート ● APIエンドポイント ● SLOターゲット ● ターゲットレイテンシー目標 ● 担当チーム ©Uzabase, Inc. All Rights Reserved. ● ● ● ● ● Service Levels Dashboard AlertPolicy AlertConﬁtion Workﬂow

28.

03 cdktf deployでNew Relicのリソース一式が反映されるエンドポイントごとのSLOモニタリングリポジトリ (GitHub) 開発者 CDK for Terraform 反映設定(PR) cdktf deploy ダッシュボード確認チームチャンネルに通知 Slack アラート ©Uzabase, Inc. All Rights Reserved. New Relic ● ● ● ● ● Service Levels Dashboard AlertPolicy AlertConﬁtion Workﬂow

29.

03 SLO・バーンレートからアラート閾値の自動計算、Slack通知これはCDK for Terraform + TypeScriptのかなり大きな利点エンドポイントごとのSLOモニタリングリポジトリ (GitHub) 開発者 CDK for Terraform 反映設定(PR) cdktf deploy ダッシュボード確認チームチャンネルに通知 Slack アラート ©Uzabase, Inc. All Rights Reserved. New Relic ● ● ● ● ● Service Levels Dashboard AlertPolicy AlertConﬁtion Workﬂow

30.

03 アラートを受けてダッシュボードを見れば、SLO違反の原因となったエンドポイント・デプロイの特定まで可能エンドポイントごとのSLOモニタリングダッシュボードにチーム別のタブがありチームの担当エンドポイントを確認できるリポジトリ (GitHub) 開発者 CDK for Terraform 反映設定(PR) cdktf deploy ダッシュボード確認チームチャンネルに通知 Slack アラート New Relic ● ● ● ● ● Service Levels Dashboard SLO準拠状況タイムライン AlertPolicy AlertConﬁtion Workﬂow Transaction / DeploymentMarker ©Uzabase, Inc. All Rights Reserved.

31.

03 ● SLOをプロダクト開発組織に拡大する効果と今後の展望効果 ○ 担当チーム以外理解の浅かったクリティカルユーザージャーニーをNotionにドキュメント化し IaCでダッシュボード・アラートを設定できるようになったことで、プロダクト開発組織全体でチーム別の関心事・オーナーシップ範囲が可視化されつつある。 ○ ● ユーザーの理想に応えるサイト信頼性について開発チームが意識するきっかけになった今後の展望 ○ 開発チームに絶賛ヒアリングして、ダッシュボードを作って、チームで定期的に確認したりアラートを確認してSLOを見直す運用を開始している ○ 今年中には全てのチームが自律的にSLOの策定・見直しを実施し、ユーザーにとって望ましい信頼性と機能開発のバランスをとれるようにする ©Uzabase, Inc. All Rights Reserved.

32.

https://tech.newspicks.com

SREチームで始めたSLOモニタリングを プロダクト開発組織に拡大している話