4 Keys Metricsだけじゃない!価値に目を向けたメトリクス:EBMに触れてみよう

5.5K Views

April 16, 24

スライド概要

DevOpsDays Tokyo 2024
https://confengine.com/conferences/devopsdays-tokyo-2024/proposal/19781/4-keys-metricsebm

profile-image

https://twitter.com/ikikko

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

4 Keys Metricsだけじゃない! 価値に目を向けたメトリクス EBMに触れてみよう DevOpsDays Tokyo 2024 クリエーションライン株式会社

2.

中村 知成 (@ikikko) • 所属:クリエーションライン株式会社 • 役割:スクラムマスター / アジャイルコーチ • 大切にしている価値観:現場で働くチームの役に立ちたい! • エンドユーザーへ価値を届けることを見据えつつ • その価値を産み出すチームもより活き活きと動けるように • 得意なこと・興味があること: • プロセス面からのチーム支援(スクラム、カンバン) • プロダクト全体思考・全体最適(VSM / 制約理論)、メトリクスによる意思決定 2

3.

矢田 進之介 (@yatakeke) • 所属:クリエーションライン株式会社 • 役割:スクラムディベロッパー • 最近読んでいる本: • オブジェクト指向のこころ • パターン指向リファクタリング入門 • 好きなもの: • ジムニー • キャンプ • サウナ 3

4.

エビデンスベースドマネジメントガイド - Scrum.org 4 ⽴ ⼒ “エビデンスベースドマネジメント(EBM: Evidence-Based Management)は、組織が不確 実な条件のもとで顧客の成果や、組織の能 、およびビジネスの結果を継続的に改善す るのに役 つ経験的アプローチである。”

5.

EBMとDevOps / 4 Keysとの関連 5

6.

EBMとDevOps / 4 Keysとの関連 [ソフトウェアデリバリー のパフォーマンス] 4 Keys Metrics 6 EBMで提唱されている 領域と指標

7.

重要価値領域 (KVA : Key Value Areas) 7 エビデンスベースドマネジメントガイド

8.

重要価値指標 (KVM : Key Value Measures) 8 • 市場占有率 • 顧客満足度ギャップ • 望ましい顧客体験または満 足度 • • • • 従業員1人あたりの収益 プロダクトコスト比率 従業員満足度 顧客満足度 • イノベーション率 • 変更失敗率(※) • 技術的負債 • • • • リードタイム デプロイ頻度(※) 変更のリードタイム(※) サービス復元時間(※) エビデンスベースドマネジメントガイド (※:4 Keys Metrics)

9.

市場価値 • 現在の価値 (CV : Current Value) 1. ユーザーと顧客はどれだけ幸せか? 2. 従業員はどれだけ幸せか? 3. 投資家やステークホルダーはどれだけ幸せか? • 未実現の価値 (UV : Unrealized Value) 1. 現在の市場または他の市場で、組織は追加的な価 値を創造できるか? 2. 未開拓の機会の追求に労 やリスクをかける価値 はあるか? 3. 追加的な UV を獲得するために追加投資すべきか? ⼒ 9

10.

組織的な能力 • 市場に出すまでの時間 (T2M : Time-to-Market) 1. 組織は新しい実験と情報からどれだけ速く学ぶこ とができるか? 2. 情報をもとにどれだけ速く適応できるか? 3. 新しいアイデアを顧客にどれだけ速くテストでき るか? • イノベーションの能力 (A2I : Ability to Innovate) 1. 組織が新しい価値を提供することを妨げる要因は 何か? 2. 顧客やユーザーがイノベーションの恩恵を受ける ことを妨げる要因は何か? 10

11.

組織的な能力 [ A2Iの重要性を示す例 ] • 市場に出すまでの時間 (T2M : Time-to-Market) •チームA 1. 組織は新しい実験と情報からどれだけ速く学ぶこ •T2M:リリースのサイクルが1ヶ月 とができるか? •A2I:リリースの大半が欠陥改修とマイナーな機能強化で、CVにあまり変化がない •チームB 2. 情報をもとにどれだけ速く適応できるか? •T2M:リリースのサイクルが2ヶ月 3. 新しいアイデアを顧客にどれだけ速くテストでき •A2I:リリースの大半が新しいプロダクト機能で、CVを大幅に向上させている るか? • イノベーションの能力 (A2I : Ability to Innovate) 1. 組織が新しい価値を提供することを妨げる要因は 何か? 2. 顧客やユーザーがイノベーションの恩恵を受ける ことを妨げる要因は何か? 11

12.

ゴール設定 • 戦略的ゴール:組織が達成したいと考 えている重要な目標(比較的長期で、 例えば3~5年) • 中間ゴール:戦略的ゴールに向けての 進捗を示す目標(中期で、3~6ヶ月) • 即時戦術ゴール:短期目標(数日~4週 間以内) 12

13.

ゴール設定 対象はアウトカム (特に、UV:未実現の価値 に焦点をあてる) • 戦略的ゴール:組織が達成したいと考 えている重要な目標(比較的長期で、 例えば3~5年) 主にアウトカム (CV / UV) アウトカムの他、活動やア ウトプットもありうる 13 • 中間ゴール:戦略的ゴールに向けての 進捗を示す目標(中期で、3~6ヶ月) • 即時戦術ゴール:短期目標(数日~4週 間以内)

14.

実験のループを回す • 仮説:アイデアと、そのアイデアが成功したか を計測に基づいて判断できるように設定する • 実験と計測:即時戦術ゴールなので、数日〜4 週間以内に収める • 検査:事前の仮説と計測方法に基づいて、成 功したかを確認する • 適応:より上位の中間ゴール・戦略的ゴールの 調整が必要ないかを確認する 14

15.

ワークショップ Measuring Outcome:アウトカムを計測する MEASURING OUTCOME アウトカムを計測する Measuring Outcome

16.

指標 (KVM) カードを手渡し、もう一方のグループには残り の紫色の KVM カードを手渡します。 16 進め方3. 手順1: 各グループで、それぞれの KVM を議論し、KVMカー ドを正しい KVA のところに置いていきます。 4. 手順2: 両グループで、それぞれの結果を議論してもらい、 カードを適切な位置に適応させます。このラウンドの終わ りまでに、KVM カードが正しい KVA のところに置いてある ことを確認します。 5. 手順3: 参加者それぞれに KVM を各自で見てもらい、気に なった KVM を1つ選んでもらいます (このとき、EBM に ある KVM 以外を選んでもよいです) 。 6. 手順4: 参加者に4人一組のグループになってもらいます。 各自が選んだ KVM の選択理由を説明し、それをどう実践す るかグループで話し合います (EBM にある KVM 以外の指標 の場合は、過度に自信のある指標でないことに注意をし、 潜在的な落とし穴について議論するようにします) 。 スは、 ティブ さんの なエキ Profe 験を積

17.

伝えたいこと EBMでは「重要価値領域」という概念を導入しており 指標単独で扱うより、意味や関連を捉えやすい • 指標が指し示す意味や、指標間の関連を意識しよう(指標そのものに 捉われ過ぎない) • 顧客への価値提供をふまえて、必要となる組織的な能力を考えよう 17

18.

重要価値領域の意味や関連 3. 顧客が望む価値(CV/UV)が 向上する可能性が高くなる 2. 価値の向上に寄与する施策や 実験を、より迅速に・効果的 にできるようになる 1. 組織的な能力(A2IとT2M) が改善される 18 ここが十分なら ば、必要以上の改 善は投資対効果が 薄いかもしれない

19.

重要価値領域の意味や関連 ≒ ⊃ 19

20.

重要価値領域の意味や関連 ⊃ A2I / T2Mの改善には、ここで提示され ているケイパビリティも参考になる 20

21.

重要価値領域の意味や関連:参考 21 『LeanとDevOpsの科学』をきちんと解読する 〜Four Keys だけじゃ絶対もったいなくなる話〜

22.

指標 (KVM) カードを手渡し、もう一方のグループには残り の紫色の KVM カードを手渡します。 22 進め方3. 手順1: 各グループで、それぞれの KVM を議論し、KVMカー ドを正しい KVA のところに置いていきます。 4. 手順2: 両グループで、それぞれの結果を議論してもらい、 カードを適切な位置に適応させます。このラウンドの終わ りまでに、KVM カードが正しい KVA のところに置いてある ことを確認します。 5. 手順3: 参加者それぞれに KVM を各自で見てもらい、気に なった KVM を1つ選んでもらいます (このとき、EBM に ある KVM 以外を選んでもよいです) 。 6. 手順4: 参加者に4人一組のグループになってもらいます。 各自が選んだ KVM の選択理由を説明し、それをどう実践す るかグループで話し合います (EBM にある KVM 以外の指標 の場合は、過度に自信のある指標でないことに注意をし、 潜在的な落とし穴について議論するようにします) 。 スは、 ティブ さんの なエキ Profe 験を積

23.

. 手順2: 両グループで、それぞれの結果を議論してもらい、 カードを適切な位置に適応させます。このラウンドの終わ りまでに、KVM カードが正しい KVA のところに置いてある ことを確認します。 進め方 . 手順3: 参加者それぞれに KVM を各自で見てもらい、気に なった KVM を1つ選んでもらいます (このとき、EBM に ある KVM 以外を選んでもよいです) 。 . 手順4: 参加者に4人一組のグループになってもらいます。 各自が選んだ KVM の選択理由を説明し、それをどう実践す るかグループで話し合います (EBM にある KVM 以外の指標 の場合は、過度に自信のある指標でないことに注意をし、 潜在的な落とし穴について議論するようにします) 。 23 験を積んでいます。 Based on the 2020 EBM Guide. Learn about Evidence-Based Management (EBM) at http://scrum.org/EBM The Measuring Outcome game (v2.1) is licensed under CC BY-NC-SA 4.0 By Scrum Facilitators Japanese Translator: Tomoharu Nagasawa ([email protected])

24.

進め方:参考 24

25.

再掲:伝えたいこと EBMでは「重要価値領域」という概念を導入しており 指標単独で扱うより、意味や関連を捉えやすい • 指標が指し示す意味や、指標間の関連を意識しよう(指標そのものに 捉われ過ぎない) • 顧客への価値提供をふまえて、必要となる組織的な能力を考えよう 25