eBPFによるE2E監視の取り組み #CNDT2023

11.5K Views

December 11, 23

ebpf

スライド概要

t-mano

@t-mano

スライド一覧

eBPF / K8s / Go

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

ダウンロード(pdf - 3.61MB)

関連スライド

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 0.9M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 876.3K

SPAセキュリティ超入門

security php javascript

徳丸浩 684.7K

猫でも分かる UE5.0, 5.1 におけるアニメーションの新機能について【CEDEC+KYUSHU 2022】

ue5 cedec+kyushu ue-animation ue-optimize ue-bp ue-physics ue-sequencer

エピックゲームズジャパン 588.2K

【DeNA】新卒エンジニア向け会社説明資料

DeNA新卒採用 546K

各ページのテキスト

背景：最近気になっていること① レイテンシ・センシティブな分散システム例えば： IoT 例えば：ロボットOS 出典： https://ccrd.nii.ac.jp/sc21/SINETStream/ その他：自動運転, 遠隔コラボレーション, etc.. cf. https://spectrum.ieee.org/breaking-the-latency-barrier ©2023 Seiko Solutions Inc. All rights reserved. 2

本セッションの構成テーマ分散システムのEnd to Endでの可観測性向上第１部そもそも分散システムをどのように監視すべきか？何が足りていないか？第２部サービス間通信の監視 with eBPF 実運用での事例紹介第３部技術的な取り組み紹介 eBPF利用時の注意点 timestamp / kprobe miss-hit （ニッチな） ©2023 Seiko Solutions Inc. All rights reserved. 5

分散システムの監視新機能追加（開発フェーズ） or 障害対応（運用フェーズ）に目的 • 速やかにボトルネックを把握をしたい • システム全体として安定稼働しているか確認したい『オブザーバビリティ』道具 CNCF whitepaper: https://github.com/cncf/tag-observability/blob/main/whitepaper.md システムの内部状態をいかに正しく説明できるか？ ©2023 Seiko Solutions Inc. All rights reserved. Primary Signals • Metrics • Log • Trace 8

https://github.com/cncf/tag-observability/blob/main/whitepaper.md

10.

11.

12.

Traceによる分散システムのE2E監視分散システム（HTTP以外でも） End End Trace ID伝搬のための計装（バックエンド例） E2Eで実際の通信状況を監視（出典） https://istio.io/latest/docs/tasks/observability/distributed-tracing/jaeger/ ©2023 Seiko Solutions Inc. All rights reserved. 11

https://istio.io/latest/docs/tasks/observability/distributed-tracing/jaeger/

13.

理想のE2E監視を考える TraceとSpanは分散システムをE2E監視するための武器 https://opentelemetry.io/docs/concepts/signals/traces/ Traceはリクエストに何が起きたのか全体像を与えるもの SpanはTraceのビルディングブロックで作業単位捉え直すと・・・ Traceからたどり着ける論理的な最小要素がSpan 実体は（名前 / 開始と終了のTimestamp / 任意のKey:Value）必要十分な情報を含む設計が必要どんな情報を含むべきか？ ©2023 Seiko Solutions Inc. All rights reserved. 特にレイテンシを気にするシステム 12

https://opentelemetry.io/docs/concepts/signals/traces/

14.

15.

16.

Trace再考：サービス間通信の内部状態 Network Service A 内部状態変化 • • • Service B リクエストIDによって異なるパス通過タイミング依存なサービス間通信レイテンシコンテナのノード移動による実行環境変化（理想的には）性能劣化ポイントにより対応が異なるのでTraceから辿りたい ©2023 Seiko Solutions Inc. All rights reserved. 15

17.

18.

現状のTraceで説明できないこと Appで打刻したタイムスタンプベースのSPAN Service A Service B 計装計装送信処理SPANの開始タイムスタンプあるリクエストでレイテンシ悪化受信処理SPANの開始タイムスタンプ 𝑻𝑩 𝑻𝑨 (𝑻𝑩 −𝑻𝑨 ) の増加は確認できるなぜ？誰（どこ）に責任があるか？ ©2023 Seiko Solutions Inc. All rights reserved. 17

19.

何が足りていないか？ Traceを辿っても客観的に明確な責任分界点が見えてこない例えば以下の切り分けをしたい（Traceから辿りたい） TXホスト Service A ホスト内遅延中継装置ネットワーク機器 TURNサーバメッセージブローカ etc. ネットワーク遅延 (App or Kernel) RXホスト Service B ホスト内遅延 (App or Kernel) 装置内の滞留時間 ©2023 Seiko Solutions Inc. All rights reserved. 18

20.

21.

22.

既存の仕組みで解決できる？ ③ INT In-band Network Telemetry 専用HW TXホスト INT対応スイッチ RXホスト Service B Service A ？？ INTコレクタ実サービスパケットの片方向遅延が計測可能ホスト内部は見えない（INT対応スイッチのキュー / ドロップ状況が分かる） ©2023 Seiko Solutions Inc. All rights reserved. 21

23.

24.

25.

26.

27.

28.

29.

30.

31.

32.

実測結果より： eBPFが可能にすること Appベースの計装では性能劣化ポイントが不明 Peer Peer 計装計装 Appから見えないインフラの複雑性に向き合う + eBPFタイムスタンプにより責任分界点を明確化 Peer ホスト内遅延 TURN ネットワーク遅延 Peer ホスト内遅延装置内の滞留時間 ©2023 Seiko Solutions Inc. All rights reserved. 31

33.

初見の方向け：こういうことができるeBPFとは？ eBPF (extended Berkeley Packet Filter) • カーネルの仕組み • カーネル内でイベントドリブンにユーザ定義のバイトコードを実行拡張（2013～）カーネル空間でのパケットフィルタによるパフォーマンス向上について(1992) https://www.tcpdump.org/papers/bpf-usenix93.pdf カーネルの仕組みなので Appに計装不要 Appからは通常追えない Appが叩いたAPIのその先まで追える技術 ©2023 Seiko Solutions Inc. All rights reserved. 32

https://www.tcpdump.org/papers/bpf-usenix93.pdf

34.

eBPFの位置づけ: 第3のカーネル拡張手段 ① カーネル本体に組み込む • • 変更必要性をメンテナに訴える数年後、世界中で利用可能に ② カーネルモジュール • • プラグインとしてカーネル拡張カーネル側の変更やバグでクラッシュの危険 ③ eBPF • カーネル内のフックポイントに動的検証されるバイトコードをアタッチポータブルで安全なカーネル拡張 Networking / Security / Observability ©2023 Seiko Solutions Inc. All rights reserved. 33

35.

eBPFの仕組み - “This allows user-defined instrumentation on a live kernel image that can never crash, hang or interefere with kernel negatively.” 引用：lkml post(2015) https://lkml.org/lkml/2015/4/14/232 制限付きの C言語で作成フックポイントでコード実行動的検証多様なフックポイント出典： https://ebpf.io/what-is-ebpf/ ©2023 Seiko Solutions Inc. All rights reserved. Syscall Kernel Func. NIC(XDP) etc. 34

36.

（余談） eBPFの個人的な面白ポイント: Verifier • 無限ループの禁止、範囲外アクセスの禁止、命令数・スタックサイズ制限、etc • Verifierは進化を続けているので、まずは通過するか試してみるべし by kernel doc https://www.kernel.org/doc/html/latest/bpf/bpf_design_QA.html#q-what-are-the-verifier-limits  verifierに弾かれる例 char array[4] = xxx u32 i = yyy (外部から取得した数値代入） return array[i]; // INVALID 「i &= 0x3」などが必要  verifierの言い分 array[i] -> iはu32 -> array[2^32 – 1] // OUT-OF-BOUND （怒るばかりではなく、実は最適化処理もしてくれている…）出典： https://ebpf.io/what-is-ebpf/ ©2023 Seiko Solutions Inc. All rights reserved. 35

37.

オブザーバビリティ with eBPFの例 bpftrace / BCC その他の例： cf. https://ebpf.io/ github上に便利ツール多数 https://github.com/iovisor/bpftrace https://github.com/iovisor/bcc (出典） Brendan Greggさんblog https://www.brendangregg.com/blog/2019 -07-15/bpf-performance-tools-book.html 例） tcpconnlat (bcc) ©2023 Seiko Solutions Inc. All rights reserved. 36

38.

39.

タイムスタンプ打刻位置 MP EP(TX) App Socket MP ① EP(RX) ④ 計測対象の通信 L4 L3 TXホスト内遅延 ①～② ネットワーク遅延 ②～③ RXホスト内遅延 ③～④ L3 ③ ② ③ • • • Socket L4 L3 ② App TURNサーバ INT対応スイッチ専用プローブ装置内滞留時間 ③～② or 通過時刻 ③ ©2023 Seiko Solutions Inc. All rights reserved. L3 ③ ① send_tcp/udp() ② tc-bpf ③ XDP ④ recv_tcp/udp() 38

40.

41.

42.

その他の恩恵：計装を取り巻く悩みの解決よく知らないアプリケーションに計装なんかできない Appに計装しない計装のせいで新たな障害箇所が監視するレイヤーと監視されるレイヤーを分離 ⇒ 個別メンテ生まれていないか・・・？監視対象のバージョンアップや監視項目を追加したい。既存計装に手を入れる・・・？ ©2023 Seiko Solutions Inc. All rights reserved. メンテコスト低下 41

43.

（補足①）計装しない？サイドカーは？？ “How eBPF will solve Service Mesh – Goodbye Sidecars” – cilium https://isovalent.com/blog/post/2021-12-08-ebpf-servicemesh/ vs “eBPF for Service Mesh? Yes, but Envoy Proxy is here to stay” – solo.io https://www.solo.io/blog/ebpf-for-service-mesh/ （出典） https://isovalent.com/blog/post/2021-12-08-ebpf-servicemesh/ 今回はより低レイテンシに App処理の中身まで (Traceで）追いたい（出典） https://www.solo.io/blog/istio-ambient-mesh-evolution-service-mesh/ ©2023 Seiko Solutions Inc. All rights reserved. 42

44.

45.

46.

その①（1/5）： eBPFでタイムスタンプ打刻 Kernel5系 TXホスト RXホスト中継装置 Service B Service A ※ 各ホストの時刻同期は前提通常の場合： clock_gettime()システムコールカーネルのクロック情報を取得するために設計 eBPFの場合： bpf_ktime_get_ns()ヘルパー関数パフォーマンス計測を想定して設計 ©2023 Seiko Solutions Inc. All rights reserved. 45

47.

その①（2/5）：カーネルのクロック Wall Clock vs Monotonic Clock Wall Clock (Realtime Clock) • dateコマンドで取得できるUTC時系 • UNIXエポック（起点）からの経過時間を保持 • ユーザ空間から調整可能 Monotonic Clock • システムブート時から単調増加するローカル時系 • ユーザ空間から調整不可 • パフォーマンス計測に適している ©2023 Seiko Solutions Inc. All rights reserved. 46

48.

その①（3/5）：問題点  clock_gettime(clockid_t clk_id, struct timespec *tp)の場合 Wall Clock CLOCK_REALTIME CLOCK_MONOTONIC CLOCK_MONOTONIC_RAW CLOCK_BOOTTIME etc. (man参照） Monotonic Clock （参考） GoのTimeパッケージは、内部でこれらを使い分けている 2か所の時刻の比較（差分）は勝手にMonotonic Clockを利用等  bpf_ktime_get_ns()の場合 Monotonic Clockのみ（パフォーマンス計測用のため）他ホスト上の値と比較するには Wall Clockへの変換が必要 ©2023 Seiko Solutions Inc. All rights reserved. 47

49.

その①（4/5）： eBPFによる解決  変換方法 Monotonic Clock /include/linux/timekeeper_internal.h + offs_real timekeeper構造体のoffs_real Wall Clock  どうやって正確なオフセットを知る？ eBPFでoffs_realをメンテする関数(tk_set_wall_to_mono)を監視更新時にだけ処理が走るミニマムな実装に！ネットワーク計測に必要なホスト間タイムスタンプ比較が可能に！！ ©2023 Seiko Solutions Inc. All rights reserved. 48

50.

その①（5/5）：新しいカーネルの場合 Kernel 6.2 ～新しいヘルパー関数 bpf_ktime_get_tai_ns() Wall clockを取得可能 https://elixir.bootlin.com/linux/v6.2/source/kernel/bpf/helpers.c#L204 eBPFの進化は早い + 5系を使っている方は注意！ ©2023 Seiko Solutions Inc. All rights reserved. 49

https://elixir.bootlin.com/linux/v6.2/source/kernel/bpf/helpers.c#L204

51.

その②（1/4）：ネットワーク周りで遭遇したトラブル受信パケットの通過数をkprobeでカウント時、謎のロスト App udp_recvmsg() 60418 pkts netif_receive_skb() 60358 pkts Socket L4 L3 パケット受信 iperf3でUDPパケットを生成残りの60 pktsはどこへ・・・？ 60418 pkts ©2023 Seiko Solutions Inc. All rights reserved. 50

52.

その②（2/4）：先に結論同タイミングでnetif_receive_skb()のkprobe miss-hitが増加パケット数の矛盾はなくなった App udp_recvmsg() 60418 pkts netif_receive_skb() 60358 pkts Socket L4 L3 kprobe miss-hit パケット受信 60 pkts 60418 pkts 60418 pkts ©2023 Seiko Solutions Inc. All rights reserved. 51

53.

その②（3/4）：調べたこと  とりあえずkprobeのDocを読む https://www.kernel.org/doc/Documentation/ trace/kprobetrace.txt kprobeにはmiss-hitなるものがあるらしい  netif_receive_skb()に手動でkprobeをアタッチ発火回数 miss-hit数 ©2023 Seiko Solutions Inc. All rights reserved. iperf3でテストパケット生成・受信 52

https://www.kernel.org/doc/Documentation/trace/kprobetrace.txt

54.

その②（4/4）：分かったこと  miss-hitをカウントしているコードを追跡ここでmiss-hitをカウント https://github.com/torvalds/linux/blob/v5.1 7/arch/x86/kernel/kprobes/core.c#L907 割り込みコンテキストで kprobeを仕掛けると kprobe自体発火しないことがある  ネットワーク系の関数は割り込みコンテキストを持つ場合がある  kprobeを使う場合は注意（ftraceでは発生未確認） ©2023 Seiko Solutions Inc. All rights reserved. 53

https://github.com/torvalds/linux/blob/v5.17/arch/x86/kernel/kprobes/core.c#L907

55.

まとめ  分散システムの構成要素である2サービス間通信に着目従来のAppベースの測定では性能劣化ポイント不明  アプローチ： eBPFにより責任分界点でタイムスタンプを押す TXホスト中継装置 RXホスト Service B Service A  実測により、タイムスタンプによる細分化が性能劣化ポイントの特定に役立つことを確認 ©2023 Seiko Solutions Inc. All rights reserved. 54

56.