Apache Pulsarの概要と近況

5.5K Views

October 05, 21

スライド概要

Apache Pulsar Meetup Japan #4
https://japan-pulsar-user-group.connpass.com/event/222026/

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 134.6K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 75.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 65K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 52.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 28.1K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 26K

各ページのテキスト

1. Apache Pulsarとは Apache Pulsarとは • Publish-Subscribe⽅式でメッセージを送受信できるプラットフォーム (Yahoo! Inc.で開発) • 2016年9⽉にOSSとして公開し、2018年9⽉にOSSコミュニティ⽀援団体である「The Apache Software Foundation」のトップレベルプロジェクトに昇格 ©2021 Yahoo Japan Corporation All rights reserved. 5

2. Apache Pulsarの概要そもそもPublish-Subscribe⽅式とは • トピックに登録されたメッセージを単⼀もしくは複数のConsumerに配信すること • トピックはエンドポイント、Producer(Publisher)はトピックにメッセージを登録するクライアント、Consumer(Subscriber)はトピックからmessageを受信するクライアント Pub-Sub System Producer msgA msgA ConsumerA トピック msgA ©2021 Yahoo Japan Corporation All rights reserved. ConsumerB 9

10.

2. Apache Pulsarの概要 Apache Pulsarにおけるトピック • ネームスペース、テナントを含む persistent://<テナント>/<ネームスペース>/<トピック> • ネームスペースはトピックを束ねるモノ、テナントはネームスペースを束ねるモノ ProducerA テナントA ネームスペースA トピックA トピックB ProducerB ネームスペースB トピックC ©2021 Yahoo Japan Corporation All rights reserved. ConsumerA ConsumerB ConsumerC 10

11.

2. Apache Pulsarの概要サブスクリプション • Consumerがトピックからメッセージを購読する際に指定する識別⼦ • サブスクリプション単位でConsumerがどこまでメッセージを受信したか管理トピックA サブスクリプションA ProducerA msgE msgD msgC msgB msgA サブスクリプションB ©2021 Yahoo Japan Corporation All rights reserved. msgB msgA ConsumerA msgA ConsumerB 11

12.

2. Apache Pulsarの概要サブスクリプションタイプ • メッセージをどのように購読するかのモード (Exclusive, Shared, Failover, Key_Shared) 例. Sharedの場合 ProducerA msgC msgB msgA msgC トピックA サブスクリプションA (Shared) msgA ConsumerA msgB ConsumerB ©2021 Yahoo Japan Corporation All rights reserved. 12

13.

14.

2. Apache Pulsarの概要 Apache Pulsarの構成 – Broker • 主にメッセージの送受信を仲介するコンポーネント • Admin⽤のREST API、ジオレプリケーション Producer msgA msgA Broker Consumer msgA Bookie ZooKeeper ©2021 Yahoo Japan Corporation All rights reserved. 14

15.

2. Apache Pulsarの概要 Broker – ジオレプリケーション • 他クラスターにメッセージをレプリケーション clusterA Producer msgA Broker clusterB msgA ConsumerA msgA メッセージをレプリケーション Broker ©2021 Yahoo Japan Corporation All rights reserved. msgA ConsumerB 15

16.

2. Apache Pulsarの概要 Apache Pulsarの構成 – Bookie(Apache Bookkeeper) • Producerから受信したメッセージを保持するコンポートネント Producer msgA msgA Broker Consumer msgA Bookie ZooKeeper ©2021 Yahoo Japan Corporation All rights reserved. 16

17.

2. Apache Pulsarの概要 Apache Pulsarの構成 – ZooKeeper(Apache ZooKeeper) • ネームスペース等の設定情報やBroker, BookKeeperのメタ情報等を保存するコンポーネント(Conﬁguration Store(旧: Global ZooKeeper), Local ZooKeeperの2プロセスが存在) Producer msgA msgA Broker Consumer msgA Bookie ZooKeeper ©2021 Yahoo Japan Corporation All rights reserved. 17

18.

19.

2. Apache Pulsarの概要 WebSocket API • クライアントライブラリが提供されていない⾔語からでもApache Pulsarを利⽤できるようにするためのモノ Producer msgA WebSocket API msgA Consumer msgA msgA Broker ©2021 Yahoo Japan Corporation All rights reserved. 19

20.

2. Apache Pulsarの概要ユーティリティツール – Pulsar-Client • 簡易的にメッセージの送受信(Produce/Consume)ができるCUI • Produceの実⾏例 $ pulsar-client produce -m "Hello World" -n 10 persistent://tenant1/ns1/t1 • Consumeの実⾏例 $ pulsar-client consume -s sub1 -n 10 persistent://tenant1/ns1/t1 ©2021 Yahoo Japan Corporation All rights reserved. 20

21.

2. Apache Pulsarの概要ユーティリティツール – Pulsar-Admin • テナントやネームスペースを作成したり、トピックの統計情報や保存されているメッセージの内容を確認することができるCUI • Brokerが提供するAdmin⽤のREST APIを利⽤ • トピックの統計情報を確認する際の実⾏例 $ pulsar-admin persistent stats persistent://tenant1/ns1/t1 ©2021 Yahoo Japan Corporation All rights reserved. 21

22.

23.

24.

3. Apache Pulsarの近況リリース – Apache Pulsar v2.5 〜 v2.6 • v2.7 〜 v2.8 Introduce publish rate-limiting on • topic Support acknowledging a list of messages • Support batch receive in java client • Exclusive producer • Support acknowledgment at batch • Tenant and namespace level rate index level • Etc. limiting • Etc. ©2021 Yahoo Japan Corporation All rights reserved. 24

25.

26.

27.

28.

3. Apache Pulsarの近況コミュニティの活動 – イベント 2021年 2019年 2020年 Pulsar Summit Pulsar Hackathon Pulsar Summit 2020年〜: Pulsar Summit(https://pulsar-summit.org/) • • Pulsar Summit 現在 • 2021年10⽉6⽇: Pulsar Virtual Summit Europe 2021 • 2021年11⽉20, 21⽇: Pulsar Summit Asia 2021 2021年: Pulsar Hackathon ©2021 Yahoo Japan Corporation All rights reserved. 28

https://pulsar-summit.org/

29.

30.

31.

32.

33.

3. Apache Pulsarの近況コミュニティの活動 – その他 • ブログ Apache Pulsar: https://pulsar.apache.org/blog/ StreamNative: https://streamnative.io/en/blog/ Yahoo Japan Corporation: https://developer.yahoo.co.jp/oss/pulsar/ • YouTube StreamNative: https://www.youtube.com/channel/UCywxUI5HlIyc0VEKYR4X9Pg ©2021 Yahoo Japan Corporation All rights reserved. 33

34.

35.

36.

37.

38.

4. Appendix 紹介しきれなかった機能やコンポーネント • パーティションドトピック • persistent, non-persistent • Pulsar-Functions • Pulsar SQL • Pulsar IO • Pulsar Adapters • Pulsar Manager • Etc. ©2021 Yahoo Japan Corporation All rights reserved. 38

39.

40.