Apache NiFi 1.10.0 でなにができるようになったのか？ #hadoopreading

Apache NiFi 1.10.0 でなにができるようになったのか？ 寺田 晃太朗 / Kotaro Terada 2019年12月4日 Hadoopソースコードリーディング 第27回 #hadoopreading

自己紹介 寺田 晃太朗 / Kotaro Terada Yahoo! JAPAN データプラットフォーム エンジニア tribox (パズル販売ECサイト) Webエンジニア 早稲田大学 客員次席研究員 量子アニーリングの アプリケーション研究 趣味 ルービックキューブ、ランニング、ボルダリング 活動 World Cube Association Committee Member Apache NiFi Committer 2

Agenda 1. そもそも Apache NiFi とは？ 2. 最新バージョン NiFi 1.10.0 リリース！ • Parameters + Stateless NiFi • Java 11 3. デモ 3

Agenda 1. そもそも Apache NiFi とは？ 2. 最新バージョン NiFi 1.10.0 リリース！ • Parameters + Stateless NiFi • Java 11 3. デモ 4

まず触ってみましょう NiFi Live 環境 ※本日限り

What is APACHE nifi ? システム（プラットフォーム）間のデータ流れの制御を Web UI で設計・管理して自動化できる Hadoop エコシステム PFからデータ取得 データを制御・処理 別のPFへデータを保存 HDFS, Hive, HTTP, Kafka, MySQL, Oracle, S3, Cassandra, Slack, ... 350+ kinds of "NiFi Processors" (+ Custom processors) HDFS, Hive, HTTP, Kafka, MySQL, Oracle, S3, Cassandra, Slack, ... 6

Architecture OS/Host OS/Host OS/Host OS/Host OS/Host JVM Web Server Flow Controller Processor 1 Extension N FlowFile Repository Content Repository Provenance Repository Local Storage HTTP Client API interaction can go to any node ZooKeeper Server Cluster Coordinator Primary Node ZooKeeper Client https://nifi.apache.org/docs.html NiFi (JVM) + External/Internal ZooKeeper 7

Apache NiFi 活用のトレンド Dataflow among microservices EXAMPLE - APPOINTMENT REMINDERS EXAMPLE WITH SMS RESPONSES OUR TEAM'S HISTORY WITH NIFI FIRST PRODUCTION WORKFLOW MAY 2016 RECENT SNAPSHOT: • 65+ USE CASES • 900+ PROCESS GROUPS • 7400+ PROCESSORS • 44000+ THREADS • 12 NODE PRIMARY PRODUCTION CLUSTER (16VCPU/32GB) NIFI - TOP LEVEL Collecting data from edge (IoT) FROM THE EDGE TO THE ENTERPRISE Ingest, Process, Stream and Manage data securely and quickly NEW Cloudera Flow Management NEW Cloudera Edge Management • Powered by Apache NiFi • High-volume ingest & integration • Web-based user interface • Out-of-the-box data provenance • Designed for extensibility • NiFi Registry - DevOps support, versioning, deployment, FDLC • MiNiFi edge agents + Edge Flow Manager • TechOps and IoT initiatives • Develop & deploy edge apps • NiFi-like user interface • Monitor thousands of agents • Push and execute ML models at the edge CLOUDERA Slide from: Cloudera Slide from: Comcast @ DWS 2019 https://www.slideshare.net/Hadoop_Summit/eventdriven-messaging-and-actions-using-apache-flink-and-apache-nifi 8

Agenda 1. そもそも Apache NiFi とは？ 2. 最新バージョン NiFi 1.10.0 リリース！ • Parameters + Stateless NiFi • Java 11 3. デモ 9

Apache NiFi 1.10.0 新機能ハイライト Highlights of the 1.10.0 release include: • Apache NiFi can now be built on either Java 8 or Java 11! When built on Java 8 it can run on Java 8 or Java 11. • A new experimental encrypted content repository implementation is available. • A new capability to define parameters, including sensitive values, is available at a process group level and can be used to replace the value at runtime for any component property (not just those that are EL enabled). This is huge for automated deployment processes, moving from environment to environment, and having a single flow parameterized many different ways and used over and over. • A new Prometheus reporting task is available. • Powerful new feature to help operations teams: Back-pressure prediction! • Flows built in NiFi can now be published to the NiFi Registry and trivially run using the new Stateless NiFi execution engine and command line! This leads to some very powerful configurations and models for linear flows with transactional sources that can be replayed (Kafka, etc..). • Hundreds of other features, improvements, and bug fixes! • Please note several components that were bundled by default are no longer included due to space limitations. https://cwiki.apache.org/confluence/display/NIFI/Release+Notes 10

Apache NiFi 1.10.0 Release Apache NiFi @apachenifi Follow nifiVersion = 1.10.0 We are proud to release Apache NiFi #{nifiVersion}. Over 360 Jiras addressed, including new RetryFlowFile processor, a stateless runtime for transactional flows, and oh yeah, parameters everywhere — even for sensitive properties. nifi.apache.org/download.html 9:29 AM - 5 Nov 2019 48 Retweets 98 Likes 5 17 48 98 https://twitter.com/apachenifi/status/1191769404247162882 11

Some Cool New Features Parameters + Stateless NiFi • Variables を拡張した Parameters を導入 [NIFI-6276] • Stateless 実行エンジン (Docker) [NIFI-5922] • 従来の NiFi Flow (の一部) を stateless function として実行 • NiFi Registry に登録した Flow をコマンドラインから実行可能 • コンテナエンジン (YARN, k8s) も 活用できるように NiFi on YARN / k8s Java 11 対応 [NIFI-5176, NIFI-5820] • ビルド&実行可能に • G1GCもフル活用 • まだ完全に対応終了では無い [NIFI-5174] NIFI-6827: Java 11 でのRPMビルド修正 12

Agenda 1. そもそも Apache NiFi とは？ 2. 最新バージョン NiFi 1.10.0 リリース！ • Java 11 • Parameters + Stateless NiFi 3. デモ 13

Demo Stateless NiFi + Registry の機能を使って NiFi Flow を実行する

結局 Q. Apache NiFi 1.10.0 でなにができるようになったのか？ A. 今日紹介しきれていない新機能はたくさんありますが、 これまで NiFi で課題だと感じていたスケーラビリティが Stateless NiFi により一部解決できる (ただし data provenance, metrics, logs は失われる制約あり) ご質問等あれば気軽にコンタクトしてください Twitter @kotarotrd / GitHub @kotarot 誰でも参加できる Apache NiFi Users Community の Slack があります https://s.apache.org/nifi-community-slack Yahoo! JAPAN ではデータプラットフォームエンジニアを募集しています 15