Elastic stack_&_cloud_7.11_updates-summary
>100 Views
February 26, 21
スライド概要
https://www.meetup.com/ja-JP/Tokyo-Elastic-Fantastics/events/276099873/
ヴイエムウェア株式会社 ソリューションアーキテクト本部 プリンシパルエンタープライズアーキテクト。 Microsoft で13年間、テクニカルエバンジェリストとして .NET、Visual Studio、Windows、iOS、Android、Microsoft Azure 等の開発者向け最新技術啓発活動を実施。その後、Dell、Accenture、Elastic で開発者向け技術啓発活動等を経て現職。 モダンアプリケーション開発、マルチクラウド対応、アーキテクチャ策定等を中心に、技術者向けに最新技術の啓発活動を実施中。 2019年4月〜2021年8月迄、内閣官房 IT 総合戦略室 政府 CIO 補佐官を兼務、2021年9月〜2024年3月迄、デジタル庁 PjM ユニット ソリューションアーキテクトを兼務。
関連スライド
各ページのテキスト
Elastic Stack ＆ Cloud 7.11 アップデートダイジェスト版 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官
Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist 内閣官房 IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist
Elastic Stack and Cloud 7.11 Release Agenda 1 Elastic Stack 7.11 2 Kibana 7.11 3 Elasticsearch 7.11 4 Elastic Enterprise Search 7.11 5 Elastic Observability 7.11 6 Elastic Security 7.11 7 Elastic Cloud 7.11
Elastic 7.11 リリースのハイライト • • コスト、パフォーマンス、インサイト、柔軟性の最適化を強⼒に⽀援する各種新機能が搭載 • ⼀般提供 (GA) を開始した Searchable Snapshots • Schema on read (ベータ版) Elastic Enterprise Searchの新しい Web クローラー（ベータ） • Elastic オブザーバビリティの Service Health と Host のDetail View を表⽰する機能 • Elastic セキュリティの事前構築済み検知ルール、機械学習ジョブ、カスタマイズ可能なアラート通知、 アナリストの⼀元的な作業スペース Elastic Cloud でも複数のリリースアナウンス • Elastic Cloud でSearchable Snapshotsの強⼒なサポートを開始 • データと機械学習ノードの⾃動スケールに関するアナウンス • クラスター横断検索（CCS）とクラスター横断レプリケーション（CCR）の強化による可⽤性と検索 パフォーマンスの向上
Elasticsearch と Kibana のライセンスオプションを変更 • Apache 2.0 によりライセンス提供される コードから、Elastic License と SSPL に基づ くデュアルライセンス提供に移⾏ • また Elastic は⼤幅なアップデートを通じ て、Elastic License を⼀層シンプルかつ寛 容なライセンスに • Elastic の配布パッケージ、ならびに無料・ 有償を含む全機能のソースコードは Elastic License v2 の下に使⽤許諾され、また⼀連 のコアな無料機能群のソースコードは SSPL v1 によっても使⽤許諾される • この変更は、Elastic コミュニティの圧倒的 ⼤多数のユーザーに、⼀切の影響を与え ません https://www.elastic.co/jp/blog/license-change-clarification https://www.elastic.co/jp/blog/why-license-change-AWS
Elastic Stack & Kibana
Elastic Stack リリースのハイライト • • • 安価なオブジェクトストアに格納する Searchable Snapshots に 新登場の Cold ティアを組み合わせ、より多くのデータを保持・検索 ランタイムフィールドで活⽤できる Schema on read が登場 Elastic Stack と外部システムを横断する新しいアラートフレームワークで 通知の作成と管理、監視を実現
Searchable Snapshots と Cold ティア • 安価なオブジェクトストアに格納する Searchable Snapshots に新登場の Cold ティア を組み合わせ、より多くのデータを保持・検索 • Searchable Snapshots • • AWS S3 や Microsoft Azure Storage、Google Cloud Storage など、ローコ ストオブジェクトストレージに格納されたスナップショットのデータを検索できる • Elasticsearch クラスターのストレージコストと、検索パフォーマンス、データから取得す るインサイトの深さを天秤にかけていた従来とは、まったく異なるアプローチ • Searchable Snapshots はストレージコストを⼤幅に減少に引き下げ、また新登場 の Cold ティア機能をサポート Cold ティアは今回 GA 移⾏し、Elastic Cloud でも提供を開始 • パフォーマンスへの影響を最⼩限に抑えながら、インフラコストを最⼤50％削減
Schema on read (7.11でベータリリース） • • • ランタイムフィールドで、クエリ時にインデックスのスキーマを定義可能に スキーマの作成中に新規データや新規のワークフローを発⾒できる コストとパフォーマンスのトレードオフ関係について選択しつつ、新しいインサイトの発⾒をもたらす⽐類ない柔軟 性も確保できる • Elasticsearch は超⾼速の分散型検索・分析エンジン • データを格納するインデックスがディスク書き込み時に構造化インデックスとして作成されるアプローチ、い わゆる “Schema on write”のおかげ • 構造を整理するには、Elasticsearch でデータがどう表現されるかについての理解と準備が⽋かせない • その分、スピード、スケール、関連性という⼤きなメリットを享受できる • しかし時には、データスキーマを事前に計画するのではなく、データを新しい切り⼝で探索、調査するアプローチ が必要となることもある • そこで今回、検索時にランタイムフィールドに Schema on read を⽤いて流動的なデータストラクチャーを作 成する⽅法が登場 • この⽅法はフレキシブルで、最初にインサイトを取得するまでの時間を短縮できる • 他⽅で総合的なパフォーマンスではトレードオフとなる部分もある そのため、検索シナリオに応じてユーザーが Schema on read と Schema on write をすばやく切り替え ることができるようになっている •
Runtime fields Good for 新しいフィールド タイプ 新しいデータ ソース 変更の処理 新しいワークフローを有効にする Defined by a script グロック/正規表現、あるいはダイナミックルックアップ Evaluated at query time マッピングに追加するか、クエリを指定 “runtime_mappings”: { “day_of_week" : { Works like a regular field "type" : "long", "script" : { 検索、集計、通常のフィールドと同じように視覚化 変換とエンリッチメントに使⽤できる データが取り込まれた時点で値を追加する "source" : "emit(doc[ʻtimestampʼ].value.getDayOfWeek())" } } }
Runtime Fields ユースケース 新しい インデックス付き フィールドの追加 クエリ時にインデックス が作成されていない 新しいフィールドを 照会する (ログ形式の変更等) STANDARD | BETA OODA Loop ⼀時フィールドの 使⽤ インデックスの エラーを修正する データ準備中 の反復 クエリのコンテキスト内 でのみフィールドを 定義して使⽤する ランタイム フィールドを 含むインデックス付き フィールドをシャドウし て、エラーを直ちに 修正する コンバージョンを前後 にしてインデックスを 時間の経過とともに 調整する
OODA Loop Runtime fields in Index Templates インデックス テンプレート マッピング エディタ UI サポート STANDARD | GA
OODA
Loop
Runtime fields
Elasticsearch 読み取り時のスキーマ
●
●
●
●
スキーマの柔軟性: フィールドの追加と変更
ランタイムからインデックスへ、インデックスからランタイムへフィールドを移動する
クエリパフォーマンスへの影響を軽減するためのインデックス付きフィールドへの依存
任意のフィールドと同様に消費される
"runtime_mappings": {
"duration": {
"type": "double",
"script": {
"source": """if(params._source['duration'] == null){return}
else if(doc['browser'].value == "Firefox") {emit(params._source['duration'] / 1000)}
else {emit(params._source['duration'])}"""
}
}
}
STANDARD | GA
新しい Alert フレームワーク が GA • 脅威検知、アプリケーションパフォーマンス警告、 物理アセットの追跡まで、データインサイトに基 づいて判断するには、重⼤な変更が⽣じたとき にタイムリーにアラートが届く仕組みが不可⽋ • このようにタイムリーなアラートを Elastic Stack に提供する新しいアラートフレームワー クは7.11リリースで⼀般公開 (GA) に移⾏ • このアラートインターフェースは Elastic セキュリ ティと Elastic オブザーバビリティに直接組み 込まれている PagerDuty や ServiceNow、 Microsoft Teams といったプラットフォームと のサードパーティアラート統合に対応する形で 拡張 また各種アラートは、ロールベースのアクセス制 御機能を使って簡単に管理可能 • Kibana 7.11ブログ記事およびElasticsearch 7.11ブログ記事
Alerting Elastic Stack における Alerting • Kibana をアクション可能にするコア • 重要なサードパーティプラットフォーム と統合 • ...どのように動作するかを Elastic に任せる • OODA Loop
Alerting 強化 GA に伴うプロダクトサポート✅ グループ化されたアラートの種類✅ 「発⽣」と「回復」アラートロジック✅ Microsoft Teams コネクタ✅ OODA Loop
Alerting アラートの作成 アクション: インデックスとログ記録 アクション: 電⼦メール, WebHook, Jira, Microsoft Teams, Page duty, Slack アクション: IBM Resilient, ServiceNow® ITSM 2 Elastic License OODA Loop BASIC Free and Open2 GOLD PLATINUM ENTERPRISE ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅ ✅
匿名アクセス
匿名アクセス なぜこれが重要なのか • コラボレーションの柔軟性が向上 • これ以上複雑なリバースプロキシ なし • RBAC を使⽤した完全な制御 STANDARD | GA OODA Loop
匿名アクセス なぜこれが重要なのか • 待望の顧客要求に応える • コンプライアンスと規制ニーズを持 つ 組織をサポート GOLD | GA OODA Loop
ドリルダウン
ドリルダウン 強化 • ダッシュボードのドリルダウン = GA • レンズテーブルの URL ドリルダウン • コンテキストメニューの URL ドリル ダウン OODA Loop
ドリルダウン Kibana のドリルダウン • ワークフローを合理化する • ダッシュボードを意思決定に基づい て⾏動する場所にする • 他の重要なプラットフォームへの 直接フックを可能にする OODA Loop
ドリルダウン OODA Loop BASIC GOLD PLATINUM ENTERPRISE ✅ ✅ ✅ ✅ ✅ ✅ ✅ Free and Open2 ダッシュボードのドリルダウン URL ドリルダウン 2 Elastic License
Maps
Maps 強化 • • • • Elastic Map Server Geo Alert : 封じ込め トラックレイヤー パーセンタイルによるレイヤースタイ リング OODA Loop
Maps: Elastic Maps Server なぜこれが重要なのか • エアギャップ環境 • 連邦/公共部⾨ • 最も要求された機能 ENTERPRISE | BETA OODA Loop
Maps: Geo alerts なぜこれが重要なのか • 資産の追跡/管理 • 新しいアラートタイプ: 封じ込め • ベータ⚠ • GOLD | BETA OODA Loop
Maps: Tracks layer なぜこれが重要なのか • ルートとパスを視覚化する • 時系列位置データ(GPS、 センサーなど) • GOLD | GA OODA Loop
Maps: Style layer by percentile なぜこれが重要なのか 簡単な視覚分析 地理空間解析でデータ分布を表⽰ する柔軟性 STANDARD | GA OODA Loop
Lens 強化 カラーパレット グラフのラベルをカスタマイズする ドラッグで、データ テーブル、円グラフ、 および TRE マップのフィールドの順序 を変更する CSV エクスポート STANDARD | GA OODA Loop
Lens Kibana Lens • パワー、柔軟性、使いやすさから、 Kibana 内のデフォルトの視覚化 ツール • ユースケースには関係なく、データ アナリストに好評 STANDARD | GA OODA Loop
Tags 強化 • タグを作成し保存したオブジェクト に割り当てる • タグを⼀元管理 • タグを⼀括で割り当て、削除する • Kibana ナビゲーション検索でタグ を使⽤する STANDARD | GA OODA Loop
Tags タグ付けは.. • Kibana でコンテンツを整理する ための素晴らしい機能 • 数百、数千の資産を持つお客様 にとって重要 • Kibana の検索と観測可能性の ⼒を拡張 • STANDARD | GA OODA Loop
Machine Learning 7.11
Machine Learning: 7.11 の新機能 強化 • スペース対応 ML Job • 新しい変換タイプ: 最新 • データ フレーム分析 UI マップ ビュー • データビジュアライザーの新しい レイアウトデザイン OODA Loop
Machine Learning: スペースあたりの ML ジョブの管理 なぜこれが重要なのか • • • ML ジョブは 1 つ以上のスペース に追加できる 異常検出とデータフレーム分析 ジョブ 注意: カレンダー、フィルタルール、 推論モデルは、すべてのスペースに 表⽰される • PLATINUM | GA OODA Loop
Machine Learning: 変換タイプ - 最新 なぜこれが重要なのか • 最新のイベント (最終購⼊、最終 トランザクションなど) を追跡する 場合に必要 • 最新のドキュメントを新しいコピー 先のインデックスにコピーできる • 最新の状態を記録する • 例: 前回エージェントが報告し た⽇時、最後のログイン、 最新のアクション PLATINUM |•GA OODA Loop
Machine Learning: データフレーム分析 UI マップ ビュー なぜこれが重要なのか • ジョブ、インデックス変換、モデルの 接続ビューを提供 • データ フレーム ジョブ パイプライン の表⽰に役⽴ちます。 • 依存関係を⼿動で追跡する必要 があるお客様の負担を軽減 PLATINUM | GA OODA Loop
Machine Learning: データ ビジュアライザー テーブル ビュー なぜこれが重要なのか • インデックスを視覚化して、より多く の結果を表⽰し、ナビゲートしやす くする • ML ジョブを作成する前にフィール ドとインデックスを確認する • 詳細を掘り下げる • STANDARD | EXPERIMENTAL OODA Loop
Searchable Snapshots
Searchable Snapshots - Now GA in 7.11 オブジェクトストアを最⼤限活⽤する S3 およびその他のオブジェクト・ストアの 使⽤法を変換する • 3 つのクラウド プロバイダーすべて • オンプレミス ● ECK と ECE ● 複数のオブジェクト ストア(MinIO,など) • • スナップショットをより効果的に活⽤ • 無制限のデータ量を検索する • 新しい Cold Tier、Frozen Tier に パワーを与える • ENTERPRISE | GA OODA Loop
Cold Tier - Now GA and in Elastic Cloud ENTERPRISE | GA OODA Loop
Cold Tier vs AWS UltraWarm ⼤きなトレードオフ Cold Tier 移植性 ✔ ● ● ● ● クエリ実⾏可能性 ✔ ● ● ● サポート ✔ ● ● AWS UltraWarm All three cloud providers On-premises ECK and ECE Multiple object stores (MinIO, etc.) ✘ Async search Kibana streaming results Cold Tier optimizations ✘ Makers of Elasticsearch Large number of Cold Tier improvements after AWS fork ✘ ● ● ● ● ● ● Only available on AWS ES Not part of OpenDistro Timeouts Infrastructure not in place to manage long running queries To be determined… High risk, no relationship with Elastic OODA Loop
geo_line Aggregation
geo_line Aggregation geo_points + timestamp = geo_line なぜこれが重要なのか ● ● ● ● ● ● ⼀連の場所からパスへ 資産追跡を頻繁に要求する 有料ライセンス geo 機能 geo_points セットの集計 GeoJSON ラインストリング内 フィールドによるソート (timestamp 等) GOLD | GA OODA Loop
Audit security configuration changes
セキュリティ構成の変更を監査する • ユーザーは、すべての呼び出しに対して要求本⽂をキャプ チャせずに、⾼レベルのセキュリティ イベントを監査できる • 各エントリは、関連する詳細を識別し、さらに分析を実⾏ するために使⽤できる構造化データとして使⽤できるように する rest Transport event type ... new security_config_change ● ● ● ● ユーザーの作成と削除 パスワードの変更 ロールとロール マッピングの作成と削除 API キーの作成と無効化
Event Query Language
Event Query Language (EQL) GA Release! ● ● ● ● ● ':' 演算⼦のワイルドカードサポート ':' 演算⼦のリスト宣⾔ ベンチマークおよびテストカバレッジの向上 その他のクエリの最適化 検出エンジンで EQL ルールをテストする STANDARD | GA OODA Loop
Elastic Enterprise Search
Web クローラーが新登場 • ユーザーは パワフルな Web クローラーを使って コンテンツをインジェストすることも可能に • Web クローラーはパブリックにアクセス可能な Web サイト情報を取得し、コンテンツを、 使 われている App Search エンジンで⼿軽に検 索可能に • App Search の他のインジェスト⽅法と同様、 スキーマの推論はインジェスト時に実⾏ • 1クリックでほぼリアルタイムにアップデート できる • ユーザーはコードを書かずにクリックだけで Web クローラーをカスタマイズ • 除外するページやコンテンツ、語句などの ルールを Web クローラーに指⽰ • エントリーポイントを指定可能 Elastic App Searchに新しいWebクローラーが登場
Box に保存したコンテンツ検索のサポートを拡充 • • • • Workplace Search の コンテンツソースとして Box のサポートを開始 事前構築済みのコネク ターにはドキュメントレベル の権限機能が搭載 適切なユーザーに適切な コンテンツを表⽰ Google Drive や Dropbox に Box が コンテンツソースサポート 対象に追加
Jira Cloud と Confluence Cloud 向けに きめ細やかなアクセス制御の提供を開始 • Elastic Workplace Search は、Atlassianの Jira Cloudと Confluence Cloud でドキュメントレベルの権限サポートを開始 • Elastic Workplace Search から権限を引き継ぎ、同じものを前出の ソースアプリケーションに設定できる エンタープライズサーチ7.11リリースブログ
Elastic Observability
Elastic APM の新しいサービスヘルスビュー • 最新のクラウドネイティブなアプリケーション は、典型的には数百のマイクロサービスの 上に成り⽴つ • したがってインシデント調査のワークフロー には、個々のサービスのパフォーマンスとヘ ルスをピンポイントで速やかに特定する能 ⼒が不可⽋ • 今回登場した“サービス概要ページ”は、 サービスのヘルスに関するすべての情報を ⼀元的に要約して表⽰ • これにより、開発者や SREs はパフォーマ ンスの問題のトラブルシューティングをより ⼿軽に実⾏することが可能になる Elasticオブザーバビリティ7.11ブログ記事
Elastic Metrics の新しいホスト詳細ビュー • • • Elastic Metrics アプリのリソース ヒートマップは、インフラストラクチャー 内のトラブルを発⾒し、後続の調査 ステップを絞り込む上で役⽴つ Metrics UI の新しいビューを使うと、 ⾼次のビューから簡単に移動して、 個々のホストで何が起きているか調 査することができる ヒートマップのタイルをクリックするとポッ プアップウインドウが開き、主要なホス トのメトリック、ホストで⽣成されたロ グ、ホストで実⾏中のプロセス、ホス トのメタデータの時系列チャートなど、 主要な情報を確認できる Elasticオブザーバビリティ7.11ブログ記事
Elastic Common Schema（ECS）の 新しいロギングライブラリ • アプリケーションのトラブルシューティングのワークフ ローには、アプリケーションのログとトレースを相関 付け、コンテクストを失うことなく画⾯を移動でき る操作性が不可⽋ • APMエージェントが捉えたトレースコンテクストが アプリケーションログに⾃動で挿⼊され、ログから スムーズな分析に必要な相関関係をトレースす ることができる • ECS のロギングライブラリには、log4j をはじめと する⼈気のロギングフレームワーク向けプラグイン • 開発者はこれを使って、ネイティブなワークフロー を変更することなく、ECS 準拠の JSON 形式 でアプリケーションログを書き出すことができる • ECS ロガーは APM エージェントが捕捉した関 連するトレースコンテクストを⾃動でログに書き込 む • 開発者は特別な作業を⾏うことなく、“オブザーブ 可能な”アプリケーションを開発することが可能 Elasticオブザーバビリティ7.11ブログ記事
Elastic Security
加速されたアラート管理ワークフロー • MITER ATT＆CK®サブテクニカルコンテキスト • ルールアクションの拡張セット Elastic セキュリティ7.11リリースブログ
しきい値ルールと ML ルールのルール例外 • ユーザーは、ML ルールとしきい値 ルールの例外を作成可能に • 統⼀されたルール管理エクスペリ エンスをサポート • 基になる ML ジョブを変更せずに ML ルールの例外条件を作成可 能に Elastic セキュリティ7.11リリースブログ
7.11 で刷新された Timeline ワークスペース • タイムラインワークスペースの更新 • タブ付きタイムライン情報 • タイムラインの切り替えと更新 • 全画⾯表⽰ Elastic セキュリティ7.11リリースブログ
ElasticON Enterprise Search Japan (4/14) https://www.elastic.co/elasticon/enterprise-search/japan
Elastic Cloud Roundup
Elastic Cloud アップデート • • • S3 などのオブジェクトストアに 検索可能スナップショットを⼊れ て使える Cold ティアが新登場 データの⾃動スケールと機械学 習ノードを活⽤したクラウドのス ケールと運⽤合理化 リージョンとクラウドプロバイダー を横断してデータを複製、検索 Elastic Cloud 7.11の最新情報ブログ
アプリケーション開発 オンデマンド ウェビナー特集 • • • Elastic の Search API を Visual Studio Code でコーディングする (1) - (3) Elastic Cloud で Azure Kubernetes Serviecs の様々な Log/Metrics/APM を 可視化する ASP.NET Core 3.x Web アプリのログを Elastic Cloud で収集・分析してみよう︕ https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx
Elastic Webinar (3/3) https://www.elastic.co/jp/webinars/moving-from-on-prem-to-managed-services-with-elastic-on-azure-live
Cloud Native Days 2021 (3/11-) https://event.cloudnativedays.jp/cndo2021/talks/921
ElasticON Enterprise Search Japan (4/14) https://www.elastic.co/elasticon/enterprise-search/japan
Elastic 7.11 新機能 ソリューション/プロダクト別ブログ記事 • Elastic Stack ‒ ‒ • Elasticのソリューション ‒ ‒ ‒ • Elasticsearch 7.11.0リリース（ブログ記事） Kibana 7.11.0リリース（ブログ記事） Elasticエンタープライズサーチ7.11.0リリース（ブログ記事） Elasticオブザーバビリティ7.11.0リリース（ブログ記事） Elasticセキュリティ7.11.0リリース（ブログ記事） Elastic Cloud ‒ ‒ Elastic Cloud 7.11.0の最新情報（ブログ記事） Elastic Cloudの無料トライアルを開始
- https://www.elastic.co/jp/blog/whats-new-elasticsearch-7-11-0-schema-on-read-is-here
- https://www.elastic.co/jp/blog/whats-new-kibana-7-11-0-alerting-generally-available
- https://www.elastic.co/jp/blog/whats-new-elastic-enterprise-search-7-11-0-web-crawler-box-content-source
- https://www.elastic.co/jp/blog/whats-new-elastic-observability-7-11-0-apm-service-overview-page-ecs-logging-library-ga
- https://www.elastic.co/jp/blog/whats-new-elastic-security-7-11-0-cloud-host-detections-accessible-UI
- https://www.elastic.co/jp/blog/whats-new-cloud-autoscaling-cross-cluster-search-data-tiers
- https://cloud.elastic.co/registration?elektra=whats-new-elastic-7-11-blog
Thank You for your attention! elastic.co