Utilizing elasticcloudforallusecases
>100 Views
January 20, 21
スライド概要
あらゆるユースケースにElastic Cloudを最大活用
2021.1.20 Webinar
https://www.elastic.co/jp/webinars/get-the-most-out-of-elastic-cloud-for-all-use-cases
ヴイエムウェア株式会社 ソリューションアーキテクト本部 プリンシパルエンタープライズアーキテクト。 Microsoft で13年間、テクニカルエバンジェリストとして .NET、Visual Studio、Windows、iOS、Android、Microsoft Azure 等の開発者向け最新技術啓発活動を実施。その後、Dell、Accenture、Elastic で開発者向け技術啓発活動等を経て現職。 モダンアプリケーション開発、マルチクラウド対応、アーキテクチャ策定等を中心に、技術者向けに最新技術の啓発活動を実施中。 2019年4月〜2021年8月迄、内閣官房 IT 総合戦略室 政府 CIO 補佐官を兼務、2021年9月〜2024年3月迄、デジタル庁 PjM ユニット ソリューションアーキテクトを兼務。
関連スライド
各ページのテキスト
あらゆるユースケースに Elastic Cloud を最⼤活⽤ Search. Observe. Protect. 鈴⽊ 章太郎 Elastic テクニカルプロダクトマーケティングマネージャー/エバンジェリスト 内閣官房 IT 総合戦略室 政府 CIO 補佐官
Shotaro Suzuki Twitter : @shosuz Elastic Technical Product Marketing Manager/Evangelist 内閣官房 IT 総合戦略室 政府 CIO 補佐官 元 Microsoft Technical Evangelist
Elastic is a search company.
40以上の国に従業員がいます。 ニューヨーク証券取引所に上場して います。
3 Solutions, 1 Stack, Deploy Anywhere 3 つのソリューション Elastic エンタープライズサーチ Elastic オブザーバビリティ Elastic セキュリティ Kibana Elastic スタックで実現 Elasticsearch Beats 豊富なデプロイ選択肢 Logstash Elastic Cloud Elastic Cloud Enterprise SaaS (AWS/Azure/GCP) IaaS (クラウド & オンプレ） Elastic Cloud on Kubernetes Kubernetes (クラウド & オンプレ）
Elastic Cloud デプロイ https://www.elastic.co/jp/
Elastic Cloud on Azure デプロイ https://portal.azure.com
Kibana 起動時の認証情報をダウンロード (.csv)
Elastic Cloud on Azure デプロイ https://www.elastic.co/jp /
EC サイトを例にとって
Elastic Enterprise Search Workplace Search App Search Site Search
Elastic Enterprise Search すべてを、どこでも、検索 最も関連性の⾼いサービスを提供する 検索結果, どこでも 検索を市場に迅速に提供 強⼒かつシンプルなカスタマイズ 簡単にスケール ⾼騰するコストを抑えることができる
Recommendation engine 例︓⿊いシャツが好きなドイツ⼈が好きなのは..? データ e コマース製品、楽曲、ビデオなどの、リコメンドに使⽤できる データとその使⽤法 ユースケース 当該プラットフォームのユーザーに他のユーザーにとって興味 深いものを表⽰する 何が可能か? ● ● ● ● 他の⼈も買った 他の⼈も検索した あなたも好きかも? etc.
なぜ Elasticsearch なのか︖ 企業では主にリレーショナルデータベースを使⽤してデータを格納 • • • • テーブルを簡単に結合し、必要なデータベースからこのデータを取得できる しかし、時間の経過とともに、データベースとテーブルが肥⼤化して、数百万のデータセットを含む⼤規模なデータ ベースになると、操作を実⾏できなくなる ⼀⽅、Elasticsearch は、数百万のドキュメントを数秒で簡単に検索できる Elasticsearch は、柔軟で強⼒なオープンソースの分散型リアルタイム検索 および分析エンジン • • • • Elasticsearch はドキュメントベースのデータベースでデータを JSON 形式で保存 Elasticsearch は、アプリケーションの強⼒な検索ツールとして使⽤できる インデックス、ドキュメント、フィールド等を作成し、データを Elasticsearch にプッシュで、検索の準備が整う Elasticsearch の2つのユニークで重要な機能 • • • ⽔平スケール ⾼可⽤性
CQRS (コマンドクエリー責任分離）との関係 • • https://docs.microsoft.com/ja-jp/azure/architecture/patterns/cqrs
事例︓三井住友 DS アセットマネジメント株式会社 アナリストが利⽤する資産運⽤での⾼速情報検索に向け Elasticsearch を導⼊。 35種類のデータソースを Elasticsearch に集約し、圧倒的な検索パフォーマンスで業務を⽀援 https://www.elastic.co/jp/customers/smd-am
乗り物を 検索する
膨⼤なデータ処理とリアルタイム性を要求 される配⾞マッチング検索で Elastic を活⽤ 1秒あたりのデータ投⼊件数︓ 1⽇あたりのデータ投⼊量︓ 1秒あたりのドキュメントスキャン︓ データサイズ︓ 1PB クラスターサイズ︓ インジェスションパイプライン︓ 85万から130万メッセージ 12TB 1億から40億のドキュメント数 700台の Elasticsearch 100 + Data パイプラインジョブ 2018年4⽉の Qcon での Uber 様 講演より https://www.infoq.com/presentations/uber-elasticsearch-clusters/
Demo
“ 以前は、クエリごとに平均 200 ミリ秒を使⽤していました。 Elasticsearch では、同じデータと機能的に同等のクエリに対して 少なくとも 10 倍の速さでクエリが応答し、1 ⽇に 100 万回以上 の更新がデータベースに追加されるようになりました。 ” ELASTIC ENTERPRISE SEARCH
このソリューションの詳細 https://ela.st/cloud-search 05. Nov. 2020
(参考) Hipster Shop DEMO EC site • • • • • クラウドネイティブのテクノロジー アーキテクチャ上に構築 Go、C#、Java、Node.js、 Python 等、様々なプログラミング ⾔語で構築された10層のマイクロ サービスアーキテクチャを使⽤ メモリ内データキャッシュに Redis を使⽤ Google クラウド プラットフォーム (GCP) の Kubernetes ベースの コンテナープラットフォーム (GKE) で実⾏ gRPC 使⽤ https://github.com/GoogleCloudPlatform/microservices-demo
マイクロサービスアーキテクチャの採⽤はメリットも多いが、 同時に問題発⽣時の根本的な原因を⾒つけるのが難しくなる
Elastic は可視化を容易にする !
Elastic Observability Logs Metrics APM Uptime
ELASTIC OBSERVABILITY エコシステム全体で 統⼀された可視性 ログ、メトリック、トレースを 1 つのスタック にまとめると、イベントを監視、検出、お よび処理できます。
Demo
“ Azure で Elasticsearch サービスを選択した理由は、 すべてのログとメトリックを 1 つの統合 UI で利⽤できるようにし、ほとんどのテ クノロジに対して、使⽤できるサポートが必要でした。 Elastic を使⽤して、1 週間以内にデータ漏洩を解消することができました。 弾性がなければ、それはもっと悪かったかもしれません。 ” ELASTIC OBSERVABILITY
このソリューションの詳細 https://ela.st/cloud-observability 22. Oct. 2020
Elastic Security Endpoint SIEM
Elastic Security Vision 世界中のデータを攻撃から守るために Goal 業界をリードする保護と検証済みの保護を提供し、 あらゆるユーザーのリスクを軽減する、 SIEMとエンドポイントを組み合わせた 単⼀のセキュリティソリューションを提供します。 37
ELASTIC SECURITY セキュリティをどのように して確保するか︖ ︓Open Elastic Security は、エンドポイントセ キュリティと SIEM を統合して、インフラス トラクチャ全体での保護を⼀元化するた めの予防、収集、検出、および応答機 能を提供します。
Demo
“ 弾性スタックは、当社の情報システムと⾮常によく統合されています。 スタックは、ログファイルを回収し、セキュリティプラットフォーム上で リアルタイムの可視性を得るだけでなく、 SOC内で脅威ハンティング活動を⾏うことを可能にしました。 ” ELASTIC SECURITY
このソリューションの詳細 https://ela.st/cloud-security 29. Oct. 2020
3 Solutions, 1 Stack, Deploy Anywhere 3 つのソリューション Elastic エンタープライズサーチ Elastic オブザーバビリティ Elastic セキュリティ Kibana Elastic スタックで実現 Elasticsearch Beats 豊富なデプロイ選択肢 Logstash Elastic Cloud Elastic Cloud Enterprise SaaS (AWS/Azure/GCP) IaaS (クラウド & オンプレ） Elastic Cloud on Kubernetes Kubernetes (クラウド & オンプレ）
ソフトウェアスタックを統合する 1つのソリューションでベストオブブリード︕ Alarmierung Log Monitorin g Machine Learning search Infrastructure Reporting Monitoring Recommendation SLA engine Monitoring Database Fraud detectionUser-Behaviour Data analytics exchange Geo analysis Security Presentations Application Performance Monitoring (APM) Application
1つのツール→すべてのデータと情報を関連付けます Application Application Application
Elastic Stack を使⽤すると、 これまでよりはるかに多くのことができます
物流・輸送
物流・輸送⽤途 列⾞センサーデータに基づく 予測メンテナンス 地理空間解析に⼒を与える Elastic Map
製造
製造のユースケース 分散データ収集 集中観測 ショップフロアの可視化、状態監視、⽣産 問題の検出など
コネクテッドカーのユースケース
事例︓株式会社リコー すべてのログを Elastic Stack 上に集約。35 ノードで1 ⽇２TB のログを監視 「リコーグループ全システムの IT デバイスで発⽣する1 ⽇2 テラバイトにおよぶログが、すべて Elastic Stack に送り込まれます。これを35ノード、約400テラバ イトのクラスターで処理します。インデックス数は約10,000 でサイズは約250 テラバイト。ドキュメント数は3,450 億にも及びますが、これは昨年12 ⽉の話で、 現在はさらに増えている状況です」と話す。Elastic Stack の製品については、Elasticsearch、Logstash、Kibana、Filebeat、Packetbeat、 Winlogbeat、Monitoring、Alerting 等が使⽤されており、特に⾒える化でキーとなる Kibana については、セキュリティ統括部のオフィス室内で、⼤型 モニターに常時チャートが表⽰され、担当者がシステムの状況をリアルタイムかつ直感的に把握できるようになっている。 https://www.elastic.co/jp/customers/ricoh
- https://www.elastic.co/jp/products/elasticsearch
- https://www.elastic.co/products/logstash
- https://www.elastic.co/jp/products/kibana
- https://www.elastic.co/jp/products/beats/filebeat
- https://www.elastic.co/jp/products/beats/packetbeat
- https://www.elastic.co/jp/products/beats/winlogbeat
- https://www.elastic.co/jp/products/stack/monitoring
- https://www.elastic.co/jp/products/stack/alerting
- https://www.elastic.co/jp/customers/ricoh
事例︓ブローダービズ株式会社 機械学習を駆使して時系列の映像データを解析。⾷品製造⼯場での作業を"⾒守り"、 異常⾏動発⽣をリアルタイムに検知してトラブルを回避 ⾷品偽装防⽌と働き⽅改⾰ 課題 •⻑時間にわたる⼯場作業を、管理者の⽬のみによって監視し続 けることは容易ではない •担当者は、制服、帽⼦、マスクを着⽤しているため、⾒た⽬だけ では個⼈の特定が困難 •定量化された数値などによって状況を把握・記録することができ ず、過去と照らし合わせることも困難 •録画されたビデオ映像は、問題が発⽣した後の証跡として利⽤ できるが、瞬時の対応には不向き Solution ⼈⼿による作業を、AI を駆使したシステムによって“⾒守り”、担 当者の姿勢やある時間内での⾏動を、数値化された統計値との ⽐較し、通常の⾏動を逸脱した異常事態の発⽣を瞬時に判断 することで、トラブルの拡⼤を未然に防ぐという仕組みの実現。 NEDO（国⽴研究開発法⼈新エネルギー・産業技術総合開 発機構）の共同開発⽀援事業として認められた。 https://www.elastic.co/jp/customers/broaderbiz
事例︓古野電気株式会社 船舶運航の安全・安⼼・効率化を⽀えるサービスを提供 データ・分析結果を得るまでの平均時間（MTTR）の短縮率 94％ 差別化されたカスタマーエクスペリエンス 古野電気は、同社の Elastic オブザーバビリティソリューショ ンの⼀部として Kibana と Elastic Maps を採⽤したこと で、船上でのデータ使⽤に関するデータ・分析結果をより多 く得られるようになっています。それらのデータ・分析結果は、 お客様の船舶と陸上の接続コストとパフォーマンスの改善に 役⽴ちます。 コストパフォーマンスに優れたプロアクティブなサービスを提 供 今後発⽣しそうな機器の障害、予兆を検知し、予防保守 を⾏う必要があれば、修理内容を特定し、部品を迅速に⼿ 配することで費⽤を抑えながら効果的な対応をご⽀援しま す。 安全で効率的な航⾏を実現 古野電気は、Elastic Cloud の Elasticsearch Service を活⽤することで、ライフサイクルソリューションを効 果的に多くのお客様へ展開することができます。また、お客 様のニーズにより最適なサービスプランをパッケージ化し販売 することで、安全で効率的な航⾏へ貢献します。 https://www.elastic.co/jp/customers/furuno
⾦融サービス
事例︓ソフトバンク・ペイメント・サービス株式会社 オンライン決済サービスの監視を⽀える Elastic Stack ECサイト向けに様々な決済⼿段を提供 / 加盟店に決済画⾯は決済APIを提供するシステム(年間取引額２兆円、２億件以上のトランザクション） オンライン決済サービスの状況をほぼリアルタイムで可視化 • ダッシュボードで、成功した決済はグリーン、失敗したものはレッド、決済⼿段ごと に OK/NG の⽐率の推移を俯瞰。「1. グリーンが急激に少なくなったら要注意。2. レッ ドが急激に多くなったら要注意。」 • 誰でも、いつでも、どこでも、簡単に、サービスの状況を把握 • 障害以外でも、爆売れ、不正利⽤といった、加盟店の変化に気がつく • エンジニアの決済トランザクションへの関⼼が⾼まる Machine Learning で決済トランザクションの異常を検知 • 決済トランザクションの合計の⽇次の増減を3周期で学習し、それが予測した範囲 から⼤きく外れれば、異常として検出 • 可視化だけでは埋蔵してしまう変化を ML にて新たに発⾒ 可視化をビジネスデータにまで広げる • 2年分の売上推移を部署別・案件別に表現。ヒートマップで営業部⾨や個⼈の⽬標 達成率を表現。年間の加盟店契約の獲得状況を都道府県マップに表⽰ • サービスサイト閲覧状況を、アクセス元の IP アドレスから企業名を推定し、契約 済み企業からのアクセス、未契約企業からのアクセスランキングを作成 • ⾮エンジニアでもデータ投⼊からダッシュボードの作成までできる https://www.elastic.co/jp/customers/softbank-payment-service
事例︓スイス・ライフ Elasticsearch が⽣み出す360°の顧客管理 Elasticsearch で1000万⼈の顧客データのインデックス作成から分析、パブリッシュまでリアルタイムに実⾏ スイス・ライフにおける課題 スイス・ライフは保険や資産管理サービスを⼿掛ける⼤⼿企業で、フランスでは個⼈向け保険商品を主⼒に⾼いシェアを持つ スイス・ライフ・フランスの1000万⼈の顧客情報に対し、さまざまなフォーマットや、さまざまなタイプのユーザアクセスにより、データへの均質なアクセスを 維持することが難しくなり、情報が「サイロ化」していた Elasticsearchによる解決 スムーズな運⽤と、情報への均質なアクセスを実現させるため、スイス・ライフ・フランスは Elasticsearch で顧客データのインデックスとパブリッシュを⾏った あらゆる顧客の窓⼝となる Web サイトとモバイルアプリケーションにデータを提供するため、まず Elasticsearch ですべての顧客データを1か所に集約 顧客記録、契約データ、マーケット分類データ、年⾦と保険スコアのすべての情報を横断してリアルタイムにクエリ。 すべての顧客がポータルサイトにアクセスでき、顧客情報と契約情報をすばやく取得できる機能を提供。また、情報が更新された場合、ソースシステムで 10秒以内にインデックスを作成。 “スピードと信頼性は不可⽋です。Elasticsearch がデータをリアルタイムにインデックスするようになり、すべてが進 化しました。" – クリスチャン・ファン・チョン, スイス・ライフ・フランス、チーフエンタープライズアーキテクト https://www.elastic.co/jp/customers/swiss-life
事例︓PSCU（⽶国有数の信⽤組合サービス組織） Elastic は信⽤組合に対する数百万ドル相当の不正⾏為被害を防⽌することでリスク回避を実現 Elastic 製システムをデプロイしてからわずか18か⽉間で、3,500万ドルもの不正⾏為を阻⽌ PSCU における課題 PSCUは、⽶国有数の信⽤組合サービス組織で1,500の信⽤組合にサービスを提供し、年間38億件もの取引を扱う。 会員に対して⽀払い処理、リスク管理、データ分析、オンラインバンキング、モバイルプラットフォームなどさまざまな⾦融サービスを提供 年⽉が経つにつれデータベースが巨⼤化しデータ⼊⼒が困難になり、前⽇のデータを読み込むのに丸1⽇かかる状態で適切なタイミングで不正検知 ができていなかった。 Elasticsearch による解決 会員のオンラインログイン、IP アドレス、住所、サポートセンターへの問い合わせ履歴など、数多くのデータソースを Elasticsearch に集約しログを可視化 当初は内部の不正⾏為検知が⽬的であったが問題なく稼働したため、さらに全⽶1500の信⽤組合の外部からの不正⾏為を阻⽌できるよう、幅広い⾦ 融関連データソースからのログを追加 機械学習を使⽤した不正検知を導⼊し導⼊後18ヶ⽉で3,500万ドルもの不正⾏為を阻⽌ 単なる不正検知にとどまらず、災害発⽣時の地域で検知された平時と異なる⾏動（⾼価な発電機、⼤量の⽸詰などを突然購⼊するなど）をブロックしな い機能なども追加 "Elastic Stackを構築したことで、不正⾏為を従来よりもはるかに簡単に検知できるようになりました。Elasticプラットフォームに⼊⼒ するデータベースを⼤幅に増やしたことで、従来は決して気付かなかったデータの特徴をとらえられるようになりました。現在では、発⽣中 の不正⾏為を検知できるだけでなく、発⽣前にそれを検知できるようになりました。" – ジョナソン・ロビンソン氏, PSCU、不正インテリジェンス部門マネージャー https://www.elastic.co/jp/customers/pscu
不正検出 データ 詐欺の可能性に関する情報を保持する、構造化データまたは ⾮構造化データ ユースケース 複数のリスク指標を検出して組み合わせることで、データ内の 詐欺の可能性を検出 何が可能か? ● ● ● ● 起こりうる詐欺のデータを分析し、MLモデルやその他の⼿法 を使⽤してリスク指標を作成する 指標とその理由を視覚化する パターンのプログラムによる観察 etc.
ほぼリアルタイムの市場分析 異なるシステムを通じた注⽂の追跡 テクニカルチャート分析
通信・メディア
電話会社のユースケース Machine Learning による 無線回線モニタリング Vendor impacted S1 Handover presence ベンダーが S1 ハンドオーバープレゼンスに 与える影響
事例︓⽇本経済新聞社 ⽇経電⼦版の記事検索およびログ解析の両⽅を1つの仕組みで実現 利⽤範囲の広さで Elasticsearch を採⽤ Elasticsearch を選定したのは、記事検索とログの可視化の両⽅に 使える利⽤範囲の広さが最⼤の理由 15台のクラスタ構成で、1秒あたり9000リクエスト以上という⾼い 性能を発揮 記事検索とログ解析に Elasticsearch を活⽤ ⽇経電⼦版の記事は、5年分で約200万件、データサイズは5GB。記事の更新は、1⽇あたり数千回、ピーク時には1分間に300件程度の記事が更 新。検索における利⽤者からのアクセスは、1秒あたり100回程度だが、1秒あたり数千回のアクセスも想定 ログ解析で Elasticsearch を利⽤した最⼤のメリットは、専⾨的な深い知識がなくてもログ解析が可能になること。Elasticsearch と Kibana を利⽤ したログ解析により、たとえば、記事検索のレスポンスにどれくらいの時間がかかっているかを容易に解析でき、アプリケーションのどこにボトルネックがあるのか、 改善するべき機能はどこなのかを迅速に把握できる “Elasticsearch と Kibana を活⽤することで、エンジニア秘伝の“タレ（ shell 芸）”を使って可視化していたログ解析を URL や、画 像で即座に社内共有できるようになりました。これまではログ解析ができるエンジニアが2⼈しかいなかったのですが、Elasticsearch と Kibana を利⽤することで、秘伝のタレが不要になり、ログ解析ができるエンジニアを6⼈以上に増やすことができましたようになりました。" – 日本経済新聞社 デジタル編成局 編成部 梅崎裕利氏 https://www.elastic.co/jp/customers/nikkei
私たちはユーザーのために多くのことを⾏います. deep dive セッションを⾒る Observability int the cloud Security int the cloud Search Engine in the Enterprise 基本トレーニング 今度はあなたの番です! 2020.10.22 2020.10.29 2020.11.5 無料のトレーニングをぜひご覧ください https://www.elastic.co/training/free https://cloud.elastic.co/ 詳細が必要ですか? Elastic に相談する 特別トレーニング 新しいクラウド クラスターを開始する LOGGING METRICS APM ADVANCED SEARCH SECURITY ANALYTICS DATA SCIENCE
今度はあなたの番です! 私たちはユーザーのために多くのことを⾏います. deep dive セッションを⾒る Observability int the cloud Security int the cloud Search Engine in the Enterprise 2020.10.22 2020.10.29 2020.11.5 無料のトレーニングをぜひご覧ください https://www.elastic.co/training/free 新しいクラウド クラスターを開始する https://cloud.elastic.co/ 詳細が必要ですか? Elastic に相談する Questions?
Elastic x CircleCI で始める DevOps ⼊⾨ https://www.elastic.co/jp/webinars/getting-started-with-devops-with-elastic-x-circleci
Elastic Learn, Build, and Scale with Elastic - Elastic Cloud で快適なアプリ開発を実現しよう︕ https://event.shoeisha.jp/devsumi/20210218/session/3062/
アプリケーション開発 オンデマンド ウェビナー特集 • • • Elastic の Search API を Visual Studio Code でコーディングする (1) - (3) Elastic Cloud で Azure Kubernetes Serviecs の様々な Log/Metrics/APM を 可視化する ASP.NET Core 3.x Web アプリのログを Elastic Cloud で収集・分析してみよう︕ https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx
Thank you for your attention! Elastic is a Search Company. www.elastic.co
Questions?