Elastichelps fintechenablesdx usingaibasedautomationand anomalydetection
>100 Views
December 15, 20
スライド概要
https://millvi-cs.com/fit-live/02_elasticsearch7812.html
ヴイエムウェア株式会社 ソリューションアーキテクト本部 プリンシパルエンタープライズアーキテクト。 Microsoft で13年間、テクニカルエバンジェリストとして .NET、Visual Studio、Windows、iOS、Android、Microsoft Azure 等の開発者向け最新技術啓発活動を実施。その後、Dell、Accenture、Elastic で開発者向け技術啓発活動等を経て現職。 モダンアプリケーション開発、マルチクラウド対応、アーキテクチャ策定等を中心に、技術者向けに最新技術の啓発活動を実施中。 2019年4月〜2021年8月迄、内閣官房 IT 総合戦略室 政府 CIO 補佐官を兼務、2021年9月〜2024年3月迄、デジタル庁 PjM ユニット ソリューションアーキテクトを兼務。
関連スライド
各ページのテキスト
第8回 FIT ウェビナー 【AI で業務分析から不正検知まで】 ⾦融サービスのデジタル化における Elastic の活⽤例 Shotaro Suzuki Technical Product Marketing Manager/Evangelist, Japan 1
⾃⼰紹介 鈴⽊ 章太郎 Technical Product Marketing Manager/Evangelist Elastic 2003年マイクロソフト⼊社。公共営業部⾨担当アーキテクト として .NET の技術啓発活動に従事。 2006年開発者向けマーケティング部⾨に異動、テクニカル エバンジェリストとして iOS/Android や Microsoft Azure の開発者向け技術啓発活動を10年にわたり担当。 ⽇本マイクロソフト退社後は、Dell、Accenture 等を経て、 2020年6⽉からは Elastic で開発者向け技術啓発活動に 携わる。 内閣官房 IT 総合戦略室 政府 CIO 補佐官。
⽇本のキャッシュレス決済の状況 インフキュリオン様「決済動向調査２０２０」より ● ● ● 2万⼈を対象に、利⽤している 決済サービスを複数回答で調 査した結果。2019年3⽉と 10⽉の調査と合わせ、1年間 の推移を可視化 QR コード決済アプリが1年間 で12%から43%へと利⽤率 が驚異的に拡⼤ 電⼦マネーの利⽤率も49% から60%へと拡⼤。消費増税 とポイント還元の効果を着実 に取り込む https://insight.infcurion.com/business/japan-cashless-payment-2020/
加速する⾦融サービスのデジタル化 ① ⾦融デジタライゼーション 急速に発展している情報通信やデータ処理技術等の社会実装が本格的な段階を迎え、⾦融分野におい ても、デジタライゼーションを取り⼊れた先進的でより良いサービスの開発・提供により、利⽤者に⼤きな利便 性がもたらされ得る。くわえて、⾦融機関を含む事業者にとっても新たな収益機会が⽣まれ、それが更に利⽤ 者利便の⾼い新たな⾦融サービスの創出につながるという好循環が⽣まれることが期待される。 ⾦融機関を含む事業者は、単に従来の業務のやり⽅をデジタルに置き換えるのではなく、デジタル技術によ り新たな形で利⽤者のニーズを満たし、社会的課題を解決し付加価値を創出するという発想が求められる。 また、そうした⾦融サービスについて、リアルタイムかつ⼤量のデータの活⽤などにより、不断に改善点を⾒出し、 継続的に進化させる、といったイノベーション・サイクルの確⽴が期待される。同時に、こうしたデジタル・イノ ベーションが社会に浸透・定着し、より発展を遂げていくためには、利⽤者が新しいサービスを安⼼かつ安全に 利⽤できることが重要だ。また、多様な利⽤者にとって優しいデジタル・サービスの提供を促していく必要があ る。 ⾦融庁 令和２年８⽉３１⽇ 「令和２事務年度 ⾦融⾏政⽅針」からの抜粋
⾦融サービスデジタル化のメリットとデメリット（リスク） メリット デメリット（リスク） ①エンドユーザの利便性向上 スマホ、パソコンで⼿続きが完結、キャッシュレス決済 従来にない新しいサービス ①不正取引リスク 振り込め詐欺、インターネットを利⽤した不正振り込みな どの不正利⽤の増加、新たな詐欺⼿⼝ マネーロンダリングでの不正⼝座利⽤など ②ビジネスプロセスの効率化、スピード向上 ビジネスプロセスの変⾰・デジタル化 ペーパレス対応・ハンコレス対応など ③デジタルマーケティングの⾼度化 ビッグデータ・AIなどを活⽤した⾼度なマーケティング ②セキュリティリスク サイバー攻撃の⾼度化およびコロナによるテレワーク環境 下でのセキュリティリスク増⼤ ③サービス停⽌リスク システム障害などによるサービス停⽌が与えるビジネスイン パクトの増⼤
不正取引に関する最近のニュース ドコモ⼝座不正、被害額2848万円 ⽇経新聞: https://www.nikkei.com/article/DGXMZO64318740Y0A920C2X30000/ ゆうちょ銀⾏の不正引き出し、被害額6千万円 Impress Watch: https://www.watch.impress.co.jp/docs/news/1278805.html SBI証券、顧客資産9,864万円が流出。 不正な銀⾏⼝座に出⾦ Impress Watch: https://www.watch.impress.co.jp/docs/news/1277498.html ⽇本クレジット協会「クレジットカード不正利⽤被害の発 ⽣状況」2019年時点で約273億円 https://www.jcredit.or.jp/information/statistics/download/toukei_03_g_200930.pdf ⼀般社団法⼈ 全国銀⾏協会 https://www.zenginkyo.or.jp/hanzai/
⾦融サービスデジタル化のリスクに関するニュース ②セキュリティリスク ⾦融機関へのサイバー攻撃、コロナ感染拡⼤期に238％増加 ZDNet Japan: https://japan.zdnet.com/article/35153824/ 三菱電機、取引先⼝座8600件流出 ⽇経新聞︓ https://www.nikkei.com/article/DGKKZO66521480R21C20A1EA1000/ ③サービス停⽌リスク 東証、3兆円の取引機会失う 売買停⽌で ⽇経新聞︓ https://www.nikkei.com/article/DGXMZO64507420R01C20A0MM8000/ ※Mware Modern Bank Heists 3.0からの引⽤
リスク兆候を早期に検知するためのデータ活⽤ リアルタイムデータとは︖ ⽇々のビジネスで継続的に発⽣するデータ（以下は⼀部の例） ● 決済取引データ、送⾦データ、約定データ サイトアクセスログ（MAC アドレス、IP アドレス、クリック履歴など）、コールセンターログ、IVR ログ 社員アクセスログ、アプリ利⽤履歴 メトリック（CPU、メモリ利⽤率など）システムログ、セキュリティログ（Firewall 、Network、Server、Endpoint など） IoT センサーログ、GPS 位置情報 ● SNS の投稿 ● ● ● ● ❖ ❖ データ量が⽇々⼤量に増え続けるため、監査⽬的や重要なもの以外は短期間しか保管されないケースもあり、⼀般的に 時間の経過によりデータの価値が下がる（鮮度が重要） また⼀般的にデータ量が⼤量であるため、リアルタイムでデータを活⽤するためには、即時にデータ取り込みでき、⼤量データ の中から条件に合致するするものを即座に検出できるなどの要件を満たすシステムが必要 ⼀⽅、リアルタイムデータは最新の状況を含んでいるデータであり、これらのデータを早期に解析するこ とでリスクの兆候をいち早く掴み、リスクに早期に対処することが可能となる。
リアルタイムデータを活⽤したリスク検知の例 ⼤量に発⽣するリアルタイムデータの中からリスクの兆候を早期に検知 対象となるリスク 想定されるデータソースの例 検知・対応内容の例 ①不正取引リスク 決済取引データ、送⾦データ、約定データ、 サイトアクセスログ、コールセンターログ、社員 アクセスログ、アプリ利⽤履歴、IVR ログ、、 ⼝座データ、顧客データ、契約データ、社員 データなど ● ②セキュリティリスク セキュリティログ、社員アクセスログ、アプリ利 ⽤履歴、社員データなど ● ③サービス停⽌リスク メトリック、システムログ、アプリケーションパ フォーマンスログ、外部SNS 情報など ● ● ● ● ● 不正取引の兆候を検知しアラート（いつもと違うデ バイスや IP からのアクセス、普段と違う⾏動など） 疑わしいメールアドレスや住所などを検知 機械学習による異常値の検知、専任チームによる 調査 セキュリティリスク条件の⼀致によるアラート 機械学習による異常値の検知、専任チームによる 調査 機械学習により障害の予兆を事前に検知し、障害 発⽣前に対応 障害発⽣時に迅速に検知し早期復旧
リアルタイムなリスク検知のために求められる要件 1. ⼤量なリアルタイムデータを、既存データを含む 統⼀されたデータソースに即座に取り込む 1. 取り込まれた⼤量のデータからリスクと思われるものを リアルタイムで正確に検索しアラート 1. 機械学習を利⽤し、未知のリスクや脅威を検知 Elastic で全て実現可能
About Elastic Elastic 会社概要 Distributed by design 2012年設⽴ IPO 2018, NYSE: “ESTC” 40カ国以上で2,000⼈の従業員 3億5,000万ダウンロード以上、12,000以上 の企業での採⽤ 世界の#1データベース検索エンジン (DB-Engines)
Elastic ＝ 検索の会社 膨⼤なデータから関連性の⾼い結果をすばやく提供することで、 ユーザーに価値を提供できるよう取り組んでいます。 それが私たちの DNA です。検索は体験です。そう考えているのが Elastic であり、 それが独⾃性を⽣む基盤となっています。 スピード スケール 関連性
Elasticsearch の概念 -ドキュメント・フィールド・インデックス Elasticsearch の概念 具体例 ドキュメント 書籍データ フィールド SQL Server, MySQL, PostgreSQL 等 レコード 書籍タイトル、 著者、出版⽇、 カラム 等 書籍データが インデックス テーブル 格納される場所
なぜ Elasticsearch なのか︖ • 企業では主にリレーショナルデータベースを使⽤してデータを格納 • • • テーブルを簡単に結合し、必要なデータベースからこのデータを取得できる しかし、時間の経過とともに、データベースとテーブルが肥⼤化して、数百万のデータセットを 含む⼤規模なデータベースになると、操作を実⾏できなくなる ⼀⽅、Elasticsearch は、数百万のドキュメントを数秒で簡単に検索できる • Elasticsearch は柔軟で強⼒なオープンソースの分散型リアルタイム 検索および分析エンジン • • • Elasticsearch はドキュメントベースのデータベースでデータを JSON 形式で保存 Elasticsearch は、アプリケーションの強⼒な検索ツールとして使⽤できる インデックス、ドキュメント、フィールド等を作成し、データを Elasticsearch にプッシュで、検索 の準備が整う • Elasticsearch の2つのユニークで重要な機能 • • 1. ⽔平スケール 2. ⾼可⽤性
事例︓三井住友 DS アセットマネジメント株式会社 アナリストが利⽤する資産運⽤での⾼速情報検索に向け Elasticsearch を導⼊。 35種類のデータソースを Elasticsearch に集約し、圧倒的な検索パフォーマンスで業務を⽀援 https://www.elastic.co/jp/customers/smd-am
膨⼤なデータ処理とリアルタイム性を要求 される配⾞マッチング検索で Elastic を活⽤ 1秒あたりのデータ投⼊件数︓ 1⽇あたりのデータ投⼊量︓ 1秒あたりのドキュメントスキャン︓ データサイズ︓ クラスターサイズ︓ インジェスションパイプライン︓ 85万から130万メッセージ 12TB 1億から40億のドキュメント数 1PB 700台の Elasticsearch 100 + Data パイプラインジョブ 2018年4⽉の Qcon での Uber 様 講演より https://www.infoq.com/presentations/uber-elasticsearch-clusters/
Elastic Stack の特徴 スピード︓ スケール︓ 関連性︓ ⼤量データをリアルタイムに検索（ミリ秒単位で検索結果を表⽰） ⾃動拡張し⼤規模システムでもデプロイ可能（ペタバイトクラスも対応） ⼤量データから関連性の⾼い情報を検索し重要なインサイトを得る 3つのソリューション Elastic エンタープライズサーチ Elastic オブザーバビリティ Elastic セキュリティ 可視化 Kibana Elastic Stack Logstash Beats オンプレ、クラウドを問わず あらゆる環境にデプロイ可能 検索 Elasticsearch Elastic Cloud SaaS (AWS/Azure/GCP) Elastic Cloud Enterprise Elastic Cloud Kubernetes IaaS (クラウド & オンプレ） Kubernetes (クラウド & オンプレ） 1つの Elastic Stack で３つのソリューションが利⽤可能 データ投⼊
Elastic Cloud on Azure デプロイ https://www.elastic.co/jp/
Elastic Cloud on Azure デプロイ https://portal.azure.com
Elastic Cloud Deployment https://www.elastic.co/jp/
検索をベースとしたソリューション システム稼働状況やセキュリティリスクをリアルタイムで検知 Elastic エンタープライズサーチ 企業内データを横断検索 • • 企業内横断のアプリケーションと データの横断検索によって得られ るインサイト 顧客や従業員の⽣産性と満⾜度 の向上 Elastic オブザーバビリティ Elastic セキュリティ システムの稼働状況を検知 セキュリティリスクを検知 • • 企業内のシステム、アプリケーション、 インフラのあらゆる運⽤データをひとつ に集約し横断検索、リアルタイムのイ ンサイトを得る MTTR（復旧時間）の最短化、 運⽤の効率化 • • 企業内のセキュリティデータ、ネットワー クデータ、エンドポイントデータからセキュ リティの驚異をリアルタイムで検索 サイバー攻撃、不正アクセスなどから企 業を守る
Microservices アプリケーションの監視 Kubernetes 上のアプリを Elastic Cloud で監視 MySQL APM packetbeat metricbeat filebeat Azure Kubernetes Service 22
シンプルなライセンス体系 データ利⽤量に基づく、リソースベースのライセンス体系 Elastic エンタープライズサーチ Elastic オブザーバビリティ Elastic セキュリティ Site Search APM SIEM クエリー数 無制限 エージェント数/ユーザ数 無制限 ユーザ数/データ投⼊量 無制限 App Search Logs Endpoint Security ドキュメント数 無制限 データ投⼊量 無制限 エンドポイント数 無制限 Workplace Search Metrics ユーザ数 無制限 監視ホスト数 無制限
グローバル⾦融機関様での Elastic 採⽤例
Elastic Stack によるサイバーセキュリティ 基盤と防御基盤の融合が実現し、銀⾏ および顧客を世界中からくるリアルタイムの 脅威から防御することが可能となった。 Elastic Stack によりリアルタイムかつインテリ ジェントな運⽤監視システムを構築。Elastic の機械学習機能を利⽤して、フルテキストの 集計とパフォーマンスデータを使⽤し異常特定。 Elastic Stack を活⽤し、毎⽉3,000万件 を超える取引データをエンドユーザーがブラウザ でアドホックな分析をできるシステムを構築。 Elasticsearch にインデックス付けし、 Kibana で視覚化。 Elastic Stack を活⽤し、⾼速で⼀貫した ユーザ体験のエンタープライズサーチを実現。 同時に新しいデータセットをサーチ対象に加え る際にプログラミングの労⼒を最⼩限に抑える システムを実現
https://www.elastic.co/jp/customers/pscu 具体的活⽤事例︓PSCU（⽶国有数の信⽤組合サービス組織） Elastic 導⼊から18ヶ⽉で1500の信⽤組合に対し4000万ドル相当の不正⾏為を 機械学習機能とアラート機能を活⽤し未然に阻⽌ PSCU における課題 ● ● PSCU は、⽶国有数の信⽤組合サービス組織で1,500の信⽤組合にサービスを提供。年間38 億件もの取引を扱う。会員に対し⽀払い処理、リスク管理、データ分析、オンラインバンキング、モ バイルプラットフォームなどさまざまな⾦融サービスを提供 1⽇300万イベントを超えてくるとデータベースが巨⼤化しデータ⼊⼒が困難になり、前⽇のデータの 反映が丸1⽇かかり、不正⾏為について発⽣後の調査しかできていなかった。 Elastic へあらゆるデータを集約。ログを適切に監視、可視化することで、多くの不正取引を未然 に検知し阻⽌できるようになった ● ● ● 課題であったパフォーマンス問題は Elastic 導⼊後すぐ解消。当初の対象を拡⼤し全⽶の1,500社の信⽤組合における外 部からの不正⾏為を阻⽌できるよう、幅広い⾦融関連データソースからのログを追加 会員のオンラインログイン、IP アドレス、住所、IVR のログ、サポートセンターへの問い合わせ履歴など数多くのデータソースを Elasticsearch に集約しログをリアルタイムで監視、可視化 Elastic 導⼊にともない、不正インテリジェンスを専⾨とする新部⾨を創設、機械学習機能とアラート機能を活⽤し会員⼝ 座に悪影響が及ぶ前に⾦融不正⾏為を事前に検知し、対策を実施。
PSCUでの不正取引検知における機械学習活⽤の具体的効果 Elastic の機械学習機能とアラート機能を活⽤し、⽉500万ドル相当の不正検知を未然に 防⽌。機械学習のアラートをカード所有者に直接送付することで⾃動化を実現 • • • • 1⽇1万件を超えるコールセンタへの問い合わせログ、IVR 利⽤ログ、購⼊サイト へのアクセス（MAC アドレス、IP アドレス、購⼊に関わるクリック履歴）など、 ユーザに関するあらゆるデータを取得しElastic にリアルタイムで集約 機械学習機能とアラート機能を利⽤し、⼈の⽬では⾒つけることが難しい異 常値による不正取引のリスクを未然に検知（例えば顧客が常に利⽤している アクセス条件と異なる端末、IPアドレスなどからのアクセスであったり、特定の時間 帯の特定の店舗の売上数字が予測値と⼤きく外れていたりした場合など） その結果、2018年に Elastic 導⼊後18ヶ⽉間で6500件、4000万ドルの 不正取引を未然に防ぐことができた（想定される全体被害の95%を未然に 防⽌）この⾦額は現在も増えつつあり、2020年1⽉での平均は⽉500万ド ル以上となっている。 さらに機械学習が検知したアラートを直接カード所有者の予め登録されたスマホ などにテキストメッセージを送り、決済を⾏って良いかの確認をとる仕組みを構築し、 ⼈⼿を介さない⾃動化を実現している。 https://www.elastic.co/jp/elasticon/tour/2020/atlanta/pscu-harnessing-elastic-to-attack-fraud-for-credit-
先進的事例１︓NetGuardians（スイスのFintech企業） 膨⼤な⾏動データを素早くインデックス化し、リアルタイムで検索することで社内外の不正⾏為を未然に 検知するサービスの必須テクノロジーにElasticを採⽤ NetGuaridans について AI を活⽤し詐欺を未然に検知するサービスを、全世界で60以上の銀⾏に提供。銀⾏の全従業員および顧客 の⾏動をすべてリアルタイムで監視し、普段と違う⾏動などがあればリアルタイムでアラートし、不正が起きる事前 に防⽌を⾏うサービスを提供 リアルタイム不正検知サービスの必須テクノロジーとして Elastic を採⽤ ● ● 銀⾏⼝座からの不正送⾦などの犯罪は⼀瞬のビジネスであり、わずか1秒の遅延でも致 命的となる。リアルタイム監視、分析、およびブロックが不可⽋。 しかし同時にシステムに⼤きな性能を要求する。リアルタイムに検知するため、膨⼤な量の データ（履歴フィードと新しいフィードの両⽅）をすばやく処理する必要があり、さらにこれら のシステムは、低遅延、⾼スループット、および⾼度にスケーラブルかつ復元⼒が必要となる。 検討の結果、Elasticsearch を採⽤ “Elasticsearch により、リアルタイムのアップデート（インデックス化）が可能とな り、驚くべき検索とリードのレスポンスタイムを実現している。” Jerome Kehrli⽒, CTO at https://blog.netguardians.ch/making-real-time-fraud-detection-and-prevention-possible NetGuardians
先進的事例２︓ドイツ銀⾏ 証券取引の決済遅延リスクに対応するため Elastic 機械学習と異常検知機能を活⽤した⾰新的な 早期警告サービスを2021年初頭に開始予定 処理中の証券取引のうち決済遅延リスクがあるものをプロアクティブに識別するサービスとして2021年初頭に運⽤開始予定。2021年に施⾏ される証券集中保管機関の規則(CSDR)最新版で課される多額の遅延制裁⾦の発⽣を防⽌することが⽬的 早期警告システムによる決済遅延リスクの識別 ドイツ銀⾏は Elastic の機械学習( ML )技術を活⽤して決済サービスをプラットフォームを、事後およびリアルタイム対応から「予知 型」プラットフォームに進化させる。機械学習で強化されたサービスにより、処理中の取引のうちアクションを要するものを機動的に検知、潜 在リスクが問題として顕在化する前に、⾏内の担当部⾨にアラートを送信。 予知型の新サービスの根幹を成す分析モデルに、Elastic の異常検知機能が搭載。季節要因、市場ごとの差異、その他の変動要素を考 慮し、⼈間が処理できない巨⼤かつ複雑な対象範囲の多数の要素から導出したダッシュボードおよびアクションキューを同⾏の業務オペレー ション部⾨に提供。 「これまではリスクとして識別できなかった取引を、今ではリアルタイムで検知できます。さ らに、⼀⾒リスクがあるように⾒えても、これまで常に決済期限内にマッチングが完了して いるという分析結果が出ている取引を検証対象から除外できます。」 ドイツ銀⾏ データプロダクト・証券サービス部⾨のディレクター Christopher Daniels ⽒ https://www.elastic.co/jp/about/press/deutsche-bank-announces-new-early-warning-service-for-securities-settlement-delayspowered-by-elastic
Elastic による⾦融サービスデジタル化のリスクへの対応 ⼤量に発⽣するリアルタイムデータを即取込み、リアルタイムで素早く検索することが重要 1. ⼤量なリアルタイムデータを、既存データを含む 統⼀されたデータソースに即座に取り込む 1. 取り込まれた⼤量のデータからリスクと思われるものを リアルタイムで正確に検索しアラート 1. 機械学習を利⽤し、未知のリスクや脅威を検知
Elastic のテクノロジー が活かせるところ Browsers Servers Traces Traces 3. 機械学習を利⽤し 未知のリスクや脅威を検知 Elasticsearch Master Nodes (3) APM Server Logs, Metrics Ingest Nodes (X) Kibana Data Nodes – Hot (X) Network/ Endpoint Data Notes – Warm (X) 1. ⼤量なリアルタイムデータを、 既存データを含む統⼀された データソースに即座に取り込む 2. 取り込まれた⼤量のデータか らリスクと思われるものを リアルタイムで正確に検索し
機械学習の仕組み 不正取引への適⽤可能 Anomaly detection データ分析 教師あり・教師なしともに可能 • データはドイツの⾃動⾞メーカーから • データセットには、エンジンの製造中に測 定されたセンサー データが含まれる • これらのエンジンには「Lunker」と呼ばれる ⽋陥がある場合がある • データセットにはラベルがあり、この特定 のエンジンに⽋陥があるかどうかを判断で きる • Elastic Machine Learning を使⽤して、セン サー データに基づいて、 エンジンに問題 が発⽣するかどうかを予測する • どのメトリックがエンジンの品質に最も影 響を与えたかもわかる
アプリケーション開発 オンデマンド ウェビナー特集 • • • Elastic の Search API を Visual Studio Code でコーディングする (1) - (3) Elastic Cloud で Azure Kubernetes Serviecs の様々な Log/Metrics/APM を可視化する ASP.NET Core 3.x Web アプリのログを Elastic Cloud で収集・分析してみよう！ https://www.microsoft.com/ja-jp/events/top/apps-innovation-webinars.aspx
Thank you for your attention!