【Ltech#10】Fargate/CloudWatch Eventsでバッチをサクサク作った話

Fargate/CloudWatch Eventsで バッチをサクサク作った話 Ltech #10 2020/01/28 株式会社LIFULL 冨田昌邦

自己紹介 とみた まさくに 冨田 昌邦 @tomiyan ● 2009年 株式会社ネクスト（現LIFULL）に中途入社 ● 今年で11年目 ○ LIFULL HOME’S 不動産アーカイブ刷新 ○ 課金システム開発 ○ LIFULL HOME’S for Android/Windows Phone立ち上げ ○ LIFULL HOME’S スマートフォンサイト刷新 ○ ネイティブアプリ向けAPI刷新・サーバレス化 2 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

2018年冬の パン バッチまつりが到来 • 日次イベント✕1 – 毎日更新したいキャッシュ – 既存の社内APIからデータを取得して、Redisにキャッシュを作成する • 不定期イベント✕3 – 数年に1回〜数回しか更新されないデータ – Elastic SearchやOracleへ登録するバッチ 3 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

ざっくりしたシステム構成 ネイティブアプリ AWS 実はこのリポジトリにバッチ が同居している・・・ PCサイト (旧APIを吸収) SPサイト BFF 実はこのリポジトリにバッチ が同居している・・・ ネイティブアプリ用 BFF 新API ストレージ群 4 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

魂の叫び これ以上このリポジトリには バッチを増やしたくない 5 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

どこで実行するか・・・ AWS Lambdaだとタイムアウトしてしまう AWS Batch使うほどでもなさそう 6 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

日次イベント ● CloudWatch EventsのScheduleトリガーで日次でキック ● オーソドックスな構成 7 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

イベント駆動なバッチ ● データのファイルが複数あり、数GBあるので先にデータ用S3バケットにアップロード ● CloudWatch Eventsで設定ファイル用S3バケットへPUTしたイベントをトリガーにECSタスク (Fargate)を実行 ● ミッションクリティカルなバッチではないので多重起動防止の処理は行っていない 8 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

まとめ • APIとバッチのリポジトリを疎結合にして、お互いの言語やライ ブラリのバージョンアップしやすさを確保 • バッチ専用のサーバで実行していたが、リソースを気にしなくて 良くなった • LIFULLではk8sを利用し始めたので、k8sへの移行は必要 9 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

おわり ご清聴ありがとうございました 10 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。