決済金融から始めるデータドリブンカンパニー #yjmu

200 Views

February 20, 17

yjmu

スライド概要

Yahoo! JAPAN MeetUp #9 （EC技術カンファレンス）
LT「決済金融から始めるデータドリブンカンパニー」の発表で使用した資料となります。

https://yj-meetup.connpass.com/event/48215/

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 134.6K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 75.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 65K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 52.6K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 28.1K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 26K

各ページのテキスト

自己紹介 • 担当サービス • Yahoo! ウォレット • 本人確認 • 役割 • 運用エンジニア & 保守開発 • 学生時代の専門 • 数理科学（非線形偏微分方程式） • 趣味 • ランニング（ラン歴3年、東京マラソン2015完走） • スマホゲーム（パズドラ、PokemonGO） Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2

CI/CD CI(Continuous Integration) • テスト (commit build) • コミットされたソースがテストされる • パッケージング (component build) • レビューが完了したソースはメインブランチにマージされる • メインブランチへの変更をテストする • テスト成功時のみ、パッケージを作成する ↑これらを自動的に行う！ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 7

CI/CD CD(Continuous Delivery) • アセンブリ(assembly build) • パッケージ群の構成リストを作成する • デプロイ(deploy build) • アセンブリで作成された構成リストにてサーバへのリリースを実施 • まっさらなサーバであれば、サービスが利用できる状態に持っていく ↑これらを自動的に行う！ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 8

CI/CD CI/CD 阻害要因 • ソフト面（CI） • テストがない • テストなど必要ないと思っている • ハード面（CD） • 構成管理ができていない • /etc/hostsは？ • routeは？ • LANGは？ • ディレクトリを手動で作っている • リリース方法が原始的（手置き） Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. レガシーシステム (技術的負債) 9

10.

11.

12.

13.

レガシーコードを斬る！よく使うモッキングフレームワークその１ Phake https://github.com/mlively/Phake 特徴 • • • • MockObjectと似ている１メソッドだけモックにすることが可能コールバック関数への置換呼び出し検証機能 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. ★導入方法 % cat composer.json { "require-dev": { "phake/phake": "@stable” } } % composer install 13

https://github.com/mlively/Phake

14.

15.

16.

レガシーコードを斬る！よく使うモッキングフレームワークその２ ★導入方法 AspectMock https://github.com/Codeception/AspectMock 特徴 % cat composer.json { "require-dev": { "codeception/aspect-mock": "*" } } % composer install • グローバル関数をドラスティックに変更 • コールバック関数への置換 • 呼び出し検証機能 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 16

https://github.com/Codeception/AspectMock

17.

18.

19.

20.

21.

22.

23.

Chef Yahoo!ウォレットでは、Chefを導入中 • システムのあるべき姿を「リソース」という単位で管理 • 「リソース」を束ねて、「レシピ」にまとめる • 「レシピ」を適用する機能群を「ロール」にまとめる • デプロイ先のサーバ群を「環境」にまとめ、ロールを紐づける • デプロイを実行する Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 23

24.

25.

26.

Chef（レシピ） ATS install Apache install web-recipe ap-recipe PHP install Jetty install Web APL install Logic APL install db-recipe MySQL install レシピは再利用できるように、細かく分けるのがコツ Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 26

27.

Chef（ロールとレシピ） web-role ap-role db-role web-dev ap-dev db-dev web-prod ap-prod db-prod run_list web-recipe Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. run_list run_list ap-recipe dbrecipe 27

28.

Chef（CI + デプロイ） web-role web-dev Chef-client web-recipe knife ssh Upload recipe web-dev-env web hook git push web-dev git.corp CI-tool PC Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Chefdk Chef-server 28

29.

Chef（課題） web01 web02 web03 web04 web-role web-recipe web-prod-env LB 環境に紐づく全ノード取得 web01 web02 web03 web04 CI-tool web-prod-envへリリース！ Internet Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. Chef-server 29

30.

Chef（課題）なんらかの理由でデプロイ失敗。。 web01 web02 web03 web04 web-role web-recipe サービスアウト＆リリース LB CI-tool Internet Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. web-prod-env web01 web02 web03 web04 Chef-server 30

31.

32.

33.

34.

35.

Chef（課題解決） web01 web02 web03 web04 web-role web-recipe LB 前半の環境に紐づく全ノード取得 web-prod-env-1 web01 CI-tool 前半だけリリース！ Internet Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. web02 web-prod-env-2 web03 web04 Chef-server 35

36.

Chef（課題解決） web01 web02 web03 環境を分けよう！ web04 web-role web-recipe LB サービスアウト＆リリース web-prod-env-1 web01 web02 web-prod-env-2 CI-tool Internet Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. web03 web04 Chef-server 36

37.

https://github.com/chef/chef/issues/5399

38.

39.

Chef（ATSを入れるレシピ） %w(pkgconfig libtool gcc make openssl tcl pcre libcap flex hwloc lua ncurses curl).each do |pkg| yum_package pkg do action :install end end Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 39

40.

41.

Chef（ATSを入れるレシピ） execute 'expand ATS' do command <<-EOF cd /tmp/; unzip master.zip cd trafficserver-master; autoreconf -if ./configure --prefix=/opt/ats make; make check; make install EOF end Install_ats.rb Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 41

42.

今後のロードマップ • eコマース事業拡大に伴い、ウォレットへの需要は高まる • 売り場での決済時アクセスが増える • パーソナライズのための情報提供を安全に完全に行う • 実機から仮想環境へ。ペットから家畜への移行が必要 • プロダクトの品質を、高カバレッジな自動テストで担保 • より正確で迅速なデプロイ作業をChefで実現 Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 42

43.