JAWS-UG Osaka勉強会 第2回 「災害後 活動報告」

>100 Views

April 23, 11

スライド概要

震災後にJAWSUGチームで活動した際にやっとこと、感じたことをまとめました。

profile-image

アイレット株式会社 (cloudpack) エバンジェリスト / 公正取引委員会 デジタルアナリスト

シェア

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

JAWS-UG Osaka勉強会 第2回 災害後 活動報告 後藤 和貴 kaz@cloudpack.jp 2011.4.23

2.

自己紹介: 後藤 和貴 プロフィール アイレット株式会社 cloudpack 事業部 エバンジェリスト JAWS-UG Tokyoコアメンバー JAWS-UG Osaka メンバー? 好きなAWSサービス: S3 Blog: http://5net.com/ Email: kaz@cloudpack.jp Twitter: @kaz_goto 最近の活動 2月 JAWSUG Osaka 第1回勉強会参加 3月 Cloud Days Tokyo パネルディスカッション登壇 3月 震災後サーバー復旧ボランティア 4月 AWSアドバンストセミナー 2

3.

Amazon EC2 をはじめとするクラウド導入設計、運用・保 守サービス クラウド環境をバックエンドとした 月額費用固定型フルマネージドホスティング AWS導入・構築支援、コンサルティング、システム構築 サービス 2010年4月サービス開始 2011年1月 認定 2011年4月時点 30社・100インスタンス超、さらに増加中 3

4.

続きはウェブで 4

5.

最近の案件相談: 用途別 商品紹介ウェブサイト キャンペーンウェブサイト ウェブサービス提供サイト EC CMS 大規模配信 ソーシャルアプリ・ソーシャルゲーム データストレージ 5

6.

最近の案件相談: 動機別 拡張縮退運転 AWSならではの機能利用 コスト(価格モデル) ライセンスモデル 既存DC/ハードウェアリプレイス 災害対策 6

7.

災害時対応での事例 7

8.

その前に 地震当日の話 8

9.

有楽町某社で 打ち合わせ中地震に遭遇 9

10.

「あ、ゆれ」 10

11.

「結構長いですね」 11

12.

「あれ?かなり... ですね」 12

13.

「うわ、これ結構ですね」 13

14.

「やばいかも」 14

15.

「机の下に入るレベル?」 15

16.

「いや、あ、潜りましょう」 16

17.

「いや、潜れ」 17

18.

「ちょ、まじで、すごい」 18

19.

「やばいやばい」 19

20.

「これはまずい、 ビルやばいかも」 20

21.

「男三人で死ぬのは 嫌だ」(笑無) 21

22.

「あ、やっと収まり ましたな」 22

23.

非常時のサイレン ビル管理室からの アナウンス 23

24.

「すぐに避難してください」(女性) 24

25.

有楽町駅前に出て できるだけ道の真ん中に 25

27.

電話通じず、インターネットOK SMS/Facebookで連絡取りまくる 27

32.

都内で軽い被災 帰宅後テレビをみて東北の惨状を知る 変なテンション 各サイトがアクセス不能に 「これなんとかできる」「やるしかない」 JAWS-UG / cloudpack チームと連携して対応 32

33.

札幌 !"#$%#& 各サイトがダウンして いる。助けられないか? 北陸 福岡 仙台 山口 東京 大阪 名古屋 女子部

34.

!"#$%&' ↓' 電話会議' ↓' 各支援プロジェクト始動 やっちゃいましょう!!

36.

地震発生後 チームで行った対応 情報発信用CMS導入済みAMI作成 SAVE JAPAN: ミラーサイト作成 (CDN) JustGiving: AWS移行、スケールアップ、負荷分散構成 (DB分離、LB配 置)、メールサーバー移行 buji.me: AWS移行、冗長化構成準備(負荷分散) ゆれくるコール: ストレージサービス組み込み(負荷分散) medica.net: AWS移行 sinsai.info: ミドルウェア負荷調査、スケールアウト構成準備(負荷分 散) 茨城大学: DNSホスト 36

37.

SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ Twitter上の震災情報を正確な情報のやり取りするためのサイト ハッシュタグを使って都道府県別に整理 早い段階で出来た震災情報サイトだったためアクセスが集中 37

38.

SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ 3/12 0:29 38

39.

SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ 3/12 1:15 39

40.

SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ 3/12 1:25 40

41.

SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ Text 3/12 3:00 30分ほどでミラーサイト構築済み 41

42.

SAVE JAPAN! PROJECT http://savejapan.simone-inc.com/ ポイント Twitter で拡散されたおかげで対応が必要な事を知り、すぐさま 応援 作業時間わずか30分でCDNへミラーサイトを構築 (S3+CloudFront利用) オリジン サーバー 玉川さんがS3で対策をしていた... 42

43.

Just Giving http://justgiving.jp/ 43

44.

JustGiving Japan http://justgiving.jp/ 3/12 13:41 44

45.

JustGiving Japan http://justgiving.jp/ 3/12 14:10 45

46.

JustGiving Japan http://justgiving.jp/ 3/12 18:50 46

47.

JustGiving Japan http://justgiving.jp/ 3/12 18:53 47

48.

JustGiving Japan http://justgiving.jp/ 3/12 19:13 48

49.

JustGiving Japan http://justgiving.jp/ 3/12 19:16 49

50.

JustGiving Japan http://justgiving.jp/ 12〜13日でAWS移行完了済み DB RDS利用 (db.m2.4xlarge 1台) イメージサーバー (m1.large 1台) ウェブ/アプリサーバー (c1.xlarge 1台) アプリ負荷分散対応 アプリケーション構成が不明なため対応後回し この後AWS負荷対策チームとして参戦 50

51.

13日正午 付近 1. PHP APC化 フロントキャッシュ導入班 2. Apache MaxClients 増加 256 → 600 3. メモリ使用低減のためLoadModule 調整(削減) 4. 画像転送をリバースプロキシ→リダイレクトへ Apache最適化調査班 DB負荷調査班 5. Apache Timeout 120 → 20 6. S3 化トライ、設定困難で別の方法を優先することに 7. c1.xlarge → m2.2xlarge 8. サーバーログインしてトラブルシュート開始 9. Apache disk cache トライ 10. DB調査開始、Slow Query チェック設定 11. DB、QueryCache設定(ぞくぞくと Slow Query みつかる) 12. disk cache のためアプリで Last-Modfied + Expire 追加 13. memcached 導入 14. アプリの一部でキャッシュ開始 15. アクセスの多いリクエスト、パフォーマンスの悪いリクエストにしぼり、いくつかアプリ内キャッ シュ化(10秒以上かかるリクエスト多数有り) 14日0時半 16. (深夜になったこともあり)一旦落ち着いたのでアプリを継続修正依頼して一旦完了 その後、18日までアプリサーバー冗長化調整/DB/メール配信/アプリ負荷改善がつづく... 51

52.

13:22 top - 13:22:34 up 13:57, 10 users, Tasks: 473 total, Cpu(s): 16.3%us, Mem: load average: 91.19, 89.79, 66.40 70 running, 403 sleeping, 7.1%sy, 0.0%ni, 72.7%id, 0 stopped, 0.1%wa, 0.0%hi, 7136220k total, 6683404k used, 452816k free, 0k total, 0k used, 0k free, Swap: PID USER SHR S %CPU %MEM 0 zombie 1.7%si, 201388k buffers 1002020k cached PR NI VIRT RES 9060 apache 20 0 383m 16m 5384 S 29.8 0.2 0:06.13 httpd 8701 apache 20 0 397m 26m 8144 R 23.5 0.4 0:20.02 httpd 9022 apache 20 0 406m 40m 6040 R 23.5 0.6 0:07.74 httpd 8996 apache 20 0 396m 25m 7716 R 20.4 0.4 0:07.21 httpd 8556 apache 20 0 388m 21m 6248 R 18.8 0.3 0:18.46 httpd 8750 apache 20 0 391m 25m 6140 S 18.8 0.4 0:14.28 httpd 8585 apache 20 0 388m 22m 6168 R 17.2 0.3 0:20.89 httpd 8655 apache 20 0 407m 36m 8112 R 17.2 0.5 0:17.60 httpd 8733 apache 20 0 398m 28m 8220 R 17.2 0.4 0:13.14 httpd 8467 apache 20 0 405m 39m 6064 S 15.7 0.6 0:18.56 httpd 8487 apache 20 0 433m 62m 8032 R 15.7 0.9 0:27.72 httpd 8645 apache 20 0 407m 41m 6156 R 15.7 0.6 0:22.01 httpd 8744 apache 20 0 387m 21 52 TIME+ COMMAND 2.1

53.

16:23 (scaleup-ed, but Horiemon-shot attacked) top - 16:23:31 up 1:13, 8 users, load average: 273.91, 166.21, 115.99 Tasks: 704 total, 400 running, 304 sleeping, Cpu(s): 43.7%us, 13.8%sy, Mem: 35133768k total, Swap: PID USER 0.0%ni, 39.1%id, 0 stopped, 0.4%wa, 0.0%hi, 9500728k used, 25633040k free, 0k total, 0k used, 0 zombie 0k free, 2.9%si, 101084k buffers 867780k cached PR NI VIRT RES SHR S %CPU %MEM 4004 apache 20 0 376m 29m 16m R 1.3 0.1 0:09.98 httpd 4018 apache 20 0 391m 40m 13m R 1.3 0.1 0:07.36 httpd 4030 apache 20 0 373m 25m 15m R 1.3 0.1 0:06.82 httpd 4036 apache 20 0 379m 32m 16m R 1.3 0.1 0:08.54 httpd 4043 apache 20 0 372m 24m 15m R 1.3 0.1 0:07.54 httpd 4044 apache 20 0 394m 44m 14m R 1.3 0.1 0:04.96 httpd 4048 apache 20 0 385m 36m 15m R 1.3 0.1 0:07.04 httpd 4062 apache 20 0 391m 41m 13m R 1.3 0.1 0:04.45 httpd 4072 apache 20 0 372m 24m 15m R 1.3 0.1 0:07.69 httpd 4090 apache 20 0 380m 31m 14m R 1.3 0.1 0:05.05 httpd 4108 apache 20 0 374m 25m 15m R 1.3 0.1 0:05.71 httpd 4111 apache 20 0 382m 31m 19m R 1.3 0.1 0:06.02 httpd 4114 apache 20 0 372m 24m 15m R 1.3 0.1 0:04.89 httpd 53 TIME+ COMMAND 0.2%st

54.

JustGiving Japan http://justgiving.jp/ ウェブサーバー スケールアップ c1.xlarge (7GB 20ECU) → m2.2xlarge (34.2GB 13ECU) ミドルウェアチューニング Apache設定見直し(ReverseProxy→Redirect、メモリ使用量削減、起動プ ロセス数調整...) メール配信改善 アプリ改修 HTMLキャッシュ DBアクセス一部キャッシュ化(memcached) ここまでの対策で一旦安定 54

55.

JustGiving Japan http://justgiving.jp/ ポイント スナップショット利用で本番稼働中にテスト環境 作成 調査継続しながら、合間にマシンスケールアップ スケールアップで延命している間にさらに調査 アプリ改修と同感覚でインフラの改善ができる 55

56.

AWS移行 sinsai.info http://sinsai.info/ buji.me http://ww.buji.me/ ゆれくるコール ミドルウェア負荷調査 スケールアウト準備(既存アプリ構成を変更せず対応する方 法の調査) AWS移行 冗長化構成 S3ホスティング for iPhone medica.net http://medica.net/ AWS移行 サーバー構築 DNS切り替え(Route53) 茨城大学 DNS切り替え(Route53) http://www.ibaraki.ac.jp/ 56

57.

災害時対応で感じたAWSのメリット すぐに利用開始 まずは IaaS VMより上は既存概念と同じなので移行がスムース 高負荷への対抗策 S3を始めとする負荷分散を考慮した機能 スケールアップ・スケールアウトの選択肢 強大なパワーを一瞬で手に入れることができる 仮想化・スナップショット 検証環境構築・本番適用・切り戻しが自由自在に可能 57

58.

災害時の対応とクラウドの相性 緊急時の負荷対策 安定的でかつフレキシブルなインフラでなければ、現実的なコスト で対応できない=パブリッククラウド クラウドと DR データバックアップを複数のロケーションへ 待機系サーバーをOSイメージ保存で停止状態で保管可能 待期系サーバーを別リージョンへ配置可能 (cloudworksなど利用すると簡単) 今後基幹系システムも含め、パブリッククラウド への移行が進んでいくと予想される 58

59.

参考情報 電通国際情報サービス 加藤 章さん著 [TechTargetジャパン] http://techtarget.itmedia.co.jp/tt/news/1103/30/news03.html IIJ 小川 晋平さん著 [ITmedia] http://www.itmedia.co.jp/enterprise/special/0608/disaster/index.html 59

60.

副産物 S3 を複数の EC2 で mount して負荷分散 構成(s3fs利用) Sticky Session with ELB の検証 60

61.

Thank You!