本当にあった怖い話　「Hadoopで炎上しかけた話」

Hadoopで炎上しかけた話 Yukino Ikegami @_yukinoi 2016/08/27 PyLadies Tokyo Meetup #15 本当にあった怖い話

自己紹介 • 名前: 池上有希乃 (ゆきの) • IO 株式会社で「みんなの顔文字キーボード」 作ってます

背景 • 新卒でオンライン広告配信システムの データマイニングをやってた頃の話… • 現役を引退した余ったサーバでHadoop クラスタを構築してがんばってた

ある夏の日のこと • 機械学習ライブラリMahoutでLDA回してた • でもなかなか終わらない…… • そうだ！余った時間で他のジョブも回そう！

ことは起こった…… • Hadoopクラスタの温度が 90℃超え！！ • 急いでファン全開で緊急冷却！ • なんとかなったけど焦った

反省 • サーバの温度管理の設定をしてなかった • 処理が遅いからといって無茶は禁物

まとめ • Hadoopを酷使したら90℃超えになった……。 • サーバの温度設定超大事！ • 遅くても無茶はだめ！