Yahoo! JAPAN IDの裏側#yjdsw3

517 Views

December 16, 15

スライド概要

http://yahoo-ds-event.connpass.com/event/22017/

profile-image

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

(ダウンロード不可)

関連スライド

各ページのテキスト
1.

Yahoo!  JAPAN  IDの裏裏側 ヤフー株式会社 データ&サイエンスソリューション統括本部  データインフラ本部 宮下  靖史 2015/11/24(⽕火)

2.

⾃自⼰己紹介 宮下  靖史 〜~  略略  歴  〜~ • 前職:  満8年年  (2004ʼ’04〜~2012ʼ’03) 官省省庁向けSIer事業(主にバイオインフォマ ティクス分野)においてSE業務に従事 • ヤフー(株):  3年年7ヶ⽉月  (2012ʼ’04〜~) ユーザーデータを保管・管理理するシステムの SE業務に従事  (2013ʼ’04〜~プロダクト責任者)

3.

Yahoo!  JAPAN  IDとは • サービス利利⽤用時に必要 – Yahoo!メール  や  ヤフオク!  をはじめとする、 ログインが必要となる様々なサービスを 利利⽤用する際に取得されている。 • Yahoo!  JAPAN専⽤用の「識識別⼦子」 – Yahoo!  JAPANのサービスを利利⽤用するための 名前である。※以降降「ヤフーID」と略略す。 1998年年からサービスを開始 プレスリリース • 1998年年7⽉月27⽇日  My  Yahoo!をはじめユーザー情報を利利⽤用した  4つの登録サービスを開始

4.

ユーザーデータベースとは • ヤフーIDの属性管理理DB – 各ヤフーIDの属性情報を格納するデータベースである。 ※NoSQLなY!独⾃自(KVS系)技術を採⽤用している。 • 社外連携⽤用IDの属性管理理DB – Yahoo!  ID連携  において社外システムで ヤフーID  を連携するためのデータベースである。 • ヤフーIDの認証情報管理理DB – ヤフーIDの認証情報(ログインパスワード、 秘密の質問など)を格納するデータベースである。

5.

ヤフーIDの属性管理理DB • 格納データ – ⽉月間アクティブユーザーID数:  3,094万   ※  ヤフーID総数は  2億8,000万以上 – 属性数:800種以上、平均データサイズ:6kB • システム – 接続クライアント:  10,000台以上 – リクエスト数:  約110k  rps  →  秒間11万@毎⽇日   →  過去最⼤大:  約200k  rps  (ロンドン五輪輪)         ※⼤大多数は「参照リクエスト」である。 – 構成サーバ:  1U  汎⽤用サーバ

6.

そこで質問です こんなヤフーIDの裏裏側ですが、 サーバ台数は?

7.

そこで質問です 〜~1000台くらい? 〜~500台くらい? 〜~100台くらい? 〜~10台くらい?

8.

そこで質問です 〜~1000台くらい? 〜~500台くらい? 〜~100台くらい? 〜~10台くらい?

9.

そこで質問です 〜~1000台くらい? 〜~500台くらい? 〜~100台くらい? 〜~10台くらい?

10.

そこで質問です 〜~1000台くらい? 〜~500台くらい? 〜~100台くらい? 〜~10台くらい?

11.

そこで質問です 〜~1000台くらい? 〜~500台くらい? 〜~100台くらい? 〜~10台くらい?

12.

そこで質問です 16台 (SPOFの最⼩小動作時) 四重化のため全容は 80台

13.

システムの⼤大刷新 • セキュリティの向上  <約⼀一年年> – 不不正アクセス対策 プレスリリース • 2013年年5⽉月23⽇日  「当社サーバーへの不不正なアクセスについて」(5/17発表)の追加発表 • 2013年年5⽉月17⽇日  当社サーバーへの不不正なアクセスについて • 2013年年4⽉月4⽇日  当社サーバーへの不不正なアクセスについて • テクノロジーの最新化  <約⼀一年年半> – アプリケーションの最新化、OSの変更更、 最新H/W(PCI-‐‑‒SSD)の採⽤用、システム構成の変更更

14.

システムの⼤大刷新 • セキュリティの向上  <約⼀一年年> – 不不正アクセス対策 プレスリリース • 2013年年5⽉月23⽇日  「当社サーバーへの不不正なアクセスについて」(5/17発表)の追加発表 • 2013年年5⽉月17⽇日  当社サーバーへの不不正なアクセスについて • 2013年年4⽉月4⽇日  当社サーバーへの不不正なアクセスについて • テクノロジーの最新化  <約⼀一年年半> – アプリケーションの最新化、OSの変更更、 最新H/W(PCI-‐‑‒SSD)の採⽤用、システム構成の変更更 5年年ぶりの⼤大刷新 2010年年以来、

15.

【刷新の成果  1/5】 セキュリティの向上 • 情報資産(=属性)のACL: 数種  →  すべて 個⼈人情報などの 秘 秘 極

16.

【刷新の成果  2/5】 冗⻑⾧長化度度の向上 ⼆二重化  →  四重化 • 接続: ※  無料料⽇日本地図イラスト素材  http://free-‐‑‒japan-‐‑‒map.com/01japan/05-‐‑‒japan.html

17.

【刷新の成果  3/5】 保守台数の削減 456台→80台 • サーバ数: ※  無料料⽇日本地図イラスト素材  http://free-‐‑‒japan-‐‑‒map.com/01japan/05-‐‑‒japan.html

18.

【刷新の成果  4/5】 パフォーマンスの向上 最⼤大9倍 • リクエスト:   200k  rps  →  1,800k  rps  (MAX) 450k  rps  (SPOF) ※  いらすとや  http://www.irasutoya.com/2014/06/ssd.html     SanDisk  http://www.sandisk.co.jp/enterprise/pcie_̲flash/

19.

【刷新の成果  5/5】 コストの削減 約7割を削減 • 維持費:   (数千万円/年年)   ※  素材屋⼩小秋  http://www.sozaiyakoaki.com/mar/osaifu-‐‑‒gamaguchi/     Frameillust  http://frame-‐‑‒illust.com/?p=2966

20.

2010年年以来、 5年年ぶりの⼤大刷新     

21.

2010年年以来、 5年年ぶりの⼤大刷新 切切替完了了

22.

システムの⼤大刷新が終わり、我々は

23.

システムの⼤大刷新が終わり、我々は 次の世代へ 挑戦中。。。

24.

お  わ  り 参加メンバーの紹介 宮下  靖史 薗頭  徹 ⼭山本  航平 興味を持たれたことがあれば、       気軽に話しかけてください