Apache Kylinについて #hcj2016
>100 Views
February 19, 16
スライド概要
懇親会LTのスライドです。
http://hadoop.apache.jp/hcj2016-program/
2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp
関連スライド
各ページのテキスト
Apache Kylinについて Hadoop / Spark Conference Japan 2016 ヤフー株式会社 古山 慎悟 2016年2月8日 http://www.yahoo.co.jp/
はじめに Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2
続きはRejected HCJ 2016で!!! http://www.zusaar.com/event/17397003 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 3
ここから本編 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 4
Apache Kylinについて • アーキテクチャ • OLAPの実行エンジンで、キューブをプレビルドしオンライ ンのクエリのレイテンシを下げる戦略をとっている プレビルドしたキューブはHBaseに配置し、クエリの実行 時にはプレビルドしたキューブから結果セットを生成する 強み • キューブをプレビルドするので、“BigAccount”的なファクトの 多重度の歪みに強い 弱み • ディメンションの多重度の歪みに弱い Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 5
アーキテクチャ 出所:http://www.ebaytechblog.com/2014/10/20/announcing-kylin-extreme-olap-engine-for-big-data/ Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 6
強み • • ほとんどのデータはパレート則的にファクトの多重度に歪みをみせる • たとえば、取引をたくさんしてくれている上客(BigAccount)であればある ほどその顧客に関するデータ量が大きくなる • そのユーザーのためのクエリを返すためのワークロードが他の顧客より多 いので、そのユーザーにとってのUXが損なわれる Kylinのアーキテクチャだと、上記のようなファクトの歪みがクエリのレイテ ンシに影響しない • たとえば、顧客IDに対する集計をプレビルドしておけば、顧客別の集計結 果を返すために必要なワークロードはどの顧客でも1件のlookupになる （こともある） • さらに、アプリケーションからは、SQLを介してプレビルドしたキューブ が透過的にみえるので、パフォーマンスチューニングのためにデータを再 設計する必要がない Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7
弱み • • 一方で、ディメンジョンの多重度には弱い • ディメンジョンの多重度:値の種類(ex. 男女) • ファクトの多重度:値の種類ごとのレコード数 Kylinのアーキテクチャだと、キューブのディメンジョンの組み合わせ数に相 当するくらいのキー数のデータにプレビルドする（こともある） • ディメンション表に多重度が多いカラムがあると(100万以上とか)、 キューブのビルドが遅くなり、クエリのレイテンシにも悪影響がある • 組み合わせを素直につくらない仕組みや(Aggregation Group)、組み合わ せをなるべく減らす仕組み(Mandatory Dimension, Hierarchy Dimension, Derived Dimension)が実装されている • • ご参考: http://www.slideshare.net/YangLi43/design-cube-in-apache-kylin でも辛い Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8
おわりに Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 9
続きはRejected HCJ 2016で!!! http://www.zusaar.com/event/17397003 Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 10
EOP Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 11