【Ltech#5】説明可能な機械学習~価格査定とチャットボットを通して

132 Views

February 27, 19

スライド概要

2019年2月21日開催
Ltech#5 LIFULL HOME'S 機械学習Night2 
~若手エンジニアが語る機械学習事例~

LT者:LIFULL AI戦略室 横山貴央

profile-image

株式会社LIFULL

@LIFULL

スライド一覧

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

説明可能な機械学習 価格査定とチャットボットを通して AI戦略室 横山 貴央

2.

説明可能な機械学習 2 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

3.

総務省 AI開発ガイドライン案 (2017) • 透明性の原則: 開発者は、AIシステムの入出力の検証可能性及び 判断結果の説明可能性に留意する。 • アカウンタビリティの原則: 開発者は、利用者を含むステークホルダに対しア カウンタビリティを果たすよう努める。 http://www.soumu.go.jp/main_content/000499625.pdf 3 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

4.

機械学習における解釈性 • 機械学習における解釈性 (Interpretability in Machine Learning) – https://www.ai-gakkai.or.jp/my-bookmark_vol33-no3/ – https://www.slideshare.net/SatoshiHara3/ss-126157179 • 「AIはブラックボックスで信頼できない?」 →説明性、解釈可能性を担保するための取り組み → AIを使ったアプリケーションを「育てていく」際にも 使える視点だと思います 4 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

5.

The big picture of Interpretable Machine learning 例)説明可能性を満たしやすい手法を導入する ・線形回帰 ・決定木 ・…. https://christophm.github.io/interpretable-ml-book/ Chapter 5 Model-Agnostic Methods 5 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

6.

「よい説明」が持つべき要素(抜粋) • • • • • • • Accuracy 未知データに対する正確性 Fidelity 近似性(モデル間が近似になっている) Consistency 同じデータで異なる類似モデルでも説明が似る Stability 同じモデルで異なる類似データでも説明が似る Comprehensibility 人間にとってわかりやすい Certainty 説明がどれだけ正しそうかを示せる Representativeness 予測したい事例をカバーできている https://christophm.github.io/interpretable-ml-book/ 2.5 Properties of Explanations 6 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

7.

自己紹介 7 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

8.

自己紹介 Yokoyama Takao 横山 貴央 AI戦略室 出身: バイオ+統計 資格: 臨床検査技師 8 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

9.

経歴 2015年4月 入社 BO開発グループ~MAM開発グループ ・アクセス異常検知 ・反響予測 AI推進ユニット~AI戦略室 ・チャットボット ・不動産価格推定 9 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

10.

経歴 2015年4月 入社 BO開発グループ~MAM開発グループ ・アクセス異常検知 ・反響予測 AI推進ユニット~AI戦略室 ・チャットボット ・不動産価格推定 10 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

11.

経歴 2015年4月 入社 BO開発グループ~MAM開発グループ ・アクセス異常検知 ・反響予測 AI推進ユニット~AI戦略室 ・チャットボット ・不動産価格推定 11 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

12.

チャットボット 12 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

13.

住まい探しのサポートセンター • 探し方がわからず離脱してしまうお客様を 減らしたい! • 専門のアドバイザーが、 電話、メール、チャットで待機 • 住まい探しのお困り事や、 探し方のご相談に無料で対応 13 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

14.

サービス画面デモ 14 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

15.

Bot導入によって変わったこと • 対応時間の延長 10時~19時 → 年中無休に! • 対応フローの分離 →人間はより専門的な業務に 15 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

16.

Bot導入前 単純な応答 コンシェルジュ 16 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

17.

人間はより専門的な業務に! 単純な応答 コンシェルジュ 17 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

18.

人間はより専門的な業務に! 単純な応答 コンシェルジュ botで対応完了したケースが、 閑散期で 10~15% 繁忙期で 20~25% 18 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

19.

どういう仕組み? 19 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

20.

想定される文章を大量に学習させた • 20 Microsoft LUISを利用(入力文→ラベル付けをしてくれる) © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

21.

ユーザーからの自由入力に対してラベルとスコアを返却 21 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

22.

これは説明可能性を満たしているか? 22 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

23.

これは説明可能性を満たしているか? →…十分に満たしてない。 例えば誤分類が起きたときに、何が原因か確認でき るようにしておくべき。 ※ただし、重大な影響がない場合は、説明可能性は必要ない。 23 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

24.

不動産価格査定 24 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

25.

不動産価格査定 • 不動産鑑定士 – – 個別の地域に強い 有料。お手軽には相談しにくい いろんな地点の情報を一度に知りたい場合は? ざっくりとした参考値を手軽に知りたい場合は? 25 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

26.

不動産価格査定 • 不動産鑑定士 – – 個別の地域に強い 有料。お手軽には相談しにくい いろんな地点の情報を一度に知りたい場合は? ざっくりとした参考値を手軽に知りたい場合は? 物件の参考価格が手軽に調べられる サービスがあると便利! 26 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

27.

相場を知りたいときに無料で活用できる情報 LIFULL HOME’S PRICE MAP ・中古マンションの参考価格を地図上で一覧 ・全国の48万棟・470万戸を掲載 LIFULL HOME’S家賃・価格相場 ・エリア/駅別の家賃相場がわかる ・希望条件の設定も可能 ・中古マンション、戸建、土地をカバー 27 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

28.

サービス画面デモ 28 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

29.

どういう仕組み? 29 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

30.

線形回帰モデル • y:価格 • β:重み • x: 物件の属性(広さ、場所、築年、etc..) 30 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

31.

これは説明可能性を満たしているか? 31 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

32.

「よい説明」が持つべき要素(抜粋) • • • • • • • Accuracy 未知データに対する正確性 Fidelity 近似性(モデル間が近似になっている) Consistency 同じデータで異なる類似モデルでも説明が似る Stability 同じモデルで異なる類似データでも説明が似る Comprehensibility 人間にとってわかりやすい Certainty 説明がどれだけ正しそうかを示せる Representativeness 予測したい事例をカバーできている https://christophm.github.io/interpretable-ml-book/ 2.5 Properties of Explanations 32 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

33.

これは説明可能性を満たしているか? 一部満たしている! → だが、問題点もある。 – – 33 属性ごとの隠れた相互作用がある場合は? 予測したい対象が線形性を満たさない場合は? © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

34.

34 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

35.

例えば、モデルを分ける 35 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

36.

目的ごとにモデルを用意して、相互に近似するようにする 36 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

37.

まとめ 37 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

38.

まとめ 1. 「説明可能性」は「よいAI」の指針になるかも 2. プロダクトの初期は満たせないこともある 3. サービスを機械学習的に「改善していく」場合に 参考になるかもしれません 38 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

39.

まとめ 1. 「説明可能性」は「よいAI」の指針になるかも 2. プロダクトの初期は満たせないこともある 3. サービスを機械学習的に「改善していく」場合に 参考になるかもしれません 4. 懇親会でぜひお話しましょう! 39 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

40.

Fin 40 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。