「新しいおうち探し」のためのAIアシスト検索 #yjtc

タグ yjtc

スライド概要

Yahoo!不動産では「新しいおうち探し」が体験できるAIアシスト検索を提供しています。AIアシスト検索ではさまざまな軸をレコメンドすることによって検索をサポートしています。本セッションでは、AIアシスト検索のレコメンドがクラスタリングや深層学習といった手法を使って、どのように実現されているのかを紹介します。

Yahoo! JAPAN Tech Conference 2022は2022年2月3日、4日に開催しました。
https://techconference.yahoo.co.jp/2022/

アーカイブ動画はこちらからご覧ください。
https://youtu.be/-uhdjlcfcmQ

profile-image

Yahoo!デベロッパーネットワーク

@ydnjp

作者について:

エンジニア・デザイナー向けのヤフー公式アカウント。イベント/登壇情報/ブログ記事など、ヤフーの技術・デザインに関わる情報を発信します。

スライド一覧
シェア
埋め込む»CMSなどでJSが使えない場合

公開日

2022-02-02 17:30:00

各ページのテキスト

1. 「新しいおうち探し」のためのAIアシスト検索 COOバーティカル統括本部プロダクション2本部不動産開発部 アンドン 聖司 ©2022 Yahoo Japan Corporation All rights reserved.

2. 写真いれる アンドン 聖司 不動産開発部 Yahoo!不動産の賃貸領域のFE/BEの開発を担当 2019年⼊社 趣味は映画鑑賞 業務では主にJava・TypeScript ©2022 Yahoo Japan Corporation All rights reserved.

3. このセッションについて Yahoo!不動産では「新しいおうち探し」が 体験できるAIアシスト検索を提供しています 今回はどのような技術によって実現されているのかを紹介します ©2022 Yahoo Japan Corporation All rights reserved.

4. AIによる新しいおうち探し AIアシスト検索で何を実現したいのか • 従来の不動産サイトでは、数百万もの物件からユーザーが条件を絞り込み、 物件の検索を⾏う • 不動産サイト側から、ユーザーの趣向や意図を適切に汲んだ レコメンド機能がない AIがアシスタントとなって、ユーザーの物件探しをお⼿伝い 店舗にいかずとも、対⾯接客と同等の物件提案が体験できる 従来は店舗で 提案された内容 ©2022 Yahoo Japan Corporation All rights reserved. 店舗に⾏かずとも オンラインで体験できる

5. AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸(≒切り⼝)で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

6. AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸(≒切り⼝)で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

7. AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸(≒切り⼝)で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

8. AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸(≒切り⼝)で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 計 27軸 Yahoo!不動産 AIアシスト検索 ©2022 Yahoo Japan Corporation All rights reserved. 検索

9. AIによる新しいおうち探し AIアシスト検索の主な機能 l 様々な軸(≒切り⼝)で 物件をレコメンド • 価格軸 • パーソナライズ軸 • クチコミ軸 • 画像軸 • その他の軸 各軸をどのように実現しているか ©2022 Yahoo Japan Corporation All rights reserved.

10. ユーザークラスタリングによる物件レコメンド パーソナライズ軸 1. ユーザーの⾏動履歴を元に 5種類のクラスタに分類 2. 各クラスタに分類された ユーザーが⾒ている物件をまとめてリスト化 3. 「あなたの検索傾向からおすすめ」軸として レコメンド ©2022 Yahoo Japan Corporation All rights reserved.

11. ユーザークラスタリングによる物件レコメンド 素性データを⽤いたクラスタリング l Yahoo!不動産に訪問したユーザーの⾏動ログを抽出し、クラスター分析 • 物件情報、ユーザー情報を素性データに採⽤ l k-means法によるクラスタリング • k-means - ⾮階層クラスタリングを⾏うためのアルゴリズム、実⾏速度が速く拡張性が⾼い 素性データ 物件情報 アクセスした物件 CVした物件 × クラスタリング 素性データの 組み合わせを 入れ替え ユーザー 素性B ユーザー情報 年齢/性別 検索条件 ©2022 Yahoo Japan Corporation All rights reserved. ユーザー素性A

12. ユーザークラスタリングによる物件レコメンド クラスタリング結果 l 5つのクラスタに分類 • 0:⼾建、アパート、部屋数が多い、広い、… • 1:アパート、安め、狭い、⽊造、… • 2:マンション、安め、狭め、早く⼊居したい、… • 3:マンション、⾼め、広め、駅近、オートロック、… • 4:アパート、⾼め、宅配ボックス、駐⾞場、… クラスタを以下のように定義 5つ の ユーザー クラスタ クラスタ0 部屋が多く 広い物件に住みた いファミリー層 ©2022 Yahoo Japan Corporation All rights reserved. クラスタ1 クラスタ2 クラスタ3 クラスタ4 ⼀⼈暮らしで 家賃安めの お⾦と⽇程に 広めのアパートに 家賃低めの物件に マンションに 余裕がある お得に住みたい 早めに⼊居したい 住みたい ファミリー層

13. ユーザークラスタリングによる物件レコメンド クラスタ毎の物件リスト l 各クラスタを主成分分析 • 得られた定数を各指標と掛け合わせてスコアを算出 αが⼤きいほど過去の情報を保持し、 αが⼩さいほど直近の情報に寄る w - 主成分分析に基づいて得られた重み l 各クラスタのユーザーが⾒ている物件をスコア化し、スコアが⾼い順でレコメンド ©2022 Yahoo Japan Corporation All rights reserved. 順位 物件ID スコア 1 2 3 … 1001 2345 1234 … 5.123 4.678 2.345 … 順位 物件ID スコア 1 2 3 … 5432 9012 3456 … 5.653 4.248 3.845 …

14. 物件のクチコミを⽤いたスコアリング クチコミ軸 l 物件のクチコミ + 評点を独⾃の計算式でスコア化 l 算出したスコアを⽤いて、以下のような軸で 物件をレコメンド • ユーザの評価が⾼い • 建物・お部屋の満⾜度が⾼い • ⽴地・環境の評価が⾼い • デザイン・外観の評価が⾼い • 治安・安全の評価が⾼い • ・・・ ©2022 Yahoo Japan Corporation All rights reserved.

15. 物件のクチコミを⽤いたスコアリング ヤフー不動産における物件のクチコミ l ユーザーが投稿した物件のクチコミ • クチコミ観点 9種類の観点(お部屋の満⾜度、周辺環境・交通など) • クチコミ点数 0〜5でクチコミ観点ごとの点数 • コメント 各クチコミのコメント ©2022 Yahoo Japan Corporation All rights reserved.

16. 物件のクチコミを⽤いたスコアリング クチコミのスコアリング(改善前) l 以下の計算式でスコアを算出 • クチコミ情報以外に物件のCTR(クリック率)を利⽤ • CTRの重みは定性評価を⾏い、x0.5を採⽤ v CTRの重みを3パターンで定性評価 0.5 , 1.0, 2.0 score =クチコミ点数の平均点 + 重み v 点数が3以上のコメントの総数を 0~0.5 の範囲に納まるよう変換 f(CTR) + g(コメント数) 物件のCTR(クリック率)を0~1の 範囲にばらつくよう変換 ©2022 Yahoo Japan Corporation All rights reserved.

17. 物件のクチコミを⽤いたスコアリング クチコミのスコアリング(改善前) l 計算式の問題点 • クチコミ点数の平均値を使っているため、クチコミの数を考慮できていない • クチコミ1件でクチコミ点数5の物件が上位に来る score =クチコミ点数の平均点 + 重み f(CTR) + g(コメント数) WIN! score = 5.123 ©2022 Yahoo Japan Corporation All rights reserved. score = 4.842

18. 物件のクチコミを⽤いたスコアリング ⼆項分布による信頼区間算出 l クチコミ件数が多く、平均レビュー点数が⾼い物件を上位に表⽰させたい • ⼆項分布の信頼区間を使った⽅法で解決 • 信頼区間はクチコミ件数が多いほど狭くなる性質 • 信頼区間の下限値を利⽤ 信頼区間が広い 下限値 平均点数︓5.0 クチコミ数︓1 5.0 0 WIN! 平均点数︓4.6 信頼区間が狭い クチコミ数︓30 0 ©2022 Yahoo Japan Corporation All rights reserved. 10 4.6 下限値 10

19. 物件のクチコミを⽤いたスコアリング スコア算出結果 l レビュー件数の少ない物件のスコアは 単純な平均点数より⼩さく⾒積もられる クチコミ数 クチコミ 平均点 算出結果 1 5 3.39 10 4 3.50 クチコミ数 クチコミ 平均点 算出結果 10 4 3.50 100 4 3.85 1000 4 3.96 l クチコミ数が⼤きいほど平均点数に近づく ©2022 Yahoo Japan Corporation All rights reserved.

20. 外観画像のスコアリング 画像軸 l 不動産会社から⼊稿される物件の外観画像は、 間取り図の画像も含まれている 1. 機械学習を使って画像をカテゴリ分類し、 外観画像のみ抽出 2. 外観画像を解析し、画像の美しさをスコアリング (審美スコア) 3. スコアが⾼い順に物件を並べ、 「外観がかっこいい物件」軸としてレコメンド ©2022 Yahoo Japan Corporation All rights reserved.

21. 外観画像のスコアリング 深層学習による画像のカテゴリ分類 l EfficientNetをベースにしたモデルを作成 • EfficientNet-B2 - 画像認識において処理時間を抑えつつ⾼精度 • Yahoo!不動産の画像データで 転移学習(FineTuning) 事前学習 (pretrain) 転移学習 (FineTuning) EfficientNet ベースモデル imageNet リビング 間取り 洗面 外観 外観 トイレ FineTuning 81カテゴリに分類 ©2022 Yahoo Japan Corporation All rights reserved.

22. 外観画像のスコアリング 深層学習による画像のカテゴリ分類 l 81カテゴリで、正解率74.24% l 間取り図の分類は正解率99.24% • 学習データ: 1,737,337枚 • テストデータ: 193,037枚 l 混同しやすいカテゴリ(「リビングダイニング」と「居間・リビング」など)が いくつかあり、そこで不正解になる傾向 正解例 不正解例 外観画像である確率が 高く判定できている ©2022 Yahoo Japan Corporation All rights reserved. 子供部屋である確率が 低く判定されている

23. 外観画像のスコアリング 深層学習による外観画像のスコア化 l GoogleのNIMAをベースにしたモデルを作成 • NIMA - 画像が技術的に審美的に美しいかを採点するCNNベースの画像評価モデル • 重いモデルを軽くするために蒸留(knowledge-distillation)し、軽いモデルで学習 • 学習には不動産のデータはなく公開データ(Open Images)を利⽤ 公開データ ©2022 Yahoo Japan Corporation All rights reserved. EMD Loss 審美スコアモデル (NIMAベース)

24. 外観画像のスコアリング 深層学習による外観画像のスコア化 l 基本的に外観画像が綺麗なものがスコアが⾼い • テストデータ︓賃貸物件の外観画像(10000枚) • 間取り図のスコアが⾼い • 違和感があるスコアの画像もある 外観画像が綺麗 ©2022 Yahoo Japan Corporation All rights reserved. 不動産のデータを使って学習し精度をあげる 間取り図 画像はきれいだが・・・

25. まとめ まとめ l Yahoo!不動産では「対⾯接客と同等の物件提案の体験」を⽬指した AIアシスト検索を提供している l AIアシスト検索では以下のような機能を実現している • ユーザーの⾏動履歴を⽤いてユーザークラスタリングを⾏い、ユーザーに適した 物件をレコメンド • 物件のクチコミを⽤いたスコアリングによる、クチコミ評価の⾼い物件のレコメンド • 外観画像の画像解析によってスコアリング⾏い、外観がかっこいい物件をレコメンド ©2022 Yahoo Japan Corporation All rights reserved.

26. まとめ 今後の展望 l Yahoo!不動産では「対⾯接客と同等の物件提案の体験」を⽬指した AIアシスト検索を提供している l 学習モデルの精度向上を⾏い、より⾼精度なレコメンド⾏う • Yahoo!不動産以外のサービスにおける⾏動履歴の利⽤ l 地図UIや対話型学習(条件拡張/緩和)などを⽤いて、 よりインテリジェンスな機能を提供 ©2022 Yahoo Japan Corporation All rights reserved.

27. ©2022 Yahoo Japan Corporation All rights reserved.