ヤフーを支えるレコメンデーションエンジン #yjtc / YJTC21 A-5

1.9K Views

January 12, 21

#yjtc

スライド概要

ヤフオク!やYahoo!知恵袋をはじめとしたヤフーの多くのサービスにはレコメンデーションが導入されています。サービスによって求められる用途は異なり、扱うデータもさまざまです。ヤフーでは多くのサービスの期待に応える汎用レコメンデーションエンジンを構築しています。
本セッションでは、汎用レコメンデーションエンジンについてお話しし、また、最新のレコメンデーションロジック等を用いたデータサイエンスによるビジネス課題の解決事例についても紹介します。

Yahoo! JAPAN Tech Conference 2021 は2021年1月22日に開催しました。
https://techconference.yahoo.co.jp/2021/

Yahoo!デベロッパーネットワーク

@ydnjp

スライド一覧

2023年10月からSpeaker Deckに移行しました。最新情報はこちらをご覧ください。 https://speakerdeck.com/lycorptech_jp

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

（ダウンロード不可）

関連スライド

深層学習による自然言語処理入門: word2vecからBERT, GPT-3まで

Yahoo!デベロッパーネットワーク 193.8K

ゼロから始める転移学習

Yahoo!デベロッパーネットワーク 92.3K

ヤフーにおける WebAuthn と Passkey の UX の紹介と考察 #idcon #fidcon

idcon fidcon

Yahoo!デベロッパーネットワーク 82.6K

OpenID Connectとネイティブアプリを取り巻く仕様と動向 Yahoo! JAPANの取り組み #openid #openid_tokyo

openid openid_tokyo

Yahoo!デベロッパーネットワーク 65.5K

運用業務とスクラムは本当に組み合わせにくいのか︖運用業務が大半を占めるプロダクト開発での試行錯誤

devsumi

Yahoo!デベロッパーネットワーク 43.3K

ヤフーのオンプレ機械学習基盤AIPFについて #ml_kubernetes

ml_kubernetes

Yahoo!デベロッパーネットワーク 33.7K

各ページのテキスト

石上裕之テクノロジーグループサイエンス統括本部サイエンス2本部 2016年度新卒入社レコメンデーションエンジンPJにて開発運用チームのリーダーを担当コーヒーとキーボードにこだわりがある Copyrights 2019 Yahoo Japan Corporation. All Rights Reserved. ©2021 Yahoo Japan Corporation All rights reserved.

10.

11.

12.

汎用レコメンデーションエンジン 1. 利用シーンに合ったレコメンデーション Item to Item - アイテムに着目したレコメンデーション - 利用シーン：関連商品 / よく一緒に購入されている商品 User to Item - ユーザに着目したレコメンデーション - 利用シーン：『あなたにおすすめ』 ©2021 Yahoo Japan Corporation All rights reserved. 12

13.

14.

15.

16.

17.

18.

19.

20.

レコメンデーション改善施策汎用レコメンデーションエンジンにおける改善施策今回は2つの事例を紹介 1. Item to Itemレコメンデーションへの新アルゴリズム導入 - レコメンデーションにより多くの情報を反映 2. User to Itemレコメンデーションにおけるカバレッジ改善 - レコメンデーションを提示できるユーザーの範囲を拡大 ©2021 Yahoo Japan Corporation All rights reserved.

21.

Item to Itemレコメンデーションへの新アルゴリズム導入これまでのItem to Itemレコメンデーション従来の手法は頻度集計に基づく実績ベースのアルゴリズム特徴： - 実績値に基づく精度の高いレコメンデーションを実現課題： - N件のアイテムをレコメンデーションするという保証が難しい - アイテムに紐づくメタデータを扱えない（タイトル, カテゴリ情報, etc.） - アイテムに対するアクションの違いを考慮できない（閲覧, 購入, etc.） ©2021 Yahoo Japan Corporation All rights reserved.

22.

Item to Itemレコメンデーションへの新アルゴリズム導入課題に対する改善アプローチ N件のアイテムをレコメンデーションするという保証が難しい →ベクトル検索の採用アイテムに紐づくメタデータを扱えない →fastText (Mikolov+) の利用アイテムに対するアクションの違いを考慮できない →Interaction - Specific Embeddings (Zhao+ WWW ‘20) の適用 ©2021 Yahoo Japan Corporation All rights reserved.

23.

Item to Itemレコメンデーションへの新アルゴリズム導入ベクトル検索の採用ベクトル検索：アイテムをベクトル空間へと埋め込んだ上で入力されたアイテムに対して指定個数分の近傍アイテムを探索・出力する手法特徴：どのアイテムに対しても任意個の近傍を取得可能 →レコメンデーションの返却件数を保証可能にベクトル空間における近傍アイテム探索イメージ入力 ©2021 Yahoo Japan Corporation All rights reserved.

24.

25.

Item to Itemレコメンデーションへの新アルゴリズム導入 Interaction-Specific Embeddingsの適用 Interaction-Specific Embeddings：アイテムのベクトル表現を得る際にユーザのアクションを考慮する手法 →アクションの違いを反映したレコメンデーションが実現可能に机A を「閲覧した」ユーザへのオススメ机B 机C を「買った」ユーザへのオススメ椅子A 椅子B ©2021 Yahoo Japan Corporation All rights reserved.

26.

Item to Itemレコメンデーションへの新アルゴリズム導入新アルゴリズムの特徴ベクトル検索という枠組みを採用した上でアイテムをベクトル空間へと埋め込む手法としてfastText, Interaction-Specific Embeddingsを利用・レコメンデーションの返却件数の保証・メタデータを考慮したレコメンデーションの実現・アイテムに対するアクションの違いをレコメンデーションへと反映 ©2021 Yahoo Japan Corporation All rights reserved.

27.

Item to Itemレコメンデーションへの新アルゴリズム導入導入事例ヤフオク!の商品詳細ページ内「お探しの商品からのおすすめ」欄 ※ 図はイメージショルダーバッグ入札件数残り時間 0 入札履歴 1 日詳細現在価格 5,000円(税0円) 送料落札者負担配送方法の詳細入札する即決価格 10,000円(税0円) 送料落札者負担配送方法の詳細今すぐ落札する中略お探しの商品からのおすすめ送料無料もうすぐ終了本日終了ショルダーバッグショルダーバッグショルダーバッグショルダーバッグショルダーバッグショルダーバッグ現在 2,000円即決 30,000円現在 10,000円現在 5,000円現在 1,000円現在 15,000円 ©2021 Yahoo Japan Corporation All rights reserved.

28.

User to Itemレコメンデーションにおけるカバレッジ改善 User to Itemレコメンデーションの課題と改善アプローチ従来の手法：当該サービスの閲覧履歴を元にユーザが次に閲覧するアイテムを予測課題：当該サービスの訪問実績がない新規ユーザに対してはレコメンデーション不可能アプローチ：ヤフーの他サービスの利用実績をユーザの特徴として利用することでレコメンデーションが可能なユーザの範囲を拡大 ©2021 Yahoo Japan Corporation All rights reserved.

29.

30.

31.

32.

33.

User to Itemレコメンデーションにおけるカバレッジ改善 User to Itemレコメンデーションの新手法の特徴レコメンデーションエンジンの学習に当該サービスの閲覧履歴だけでなくヤフーの他サービスの利用実績をユーザの特徴として利用・より多くのユーザに対してレコメンデーションすることが可能に・レコメンデーションの性能も従来法と同等以上を達成 ©2021 Yahoo Japan Corporation All rights reserved.

34.

User to Itemレコメンデーションにおけるカバレッジ改善導入事例 Yahoo! JAPANトップページ内「あなたにおすすめの施設」欄 ※ 図はイメージトラベルヤフオク! ショッピングあなたにおすすめの施設 Yahoo!トラベル五つ星ホテル五つ星ホテル五つ星ホテル五つ星ホテル五つ星ホテル五つ星ホテル写真：アフロ, PantherMedia/イメージマート ©2021 Yahoo Japan Corporation All rights reserved.

35.

36.