【Ltech#5】機械学習を用いた間取り画像の自動解析

249 Views

February 22, 19

スライド概要

2019年2月21日開催
Ltech#5 LIFULL HOME'S 機械学習Night2 
~若手エンジニアが語る機械学習事例~

AI戦略室 データサイエンティスト 椎橋怜史
・LIFULLの機械学習開発事例 ❝間取り図を解析して3Dモデルを作る❞
・将来の展望

profile-image

株式会社LIFULL

@LIFULL

スライド一覧

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

機械学習を用いた間取り画像の自動解析 AI戦略室 椎橋怜史 2019/02

2.

自己紹介 • 椎橋 怜史 (しいばしさとし) • 2016年4月 LIFULL 新卒入社 • データサイエンティスト Qiita: @shiibass Twitter: @shiibass 興味ある分野 • 量子コンピュータ • 数理最適化 • 強化学習 • ゲーム理論 • データ分析、機械学習開発を担当 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

3.

今日はLIFULLの機械学習開発事例を紹介しま す © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

4.

間取り図を解析して3Dモデルを作る 物体認識・間取り構造推定 参考論文“Raster-toVector: Revisiting Floorplan Transformation” 部屋の3Dモデル 間取り図 縮尺・長さ推定 〇m その他技術 © LIFULL Co.,Ltd. 4 本書の無断転載、複製を固く禁じます。

5.

間取り画像の教師データ作成 間取り画像→テキストデータ(座標とラベル) 515,912.,657,930,balcony 583,133,638,152,bathroom 661,104,758,247,bathtub 204,36,343,262,bedroom 1000枚ほど © LIFULL Co.,Ltd. 5 本書の無断転載、複製を固く禁じます。

6.

人間の骨格認識技術を応用する Pose Estimation(骨格認識)技術 どこに人間のどの部位があるかをそれぞれ学習している Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 6 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

7.

こういうの Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 7 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

8.

画像と座標データを学習させて間取りの 骨格を認識(転移学習) 間取り画像のどこにパーツがあるかをそれぞれ学習させる ドアの骨格 predict 壁の交差点の骨格 この形→ © LIFULL Co.,Ltd. 8 本書の無断転載、複製を固く禁じます。

9.

画像と座標データを学習させて間取りの 骨格を認識(転移学習) 間取り画像のどこにパーツがあるかをそれぞれ学習させる ドアの骨格 predict 壁の交差点の骨格 この形→ © LIFULL Co.,Ltd. 9 本書の無断転載、複製を固く禁じます。

10.

骨格情報から部屋情報を推定する 人間の骨格は一意(頭→首→胴体など) 部屋構造は一意ではない ドアの骨格 壁の骨格 骨格情報から 矛盾が起きない部屋 構造を推定する (どうやって?) キッチンカウンターの骨格 などその他いくつか © LIFULL Co.,Ltd. 10 本書の無断転載、複製を固く禁じます。

11.

制約充足問題に定式化 機械学習(ML) ・制約なし(基本的には) ・損失関数の最小解を探索 ・凸最適化(基本的には) 制約充足問題(CSP) ・制約条件を満たす解を探索 ・基本的にNP問題 最適化 教師あり CSP 機械学習 イメージ↑ © LIFULL Co.,Ltd. 11 本書の無断転載、複製を固く禁じます。

12.

制約充足問題の例 虫食い算 ABCD +C A E F GDBCA A~Gは0から9のいずれ かでそれぞれ異なる 制約: • 0 <= A,B,…, G <= 9, Integer • A != B, A != C,…, F != G • x, y,… ダミー変数 • D + F = 10 * x + A • C + E + x= 10 * y + C • … 巨大になればなるほど総当たり計算やルー ルベースロジックは対応しにくくなる 12 © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。

13.

制約充足問題の例 図形解釈 解釈パターン(+,-,→)を定義して、 各辺に解釈のパターンを割り当てる問題 矛盾なく割り当てられれば解釈成功 変数:各変数のラベル(+,-,→)を どれに割り当てるか 制約:解釈に矛盾がない © LIFULL Co.,Ltd. 13 本書の無断転載、複製を固く禁じます。

14.

制約充足問題の例 図形解釈に矛盾があるとは? どう見えますか? © LIFULL Co.,Ltd. 14 本書の無断転載、複製を固く禁じます。

15.

制約充足問題に定式化 • ドアや窓は壁と密着している • 部屋は四方を壁で囲まれている • その他 などの制約をすべて満たす解釈方法を探索 (最適化ソルバー:gurobi) ドアの骨格 壁の骨格 © LIFULL Co.,Ltd. 15 本書の無断転載、複製を固く禁じます。

16.

学習結果 Predict and Optimize Predict・・・ディープラーニングで物体を認識 Optimize・・・認識したパーツを組み合わせ、 無矛盾な解釈を探索する © LIFULL Co.,Ltd. 16 本書の無断転載、複製を固く禁じます。

17.

縮尺・長さの推定 バルコニー、室外を除外 専有面積としてカウントする領域のみを抽出 ↓ 平易な数値計算で縮尺を計算 © LIFULL Co.,Ltd. 17 本書の無断転載、複製を固く禁じます。

18.

将来の展望 Predict Optimize ※イメージ 3D Rendering © LIFULL Co.,Ltd. 18 本書の無断転載、複製を固く禁じます。