【Ltech#11】ディープラーニングで間取り図を3Dにする

1.8K Views

October 29, 20

スライド概要

2020/10/29 Ltech#11 不動産領域のAI活用最前線 〜初完全リモート開催〜
AI戦略室データサイエンスグループ 椎橋 怜史

profile-image

LIFULL HOME'Sを運営する株式会社LIFULLのアカウントです。 LIFULLが主催するエンジニア向けイベント「Ltech」等で公開されたスライド等をこちらで共有しております。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

Ltech 11 ディープラーニングで間取り図を3Dにする 株式会社LIFULL 椎橋怜史

2.

自己紹介 ・椎橋怜史 ・2016年LIFULL入社 ・機械学習の研究開発をやっています ・https://qiita.com/shiibass ・ https://github.com/shiibashi

3.

空飛ぶホームズくんの裏側のアルゴリズムの話 https://japan.cnet.com/article/35159709/

4.

アルゴリズムの流れ ④3D ①元画像 ②セマンティック画像 ディープラーニング (画像認識) ③ポリゴンデータ 画像処理 (間取り解釈)

5.

セマンティックセグメンテーションタスクで学習 各ピクセルごとにクラス分類をする機械学習タスク

6.

アルゴリズムの流れ ④3D ①元画像 ここの話 ②セマンティック画像 ディープラーニング (画像認識) ③ポリゴンデータ 画像処理 (間取り解釈)

7.

参考にした論文:Deep Floor Plan Recognition Using a Multi-Task Network with Room-Boundary-Guided Attention この論文の特徴 ・attention層をいれることで精度向 上 ・direction-aware kernelsをいれるこ とで精度向上 詳しくは https://openaccess.thecvf.com/content_ICCV_ 2019/papers/Zeng_Deep_Floor_Plan_Recogni tion_Using_a_MultiTask_Network_With_Room-BoundaryGuided_ICCV_2019_paper.pdf

8.

LIFULLではアイコンを追加して3種類の出力層を構築 line出力層, LovasLoss room出力層, CrossEntropyLoss semantic-segmentation タスクとして最適化する icon出力層,CrossEntropyLoss

9.

実装関連箇条書き ● minimize: LovaszLoss + w_1 CrossEntropyLoss_room + w_2 CrossEntropyLoss_icon w_1とw_2は定数 ● ● ● ● ● ● ● Pytorch, albumentations(augmentation用) opencv(画像処理) 活性化関数 Funnel Activation https://arxiv.org/pdf/2007.11824.pdf AWS EC2: p3.2xlarge 1台 学習48時間 学習データ間取り図3500枚、アノテーションはクラウドソーシング+自分たち line (壁, ドアの2種類) room(9種類) icon(6種類)

10.

Data Augmentation https://github.com/albumentationsteam/albumentations ● ● ● ● VertivalFlip HorizontalFlip Rotate CLAHE + Logo(custom augmentation) Logo

11.

Annotation ● 外注したアノテーションの検収が大変 ● 単純作業だけど間違えられないので集中力 使う ● 長時間アノテーションで肩がこる、腰が痛 くなる ● 筋トレしてなかったら身体壊れてた ● エンジニアは運動も仕事の一貫 アノテーションツ ールCVAT

12.

推論結果

13.

アルゴリズムの流れ ④3D ここの話 ①元画像 ②セマンティック画像 ディープラーニング (画像認識) ③ポリゴンデータ 画像処理 (間取り解釈)

14.

基本は輪郭抽出だが、プラスで工夫が必要 ピクセル単位でラベルが 割り当てられたデータ 輪郭抽出してポリゴンの 頂点のみ保持するデータ

15.

プラスの工夫:認識と解釈は別問題1 ● 赤で囲った2つのドア ● ディープラーニングはこれらを同一視する ● 人間なら浴室にあるのは小窓でバルコニー にあるのは人間が行き来できるサイズと解 釈できる ↓ ディープラーニングには認識のみさせる 3D化で違和感ないような解釈はルールで記述

16.

プラスの工夫:認識と解釈は別問題2 元画像 どこがNGか? 推論結果 赤で囲ったドアは 正しく認識できている 輪郭抽出結果 ドアの輪郭を 正しく抽出できている

17.

プラスの工夫:認識と解釈は別問題2 常識的に考えて、ドアは 2つに分かれてるはず 元画像 推論結果 赤で囲ったドアは 正しく認識できている 画像処理でドアを分割 ディープラーニングの推 論結果を塗り替える

18.

アルゴリズムの流れ ④3D ここは省略 ①元画像 ②セマンティック画像 ディープラーニング (画像認識) ③ポリゴンデータ 画像処理 (間取り解釈)

19.

3Dになるとこうなります https://japan.cnet.com/article/35159709/

20.

おわり