---
title: 【Ltech#5】機械学習を用いた間取り画像の自動解析
tags:  #機械学習 #データサイエンティスト #ai #解析 #間取り #3dモデル #lifull #ltech #不動産  
author: [株式会社LIFULL](https://www.docswell.com/user/LIFULL)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/8G7WVNMPE2.jpg?width=480
description: 2019年2月21日開催  Ltech#5 LIFULL HOME&#039;S 機械学習Night2　 ～若手エンジニアが語る機械学習事例～  AI戦略室 データサイエンティスト 椎橋怜史 ・LIFULLの機械学習開発事例 ❝間取り図を解析して３Dモデルを作る❞ ・将来の展望
published: February 22, 19
canonical: https://www.docswell.com/s/LIFULL/KY92P5-%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E9%96%93%E5%8F%96%E3%82%8A%E7%94%BB%E5%83%8F%E3%81%AE%E8%87%AA%E5%8B%95%E8%A7%A3%E6%9E%90
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/8G7WVNMPE2.jpg)

機械学習を用いた間取り画像の自動解析
AI戦略室
椎橋怜史
2019/02


# Page. 2

![Page Image](https://bcdn.docswell.com/page/W4JZ43Q6E3.jpg)

自己紹介
• 椎橋 怜史 （しいばしさとし）
• 2016年4月 LIFULL 新卒入社
• データサイエンティスト
Qiita: @shiibass
Twitter: @shiibass
興味ある分野
• 量子コンピュータ
• 数理最適化
• 強化学習
• ゲーム理論
• データ分析、機械学習開発を担当
© LIFULL Co.,Ltd.
本書の無断転載、複製を固く禁じます。


# Page. 3

![Page Image](https://bcdn.docswell.com/page/KYE63X6LEV.jpg)

今日はLIFULLの機械学習開発事例を紹介しま
す
© LIFULL Co.,Ltd.
本書の無断転載、複製を固く禁じます。


# Page. 4

![Page Image](https://bcdn.docswell.com/page/5GE5LX6MJ4.jpg)

間取り図を解析して３Dモデルを作る
物体認識・間取り構造推定
参考論文“Raster-toVector: Revisiting
Floorplan
Transformation”
部屋の３Dモデル
間取り図
縮尺・長さ推定
〇m
その他技術
© LIFULL Co.,Ltd.
4
本書の無断転載、複製を固く禁じます。


# Page. 5

![Page Image](https://bcdn.docswell.com/page/V972LXMRER.jpg)

間取り画像の教師データ作成
間取り画像→テキストデータ（座標とラベル）
515,912.,657,930,balcony
583,133,638,152,bathroom
661,104,758,247,bathtub
204,36,343,262,bedroom
１０００枚ほど
© LIFULL Co.,Ltd.
5
本書の無断転載、複製を固く禁じます。


# Page. 6

![Page Image](https://bcdn.docswell.com/page/5DJYQ8X5EM.jpg)

人間の骨格認識技術を応用する
Pose Estimation（骨格認識）技術
どこに人間のどの部位があるかをそれぞれ学習している
Human pose estimation via Convolutional Part Heatmap Regressionから抜粋
6
© LIFULL Co.,Ltd.
本書の無断転載、複製を固く禁じます。


# Page. 7

![Page Image](https://bcdn.docswell.com/page/2V7NKQ1478.jpg)

こういうの
Human pose estimation via Convolutional Part Heatmap Regressionから抜粋
7
© LIFULL Co.,Ltd.
本書の無断転載、複製を固く禁じます。


# Page. 8

![Page Image](https://bcdn.docswell.com/page/GYJ9VD5473.jpg)

画像と座標データを学習させて間取りの
骨格を認識（転移学習）
間取り画像のどこにパーツがあるかをそれぞれ学習させる
ドアの骨格
predict
壁の交差点の骨格
この形→
© LIFULL Co.,Ltd.
8
本書の無断転載、複製を固く禁じます。


# Page. 9

![Page Image](https://bcdn.docswell.com/page/5GJ8P3YVJD.jpg)

画像と座標データを学習させて間取りの
骨格を認識（転移学習）
間取り画像のどこにパーツがあるかをそれぞれ学習させる
ドアの骨格
predict
壁の交差点の骨格
この形→
© LIFULL Co.,Ltd.
9
本書の無断転載、複製を固く禁じます。


# Page. 10

![Page Image](https://bcdn.docswell.com/page/MLJL1V4RJR.jpg)

骨格情報から部屋情報を推定する
人間の骨格は一意（頭→首→胴体など）
部屋構造は一意ではない
ドアの骨格
壁の骨格
骨格情報から
矛盾が起きない部屋
構造を推定する
（どうやって？）
キッチンカウンターの骨格
などその他いくつか
© LIFULL Co.,Ltd.
10
本書の無断転載、複製を固く禁じます。


# Page. 11

![Page Image](https://bcdn.docswell.com/page/547MWGKPJW.jpg)

制約充足問題に定式化
機械学習（ML）
・制約なし（基本的には）
・損失関数の最小解を探索
・凸最適化（基本的には）
制約充足問題（CSP）
・制約条件を満たす解を探索
・基本的にNP問題
最適化
教師あり
CSP
機械学習
イメージ↑
© LIFULL Co.,Ltd.
11
本書の無断転載、複製を固く禁じます。


# Page. 12

![Page Image](https://bcdn.docswell.com/page/ZP7RYZXYJ9.jpg)

制約充足問題の例
虫食い算
ABCD
+C A E F
GDBCA
A~Gは0から9のいずれ
かでそれぞれ異なる
制約：
• 0 &lt;= A,B,…, G &lt;= 9, Integer
• A != B, A != C,…, F != G
• x, y,… ダミー変数
• D + F = 10 * x + A
• C + E + x= 10 * y + C
• …
巨大になればなるほど総当たり計算やルー
ルベースロジックは対応しにくくなる
12
© LIFULL Co.,Ltd.
本書の無断転載、複製を固く禁じます。


# Page. 13

![Page Image](https://bcdn.docswell.com/page/NPJXG964EX.jpg)

制約充足問題の例
図形解釈
解釈パターン(+,-,→)を定義して、
各辺に解釈のパターンを割り当てる問題
矛盾なく割り当てられれば解釈成功
変数：各変数のラベル(+,-,→)を
どれに割り当てるか
制約：解釈に矛盾がない
© LIFULL Co.,Ltd.
13
本書の無断転載、複製を固く禁じます。


# Page. 14

![Page Image](https://bcdn.docswell.com/page/63JK4P1PED.jpg)

制約充足問題の例
図形解釈に矛盾があるとは？
どう見えますか？
© LIFULL Co.,Ltd.
14
本書の無断転載、複製を固く禁じます。


# Page. 15

![Page Image](https://bcdn.docswell.com/page/4LE3LXQ475.jpg)

制約充足問題に定式化
• ドアや窓は壁と密着している
• 部屋は四方を壁で囲まれている
• その他
などの制約をすべて満たす解釈方法を探索
(最適化ソルバー：gurobi)
ドアの骨格
壁の骨格
© LIFULL Co.,Ltd.
15
本書の無断転載、複製を固く禁じます。


# Page. 16

![Page Image](https://bcdn.docswell.com/page/V8EDN2957G.jpg)

学習結果
Predict and Optimize
Predict・・・ディープラーニングで物体を認識
Optimize・・・認識したパーツを組み合わせ、
無矛盾な解釈を探索する
© LIFULL Co.,Ltd.
16
本書の無断転載、複製を固く禁じます。


# Page. 17

![Page Image](https://bcdn.docswell.com/page/4V7P51ZD78.jpg)

縮尺・長さの推定
バルコニー、室外を除外
専有面積としてカウントする領域のみを抽出
↓
平易な数値計算で縮尺を計算
© LIFULL Co.,Ltd.
17
本書の無断転載、複製を固く禁じます。


# Page. 18

![Page Image](https://bcdn.docswell.com/page/L2JVPYWGJQ.jpg)

将来の展望
Predict
Optimize
※イメージ
3D Rendering
© LIFULL Co.,Ltd.
18
本書の無断転載、複製を固く禁じます。


