---
title: 【人工知能・深層学習】論文紹介：Synthetic Data Generation for Scarce Road Scene Detection Scenario
tags:  #論文紹介 #deeplearning #人工知能 #深層学習 #autonomous driving  
author: [Taki lab.](https://www.docswell.com/user/8328889256)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/G7WDQLZME2.jpg?width=480
description: M2の出口裕希さんが論文「Synthetic Data Generation for Scarce Road Scene Detection Scenarios」の紹介を担当しました。本論文では自律走行での緊急車両の検出精度を高めるため、拡散モデルによるData Augmentationを提案しています。自律走行にかかわらず、データセットに稀であるが重要度の高い事象の検出は極めて重要なタスクです。一方、近年は質の高いデータが枯渇してきていると言われており、AI生成画像によるモデル性能を向上させる技術に関心が寄せられています。
published: August 25, 24
canonical: https://www.docswell.com/s/8328889256/5P29DL-2024-08-25-144617
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/G7WDQLZME2.jpg)

20240706 Journal club 論文紹介
Synthetic Data Generation for Scarce Road
Scene Detection Scenarios (20240205)


# Page. 2

![Page Image](https://bcdn.docswell.com/page/4JZGWM1M73.jpg)

紹介論文の概要
題名
Synthetic Data Generation for Scarce Road Scene Detection Scenarios
Dipika Khullar (Amazon Titan Labs) et al. NeurIPS 2023 Workshop SyntheticData4ML Submissions
論文の概要
AI生成画像を用いてデータセット中に希少な道路上のシナリオを再現し、それらの検出精度を高める
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
1


# Page. 3

![Page Image](https://bcdn.docswell.com/page/YE6YGNL5JV.jpg)

研究のモチベーション
モチベーション
自律走行で緊急車両（パトカー、消防車）を検出することは極めて重要である。一方で、このような希
少なシーンの学習データは限られているため、合成画像を用いることは効果的なアプローチである。
画像生成に深層学習モデルを用いることの課題
課題
原因
1
生成モデルの学習データ不足
希少なシーンを生成させるためには学習データが必要であるが、そも
そも十分なデータの準備が困難であるため
2
不十分な多様性とシーンの複雑さ
昨今の画像生成はphoto-realisticにすることに焦点が当てられて
おり、現実におけるシーンの複雑さの表現が不十分であるため
3
生成画像へのラベリングが必要な
ケースが存在
AIによって生成された画像は、適切に学習させるためラベリングが必
要になる場合があるため
2


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GE5GV51GE4.jpg)

提案する画像生成アプローチ
アプローチ
1.
実際の背景に、希少な物体を生成
2.
実際の希少な物体に、背景を生成
3.
実際の画像を全体的に代替
アプローチ
1, 2
アプローチ
3
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
3


# Page. 5

![Page Image](https://bcdn.docswell.com/page/972Y3N1D7R.jpg)

提案する画像生成アプローチ
アプローチ
1.
実際の背景に、希少な物体を生成
2.
実際の希少な物体に、背景を生成
3.
実際の画像を全体的に代替
アプローチ
1, 2
アプローチ
3
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
4


# Page. 6

![Page Image](https://bcdn.docswell.com/page/DJYG1PZMJM.jpg)

アプローチ1 実際の背景に、希少な物体を生成
画像生成の流れ
1) マスク生成ブロック
2) テキストプロンプト作成ブロック
3) テキストに基づく画像生成拡散モデル
4) 超解像度モデル
2)
3)
4)
1)
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
5


# Page. 7

![Page Image](https://bcdn.docswell.com/page/V7NG2533E8.jpg)

アプローチ1 実際の背景に、希少な物体を生成
画像生成の流れ
2)
1) マスク生成ブロック
4)
3)
2) テキストプロンプト作成ブロック
3) テキストに基づく画像生成拡散モデル
4) 超解像度モデル
1)
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
利用可能なバウンディングボックスのうち、他の
バウンディングボックスを切断しないものの中から
ランダムに選ばれる
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
6


# Page. 8

![Page Image](https://bcdn.docswell.com/page/YJ9W1Y9PJ3.jpg)

アプローチ1 実際の背景に、希少な物体を生成
画像生成の流れ
2)
1) マスク生成ブロック
4)
3)
2) テキストプロンプト作成ブロック
3) テキストに基づく画像生成拡散モデル
4) 超解像度モデル
1)
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
事前に設定された、主語（消防車、パトカー
）、述語（運転、駐車）、場所、状態（天
候等）、時間（昼、夜）からPromptを生成
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
7


# Page. 9

![Page Image](https://bcdn.docswell.com/page/GJ8N469XED.jpg)

アプローチ1 実際の背景に、希少な物体を生成
画像生成の流れ
2)
1) マスク生成ブロック
4)
3)
2) テキストプロンプト作成ブロック
3) テキストに基づく画像生成拡散モデル
4) 超解像度モデル
1)
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
拡散モデルを用いて、マスクされた箇所に、
Promptに基づく画像を生成
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
8


# Page. 10

![Page Image](https://bcdn.docswell.com/page/LJLP69WNER.jpg)

アプローチ1 実際の背景に、希少な物体を生成
画像生成の流れ
2)
1) マスク生成ブロック
4)
3)
2) テキストプロンプト作成ブロック
3) テキストに基づく画像生成拡散モデル
4) 超解像度モデル
1)
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
超解像度モデルを用いて、高解像度化
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
9


# Page. 11

![Page Image](https://bcdn.docswell.com/page/47M45Z9QEW.jpg)

提案する画像生成アプローチ
アプローチ
1.
実際の背景に、希少な物体を生成
2.
実際の希少な物体に、背景を生成
3.
実際の画像を全体的に代替
アプローチ
1, 2
アプローチ
3
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
10


# Page. 12

![Page Image](https://bcdn.docswell.com/page/P7RW36GKE9.jpg)

アプローチ2 実際の希少な物体に、背景を生成
画像生成の流れ
2)
1) マスク生成ブロック
3)
4)
2) テキストプロンプト作成ブロック
3) テキストに基づく画像生成拡散モデル
1)
4) 超解像度モデル
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
背景を生成するため、天候や街並みを変える
ことができる
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
11


# Page. 13

![Page Image](https://bcdn.docswell.com/page/PJXP4MX5EX.jpg)

提案する画像生成アプローチ
アプローチ
1.
実際の背景に、希少な物体を生成
2.
実際の希少な物体に、背景を生成
3.
実際の画像を全体的に代替
アプローチ
1, 2
アプローチ
3
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
12


# Page. 14

![Page Image](https://bcdn.docswell.com/page/3JKDZGWR7D.jpg)

アプローチ3 実際の画像を全体的に代替
画像生成の流れ
1)
1) テキストプロンプト作成ブロック
2)
2) 超解像度 兼 画像変更モデル
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
超解像度モデルにPromptを条件づける
ことで画像全体を変換
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
13


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LE3RDN1G75.jpg)

提案手法の性能評価
提案手法による希少シナリオ（緊急車両）検出精度の改善結果
• S1, S2は従来手法と比較して、検出精度が改善傾向にあり、２つを組み合わせると特に効果大
• 興味深いことに、通常の車両の検出精度も向上する傾向
Datasetの意味
• R：実際の画像
• AUG：従来のdata augumentation
(Holizontal flipなど)
• S1：本論文のアプローチ1
• S2：本論文のアプローチ2 &amp; 3
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
14


# Page. 16

![Page Image](https://bcdn.docswell.com/page/8EDYPWXNEG.jpg)

本研究の課題
画像生成による残課題
• 拡散モデルの性質上、異常な画像が生成され得るため、学習に悪影響を与えている可能性がある
1. 物体的な相対的な大きさ
2. 物体の数
3. 物体の相対的な位置
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
15


# Page. 17

![Page Image](https://bcdn.docswell.com/page/V7P6N9PNJ8.jpg)

紹介論文のまとめ
題名
Synthetic Data Generation for Scarce Road Scene Detection Scenarios
Dipika Khullar (Amazon Titan Labs) et al. NeurIPS 2023 Workshop SyntheticData4ML Submissions
まとめ
提案手法は実データが限られている際に検出精度を高める実用的な手法となり得る。
また、既存のAugumentationの代替にもなる可能性がある
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
From “Synthetic Data Generation for
Scarce Road Scene Detection Scenarios”
16


# Page. 18

![Page Image](https://bcdn.docswell.com/page/2JV3KM2YEQ.jpg)



