---
title: 【論文紹介】ShaRF: Shape-conditioned Radiance Fields from a Single View
tags: 
author: [tf63](https://www.docswell.com/user/8590143908)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/L71M2RZVJG.jpg?width=480
description: 【論文紹介】ShaRF: Shape-conditioned Radiance Fields from a Single View by tf63
published: October 25, 23
canonical: https://www.docswell.com/s/8590143908/ZJLRQ4-2023-10-25-145446
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/L71M2RZVJG.jpg)

ShaRF: Shape-conditioned Radiance Fields from a Single View
被引用数： 39
（ICML 2021）Konstantinos Rematas, Ricardo Martin-Brualla, Vittorio Ferrari
https://arxiv.org/abs/2102.08860
論文を表す画像
どんなもの？
技術の手法や肝は？
事前にオブジェクトのベースとなる形(geometric scaffold)を想定することで
，NeRFをsingle-shotで訓練する
Shape network
Shape codeからオブジェクトのgeometric scaffoldを生成する
NeRFに追加の入力を与える
Occupancy: geometric scaffoldの位置pに対応する値
Appearance code: Appearanceを表現する値
Appearance network
geometric scaffoldとAppearance codeを考慮し，NeRFを訓練する
どうやって有効だと検証した？
先行研究と比べて何がすごい？
･ NeRFをsingle-shotで訓練可能
･ 一つのモデルで複数のシーンを表現可能
･ 拡張性の高いアーキテクチャ
簡単な条件下でpixelNeRFと同等の性能，複雑な条件下でpixelNeRFを超え
る性能を示した
- データセット: ShapeNet-SRN, Pix3D
- 評価手法: PSNR, SSIM
- concurrent work: pixelNeRF
- previous work: GRF, SRN, ENRなど
1
2022/10/19


# Page. 2

![Page Image](https://bcdn.docswell.com/page/G7W3R19372.jpg)

どんなもの?
NeRFとは問題設定が異なる (1)
NeRF
学習:
→ 訓練完了
Dataset (*1)
ShaRF
→ 訓練完了
→ fine-tuning:
学習:
ShapeNet
(*1) NeRF [B Mildenhall ECCV 2020]
single-view (*1)
2


# Page. 3

![Page Image](https://bcdn.docswell.com/page/4JZVRP9G73.jpg)

どんなもの?
NeRFとは問題設定が異なる (2)
NeRF
学習:
→ 訓練完了
推論に使う
訓練に使う
Dataset (*1)
ShaRF
→ 訓練完了
→ fine-tuning:
学習:
ShapeNet
(*1) NeRF [B Mildenhall ECCV 2020]
single-view (*1)
3


# Page. 4

![Page Image](https://bcdn.docswell.com/page/YE65RMKQJV.jpg)

技術の手法や肝は?
geometric scaffoldとは何か
-
オブジェクトのベースとなる形
-
ボクセルのグリッドで表現され，各ボクセルには占有率(occupancy)
が対応付けら
れている
(*1)
(*1) NSVF [L Liu et al. NeurIPS 2020]
object
geometric scaffold
4


# Page. 5

![Page Image](https://bcdn.docswell.com/page/GE5Y8ZP2E4.jpg)

技術の手法や肝は?
Shape network - geometric scaffoldの生成
-
Shape code θからgeometric scaffoldを生成する
-
入力座標pに対応するoccupancyを線形補間によって求め，これをネットワークの入力に加
える
geometric scaffold
(*1) NSVF [L Liu et al. NeurIPS 2020]
5


# Page. 6

![Page Image](https://bcdn.docswell.com/page/972GKR617R.jpg)

技術の手法や肝は?
Shape network, Shape codeの最適化
-
訓練にはShapeNetのあるクラスに対応する3Dオブジェクトを用いる
-
訓練の間，Shape Network GのパラメータとShape code θの両方を最適化する
-
損失は次の3つ
-
binary cross entropy loss
-
symmetry loss
-
voxel-to-image projection loss
Estimated mask
Target mask
6


# Page. 7

![Page Image](https://bcdn.docswell.com/page/DJYVND94JM.jpg)

技術の手法や肝は?
Appearance Network
-
もとのNeRFのネットワークにAppearance code Φ, Occupancy αを加える
-
訓練の間，Appearance NetworkとともにAppearance codeの最適化を行う
geometric scaffold
7


# Page. 8

![Page Image](https://bcdn.docswell.com/page/V7NMX6L6E8.jpg)

技術の手法や肝は?
推論
-
推論時の画像 I が与えられたとき，shape code, appearance codeを再構築する
-
訓練は次の2ステップで行う
-
Stage1: Shape code θ and network G
-
Stage2: Appearance code Φ and network F
tuning
推論時の画像
8


# Page. 9

![Page Image](https://bcdn.docswell.com/page/YJ9N8L4RJ3.jpg)

技術の手法や肝は?
Stage1: Shape code θ and network G
-
appearance networkを固定し，ロスをShape networkへ逆伝播させる
-
Shape code θ, network G, Appearance code Φを最適化
9


# Page. 10

![Page Image](https://bcdn.docswell.com/page/GJ8K8XQGED.jpg)

技術の手法や肝は?
Stage2: Appearance code Φ and network F
-
Shape networkを固定し，Appearance code Φとnetwork Fを最適化
10


# Page. 11

![Page Image](https://bcdn.docswell.com/page/LJLZR8XX7R.jpg)

技術の手法や肝は?
Variants
Conditional NeRF: shapeを使わず，appearanceとgeometryを一つの潜在変数で表現
Shape From NR: 今回説明したもの
Shape From Mask: geometric scaffoldの代わりにmaskを用いたもの
Shape From GT: shapeを直接用意するもの
11


# Page. 12

![Page Image](https://bcdn.docswell.com/page/47MVR6L37W.jpg)

どうやって有効だと検証した?
評価
12


# Page. 13

![Page Image](https://bcdn.docswell.com/page/P7R2RPKRJ9.jpg)

どうやって有効だと検証した?
Concurrent work (Pixel NeRF)との違い
13