10分でわかる Unityコンピュータービジョン

1.1K Views

November 17, 21

スライド概要

2021/11/10に開催された Unity道場建築編 の講演スライドです。
講師:竹内 一生(ユニティテクノロジーズジャパン株式会社)

Unityのイベント資料はこちらから:https://www.slideshare.net/UnityTechnologiesJapan/clipboards

profile-image

Unity Technologies Japan

@UnityJapan

スライド一覧

リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。

シェア

埋め込む »CMSなどでJSが使えない場合

各ページのテキスト
1.

Unity コンピュータービジョン 竹内 一生 | Developer Advocate - AEC |

2.

Computer Vision

3.

Digital Cameras are Everywhere 3

4.

Computer Vision(CV) the tech behind “smart camera” Computer Vision Model (CV models) Computer Visionはデジタル形式でのビジュアルデータから高レベルの情報を生成する プロセスです。 コンピュータは画像を読み取り、情報を作り出します。 4

5.

人間は画像内の物体を容易に識別できる 5

6.

CVモデルは、ラベル付き画像で訓練されなければならない。 6

7.

一般的なCVのワークフロー Iterate Acquire Real World Images Label & Annotate Images Train CV model データ収集、ラベル付け、注釈に 全体の70%の時間を費やしています。 7 Evaluate CV model Deploy CV model

8.

実世界のデータ収集の課題 – データの偏り – – – データの利用不可によるプロジェクトの プライバシーとコンプライアンス – – 収集されたデータは一部のみ データ不足 – データラベリングの課題 データ収集を妨げる 人間のラベリングのコスト – – 時間がかかり、純粋な人件費が必要 人間のラベルは誤りが起こりやすい – 単純な作業ほどミスが起こる

9.

CVトレーニングを加速する鍵って? 合成データ 実データを模倣するメタ情報を持った生成データ 基本的なパラメータなど、あらかじめラベルや注釈が付けられています。 9

10.

ゲームエンジン CV ワークフロー Rapid Iteration 仮想空間内で 完全にラベル付けされ、 合成画像に注釈を付ける Train CV model Evaluate CV model 10 Deploy CV model

11.

BIMって、あれ???

12.

UnityでBIM情報が付与されてる 12

13.

ゲームエンジンならではの環境設定 3Dモデル アセット プロシージャルアセット -フォトグラメトリ -アセットストア 13

14.

住環境のシミュレーション環境 プロシージャルな家具の配置や、カメラの位置、素材、 ライティング、時間帯、空や屋外環境、さらにカスタム オブジェクトの環境への追加配置など、 数多くのランダム化要素を導入しています。 14

15.

Generative Art — Made with Unity Unityでならデータを民主化 合成データを大量に生成し、AIに学ばせよう

16.

住空間の質を向上させる お掃除ロボット スマートロボット掃除機の抱えている大きな欠点 ー地面に落ちているゴミとそれ以外の物体を区別できない ー障害物の多い場所での移動 16

17.

Google Nest Cam The Challenge Unity コンピュータービジョン ● Google Nest Cam ● Google Nest Doorbell この商品の強みのひとつが、機械学習です。Google Nest Camは 人や動物、荷物や車両など9つのオブジェクトを検出でき、 Doorbellのほうはこれに加えて荷物も認識できます。 4000万枚以上の画像で機械学習済み。 Googleのプロダクトマネージャーを務めるジュリー・ズーさんによる と「ゲームのような3D空間で、いろんな物体を表現し、アルゴリズム の精度を上げられました」とのこと。使った合成猫ちゃんの数は250 万匹にのぼります。 出典:GIZMODO

18.

Generative Art — Made with Unity コンピュータビジョンだけじゃない 教育済みデータを活用した アプリケーション開発 Unity Barracuda

19.

「ディープラーニング」をランタイムで動作 ONNX(オニキス)とはOpen Neural Network Exchangeの略で深層学習モデルを表すために使用されるオー プンプラットフォームです。 一度学習させたモデルを様々なフレームで利用することが可能です。 19

20.

「ディープラーニング」をランタイムで動作 顔の表情を検知するモジュールを追加 github github 20

21.

「ディープラーニング」をランタイムで動作 複数の顔を検知するモジュールを追加 github github 21

22.

そんな Unity Barracuda は UnityStationで! Unity Learning Materials 22