リアルなアバターの表情に、Quest Proのフェイストラッキングを反映させる

26.1K Views

February 18, 23

quest pro unity character creator 4 arkit iphone unity face capture フェイストラッキングアイトラッキング live capture

スライド概要

character creator 4で作成したリアルなアバターに、Quest Proのフェイストラッキング・アイトラッキングをフィードバックする方法を説明しています。　- Quest link接続 PC版 -

あうぜん

@Ovjang

スライド一覧

XR(VR/AR)のエバンジェリスト。XR技術で世界を変えていきましょう。 https://majimajiwaroze.connpass.com/

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

Meta XR SDK(V60)でQuestアプリを開発

scene manager depth api オクルージョン meta meta xr sdk ovrscenemanager ovrsemanticclassification quest3 quest pro unity building blocks oculus integration multimodal マルチモーダル direct touch ui ovrspatialanchor spatial anchor fingerfeaturestateprovider shaperecognizeractivatestate transformfeaturestateprovider transformrecognizeractivestate jointdeltaprovider jointvelocityactivestate jointrotationactivestate sequenceactivestate ambisonic metaxraudiosource playerlocomotor ovrplayercontroller meta haptics studio meta xr haptics sdk ovrtrackedkeyboard hapticclipplayer hapticclip

あうぜん 519.2K

Meta XR SDK(V62-64)でQuestアプリを開発

あうぜん 143.5K

Meta Quest開発 -Interaction SDKの使い方-

quest pro oculus integration unity interaction sdk

あうぜん 127.4K

Meta XR SDK(V57)でQuestアプリを開発

quest3 oculus integration unity building blocks scene manager depth api quest2 quest pro オクルージョン ovrscenemanager ovrsemanticclassification

あうぜん 106.5K

3D Gaussian Splattingで写真から3Dデータを作る

3d gaussian splatting windows unity

あうぜん 77.5K

Meta QUEST開発時のパフォーマンス関連のあれこれ

unity oculus integration quest2 quest pro

あうぜん 26.2K

各ページのテキスト

リアルなアバター(CC4)の表情に QUEST PROやIPHONEのフェイストラッキングを反映させる。 -QUEST LINKでのPC版-

大久保聡 Mail ovjang@gmail.com Twitter ＠followapp

目標１：Quest Proのフェイストラッキングをリアルなアバターに反映させる。表情のBlendshapeが設定されている3Dモデル表情の値 (Fece Expression)

Quest Proのフェイストラッキングとアイトラッキングのセンサー位置。

目標２：iPhoneのフェイストラッキングをリアルなアバターに反映させる。表情のBlendshapeが設定されている3Dモデル OSC プロトコル? Face Capture 表情の値

CC4でキャラ作成

キャラクター作成ツールを使い、表情のあるリアルなアバターを作成する。

テンプレートキャラのケビンを読み込み。

しかしBlendshapeを変更してもあごが開かない。これはBlendshapeとBoneの両方であごと目を動かしていることが原因のよう。

10.

全てBlend Shapeで表情を作るように変更する。お手本となる形状を作成する。例は、Jaw_Openで口が完全に開いた状態にする。

11.

口が開いた状態を、お手本としてその状態の3DモデルをObjファイルとしてExportする。

12.

お手本のObjファイルの形状をもとに、Blend Shapeを作成する。

13.

目の向き、あごのうごきの12個についてお手本を作成し、Blend Shapeとして設定する。

14.

ボーンを使わないBlend Shape版を、カスタムプロファイルとして保存しておく。これは、他のモデルにも適用できる。

15.

Unity用に完成した3Dモデルを、FBXファイル形式でExportする。

16.

Unity用にMeshのみExportする。服の下などの隠れている部分のメッシュは削除する設定。

17.

UNITY URPプロジェクト作成

18.

UnityのURPプロジェクト作成。特にURPじゃないとダメではないですが、今回はURPで作成しています。

19.

CC4からExportしたファイルの取り込み。

20.

CC4のキャラをシーンに配置する・・・・が

21.

CC4のUnity Toolsでマテリアルを設定する必要がある。 CC4のUnity Toolsをインストールするため、ダウンロードもとのURLをコピーする。 (URP/HDRPなどUnity環境に合わせて選択) 参考(https://soupday.github.io/cc_unity_tools/installation.html)

https://soupday.github.io/cc_unity_tools/installation.html

22.

コピーしたGitのURLを使い、CC4のUnity ToolsをPackage Managerからインストール。 https://github.com/soupday/cc_unity_tools_URP.git

https://github.com/soupday/cc_unity_tools_URP.git

23.

メニューからImport Charactersを選択する。

24.

設定を行い、マテリアルのビルドを実行する。テッセレーションを行うと、ポリゴンの分割数を増やしてより滑らかな曲面を作成できたり、分割された頂点をテクスチャを参照して直接盛り上げたり（ディスプレースメントマッピング）出来ます。

25.

いい感じになります。

26.

Animation preview playerで、表情・アニメーションのテストができます。

27.

配下のGame Objectの眉やヒゲなど、それぞれににBlend Shapeが設定されています。

28.

３点トラッキングからアバターポーズの設定 IKでHUMANOIDを動かす

29.

XR Plugin/Oculus XR Plugin/Oculus Integrationのインポート。

30.

OVR Camera Rigをシーンに配置。 Floor Levelの設定を行う。

31.

Final IKのインポート。モデルにVR IKコンポーネントを追加する。自動でボーンのリファレンスがセットされるのでそのまま使う。

32.

VR IKコンポーネントの頭と両手のターゲット(Head/Left Arm/Right Arm)にOVR Camera RigのAnchorを指定します。 ※各Anchorの配下に空のGame Objectを配置し、ターゲットの方向や位置の補正を行いますが、ここでは説明を省略します。

33.

フェイストラッキングの設定

34.

OVR Camera Rigのコンポーネントで、OVR Managerの設定からFace Tracking/Eye Trackingの設定を利用可能に設定します。

35.

WindowsのOculusアプリを起動し、ベータ機能の設定で視線と表情をQuset Linkで利用可能に設定します。

36.

Oculus Integrationのコンポーネントで顔の表情を取得するOVR Face Expressionsを CC_Base Bodyに追加します。 CC_Base_Body フェイストラッキングの値を取得する。

37.

[beta]

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

[System.SerializableAttribute]
public class CorrespondenceTable
{
public string blendShapeName;
public OVRFaceExpressions.FaceExpression faceExpression;
[Range(0f, 2f)]
public float rate;

[CreateAssetMenu(menuName = "FaceTrackingScriptable/Create Correspondence Table")]
public class BlendShapeMappingTable : ScriptableObject
{
public CorrespondenceTable[] correspondenceTable;
private void Awake()
{
// 対応表 { CC4 , Quest Pro}
correspondenceTable = new CorrespondenceTable[] {
new CorrespondenceTable( "Brow_Drop_L", OVRFaceExpressions.FaceExpression.BrowLowererL, 1f ),
new CorrespondenceTable( "Brow_Drop_R", OVRFaceExpressions.FaceExpression.BrowLowererR, 1f ),
new CorrespondenceTable( "Cheek_Puff_L", OVRFaceExpressions.FaceExpression.CheekPuffL, 1f ),
new CorrespondenceTable( "Cheek_Puff_R", OVRFaceExpressions.FaceExpression.CheekPuffR, 1f ),
new CorrespondenceTable( "Cheek_Raise_L", OVRFaceExpressions.FaceExpression.CheekRaiserL, 1f ),
new CorrespondenceTable( "Cheek_Raise_R", OVRFaceExpressions.FaceExpression.CheekRaiserR, 1f ),
new CorrespondenceTable( "Cheek_Suck_L", OVRFaceExpressions.FaceExpression.CheekSuckL, 1f ),
new CorrespondenceTable( "Cheek_Suck_R", OVRFaceExpressions.FaceExpression.CheekSuckR, 1f ),
new CorrespondenceTable( "Mouth_Shrug_Upper", OVRFaceExpressions.FaceExpression.ChinRaiserT, 1f ),
new CorrespondenceTable( "Mouth_Shrug_Lower", OVRFaceExpressions.FaceExpression.ChinRaiserB, 1f ),
new CorrespondenceTable( "Mouth_Dimple_L", OVRFaceExpressions.FaceExpression.DimplerL, 1f ),
new CorrespondenceTable( "Mouth_Dimple_R", OVRFaceExpressions.FaceExpression.DimplerR, 1f ),
new CorrespondenceTable( "Eye_Blink_L", OVRFaceExpressions.FaceExpression.EyesClosedL, 1f ),
new CorrespondenceTable( "Eye_Blink_R", OVRFaceExpressions.FaceExpression.EyesClosedR, 1f ),
new CorrespondenceTable( "Eye_L_Look_Down", OVRFaceExpressions.FaceExpression.EyesLookDownL, 1f ),
new CorrespondenceTable( "Eye_R_Look_Down", OVRFaceExpressions.FaceExpression.EyesLookDownR, 1f ),
new CorrespondenceTable( "Eye_L_Look_L", OVRFaceExpressions.FaceExpression.EyesLookLeftL, 1f ),
new CorrespondenceTable( "Eye_R_Look_L", OVRFaceExpressions.FaceExpression.EyesLookLeftR, 1f ),
new CorrespondenceTable( "Eye_L_Look_R", OVRFaceExpressions.FaceExpression.EyesLookRightL, 1f ),
new CorrespondenceTable( "Eye_R_Look_R", OVRFaceExpressions.FaceExpression.EyesLookRightR, 1f ),
new CorrespondenceTable( "Eye_L_Look_Up", OVRFaceExpressions.FaceExpression.EyesLookUpL, 1f ),
new CorrespondenceTable( "Eye_R_Look_Up", OVRFaceExpressions.FaceExpression.EyesLookUpR, 1f ),
new CorrespondenceTable( "Brow_Raise_Inner_L", OVRFaceExpressions.FaceExpression.InnerBrowRaiserL, 1f ),
new CorrespondenceTable( "Brow_Raise_Inner_R", OVRFaceExpressions.FaceExpression.InnerBrowRaiserR, 1f ),
new CorrespondenceTable( "Jaw_Open", OVRFaceExpressions.FaceExpression.JawDrop, 0.8f ),
new CorrespondenceTable( "Jaw_L", OVRFaceExpressions.FaceExpression.JawSidewaysLeft, 0.8f ),
new CorrespondenceTable( "Jaw_R", OVRFaceExpressions.FaceExpression.JawSidewaysRight, 0.8f ),
new CorrespondenceTable( "Jaw_Forward", OVRFaceExpressions.FaceExpression.JawThrust, 0.8f ),
new CorrespondenceTable( "Eye_Squint_L", OVRFaceExpressions.FaceExpression.LidTightenerL, 1f ),
new CorrespondenceTable( "Eye_Squint_R", OVRFaceExpressions.FaceExpression.LidTightenerR, 1f ),
new CorrespondenceTable( "Mouth_Frown_L", OVRFaceExpressions.FaceExpression.LipCornerDepressorL, 1f ),
new CorrespondenceTable( "Mouth_Frown_R", OVRFaceExpressions.FaceExpression.LipCornerDepressorR, 1f ),
new CorrespondenceTable( "Mouth_Smile_L", OVRFaceExpressions.FaceExpression.LipCornerPullerL, 1f ),
new CorrespondenceTable( "Mouth_Smile_R", OVRFaceExpressions.FaceExpression.LipCornerPullerR, 1f ),
new CorrespondenceTable( "Mouth_Funnel_Down_L", OVRFaceExpressions.FaceExpression.LipFunnelerLB, 1f ),
new CorrespondenceTable( "Mouth_Funnel_Up_L", OVRFaceExpressions.FaceExpression.LipFunnelerLT, 1f ),
new CorrespondenceTable( "Mouth_Funnel_Down_R", OVRFaceExpressions.FaceExpression.LipFunnelerRB, 1f ),
new CorrespondenceTable( "Mouth_Funnel_Up_R", OVRFaceExpressions.FaceExpression.LipFunnelerRT, 1f ),
new CorrespondenceTable( "Mouth_Press_L", OVRFaceExpressions.FaceExpression.LipPressorL, 1f ),
new CorrespondenceTable( "Mouth_Press_R", OVRFaceExpressions.FaceExpression.LipPressorR, 1f ),
new CorrespondenceTable( "Mouth_Pucker_Up_L", OVRFaceExpressions.FaceExpression.LipPuckerL, 1f ),
new CorrespondenceTable( "Mouth_Pucker_Down_L", OVRFaceExpressions.FaceExpression.LipPuckerL, 1f ),
new CorrespondenceTable( "Mouth_Pucker_Up_R", OVRFaceExpressions.FaceExpression.LipPuckerR, 1f ),
new CorrespondenceTable( "Mouth_Pucker_Down_R", OVRFaceExpressions.FaceExpression.LipPuckerR, 1f ),
new CorrespondenceTable( "Mouth_Stretch_L", OVRFaceExpressions.FaceExpression.LipStretcherL, 1f ),
new CorrespondenceTable( "Mouth_Stretch_R", OVRFaceExpressions.FaceExpression.LipStretcherR, 1f ),
new CorrespondenceTable( "Mouth_Roll_In_Lower_L", OVRFaceExpressions.FaceExpression.LipSuckLB, 1f ),
new CorrespondenceTable( "Mouth_Roll_In_Upper_L", OVRFaceExpressions.FaceExpression.LipSuckLT, 1f ),
new CorrespondenceTable( "Mouth_Roll_In_Lower_R", OVRFaceExpressions.FaceExpression.LipSuckRB, 1f ),
new CorrespondenceTable( "Mouth_Roll_In_Upper_R", OVRFaceExpressions.FaceExpression.LipSuckRT, 1f ),
new CorrespondenceTable( "Mouth_Tighten_L", OVRFaceExpressions.FaceExpression.LipTightenerL, 1f ),
new CorrespondenceTable( "Mouth_Tighten_R", OVRFaceExpressions.FaceExpression.LipTightenerR, 1f ),
new CorrespondenceTable( "Mouth_Close", OVRFaceExpressions.FaceExpression.LipsToward, 1f ),
new CorrespondenceTable( "Mouth_Down_Lower_L", OVRFaceExpressions.FaceExpression.LowerLipDepressorL, 1f ),
new CorrespondenceTable( "Mouth_Down_Lower_R", OVRFaceExpressions.FaceExpression.LowerLipDepressorR, 1f ),
new CorrespondenceTable( "Mouth_L", OVRFaceExpressions.FaceExpression.MouthLeft, 1f ),
new CorrespondenceTable( "Mouth_R", OVRFaceExpressions.FaceExpression.MouthRight, 1f ),
new CorrespondenceTable( "Nose_Sneer_L", OVRFaceExpressions.FaceExpression.NoseWrinklerL, 1f ),
new CorrespondenceTable( "Nose_Sneer_R", OVRFaceExpressions.FaceExpression.NoseWrinklerR, 1f ),
new CorrespondenceTable( "Brow_Raise_Outer_L", OVRFaceExpressions.FaceExpression.OuterBrowRaiserL, 1f ),
new CorrespondenceTable( "Brow_Raise_Outer_R", OVRFaceExpressions.FaceExpression.OuterBrowRaiserR, 1f ),
new CorrespondenceTable( "Eye_Wide_L", OVRFaceExpressions.FaceExpression.UpperLidRaiserL, 1f ),
new CorrespondenceTable( "Eye_Wide_R", OVRFaceExpressions.FaceExpression.UpperLidRaiserR, 1f ),
new CorrespondenceTable( "Mouth_Up_Upper_L", OVRFaceExpressions.FaceExpression.UpperLipRaiserL, 1f ),
new CorrespondenceTable( "Mouth_Up_Upper_R", OVRFaceExpressions.FaceExpression.UpperLipRaiserR, 1f )
};
}

public CorrespondenceTable(string blendShapeName, OVRFaceExpressions.FaceExpression faceExpression, float rate)
{
this.faceExpression = faceExpression;
this.blendShapeName = blendShapeName;
this.rate = rate;
}
}
}

CC4とOVRExpressionsの対応付けをスクリプタブル
オブジェクトで作成。

38.

Projectで右クリック、4QuestProという名前で対応表を作成。

39.

[beta]

OVRExpressionsから、BlendShapeに値をセットする。
複数のブレンドシェープに対し、Expressionsから取得した値をセットし表情を
変える。
using
using
using
using
using

System;
System.Collections;
System.Collections.Generic;
UnityEngine;
static BlendShapeMappingTable;

// 表情の変更
void Update()
{
if (faceExpressions == null) return;
if (faceExpressions.FaceTrackingEnabled && faceExpressions.ValidExpressions)
{
Dictionary<String, float> trackingData = new Dictionary<string, float>();
foreach (var(id, val) in mapping)
{
trackingData.Add(id, 100f * faceExpressions[val.faceExpression] * val.rate);
}

[RequireComponent(typeof(OVRFaceExpressions))]
public class FaceExpressionsController : MonoBehaviour
{
private OVRFaceExpressions faceExpressions;

[SerializeField]
private SkinnedMeshRenderer[] meshRenderers;

int meshRendererId = 0;
foreach (var dictionary in blendShapeDictionaries)
{
foreach (var (id, val) in trackingData)
{
int shapeID;
if(dictionary.TryGetValue(id, out shapeID))
{
meshRenderers[meshRendererId].SetBlendShapeWeight(shapeID, val);
}
}
meshRendererId++;
}

// 対応表 { CC4 , Quest Pro}
public BlendShapeMappingTable correspondenceTables;
private Dictionary<string, CorrespondenceTable> mapping;
List<Dictionary<String, int>> blendShapeDictionaries = new List<Dictionary<string, int>>();

void Start()
{
faceExpressions = GetComponent<OVRFaceExpressions>();
// Blendshapeの名前で検索できるようにDictionary化
mapping = new Dictionary<string, CorrespondenceTable>();
foreach (CorrespondenceTable correspondenceTable in correspondenceTables.correspondenceTable)
{
mapping.Add(correspondenceTable.blendShapeName, correspondenceTable);
}
// 該当のBlendshapeを検索し保持
foreach (SkinnedMeshRenderer meshRenderer in meshRenderers)
{
blendShapeDictionaries.Add(new Dictionary<string, int>());
for (int index = 0; index < meshRenderer.sharedMesh.blendShapeCount; index++)
{
string blendShapeName = meshRenderer.sharedMesh.GetBlendShapeName(index);
if (mapping.ContainsKey(blendShapeName))
{
blendShapeDictionaries[blendShapeDictionaries.Count - 1].Add(blendShapeName, index);
}
}
}

}

}

}
}

40.

CC4の顔に関連したBlendShapeが設定されている、SkinnedMeshRendererを配列に設定していく。さきほど作成した対応表もセット。

41.

動作イメージ https://twitter.com/i/status/1619676321675902977

https://twitter.com/i/status/1619676321675902977

42.

UNITY FECE CAPTURE フェイストラッキングをIPHONEから行う

43.

iPhoneアプリのUnity Face Captureをインストール。 https://apps.apple.com/jp/app/unity-face-capture/id1544159771

https://apps.apple.com/jp/app/unity-face-capture/id1544159771

44.

Unityプロジェクトを作成。特にHDRPじゃないとダメではないですが、今回はHDRPで作成しています。

45.

Package ManagerでLive Captureをインポート。

46.

空のGameObjectを作成、Okubo_Rootにリネーム配下に、モデルのプレハブを配置してAnimatorのコントローラーをNoneに設定。 Okubo_Rootをプレハブ化しておく。

47.

Okubo_RootにArKit Face Actorを追加。

48.

Projectウィンドウで右クリックして、Live CaptureのMapperを作成。

49.

作成したFace Mapperを選択し、さきほど作成したRootのプレハブをRig Prfabaに設定する。

50.

Add Rendererを押下して、顔の表情を持つRendererの設定を追加する。

51.

Blend Shapeで自動でうまく割り当たらない部分を、手動で設定していく。

52.

Evaluatorを作成して割り当てると、反映の強弱の設定などが可能。

53.

頭は、首のボーンで動かすようにHead Rotationに首のボーンをセットする。

54.

作成が完了したFace Mapperを、ARKit Face Actorにセットする。

55.

Hierarchyウィンドウで右クリックして、Live CaptureのTake Recorderを作成。

56.

Capture Devicesの＋を押下して、ARKit Face Deviceを追加する。 HierarchyウィンドウのTake Recorder配下にNew FaceDeviceが追加される。

57.

New FaceDeviceを選択し、ActorにHierarchyのARKit Face Actorを設定する。

58.

Windowメニューから、Live CaptureのConnectionsを開く。初回、Configure Firewallのボタンが表示されるので、そのボタンを押下する。

59.

iPhoneでFace Captureを起動。 UnityのStartボタンを押下する。表情が反映されたらOKです。

60.

つながらない場合、Defenderに阻まれている可能性あり。 Unity Face Captureの通信用に、Defenderに穴をあけます。

61.

Live Captureですが、ここで悲しいお知らせです。これ、Editorでしか動作しません・・・ビルドして使うことができません。

62.

EXEで動かすためには、少し手を加える必要があります。 ¥Library¥PackageCache¥com.unity.live-capture@1.1.1¥Runtime の中身を、Assetsフォルダに移動します。

63.

\Runtime\CompanionApp\CompanionAppServer.csを開き、 CompanionAppServerのスコープをPublicに変更します。

64.

CompanionAppServer のインスタンス化して、起動させるクラスを作成します。 using UnityEngine; using Unity.LiveCapture.CompanionApp; using Unity.LiveCapture; public class CompanionAppServerStarter : MonoBehaviour { CompanionAppServer appServer; void Start() { var servMag = ServerManager.Instance; appServer = (CompanionAppServer)servMag.CreateServer(typeof(CompanionAppServer)); appServer.AutoStartOnPlay = false; appServer.Port = 9000; appServer.StartServer(); } private void Update() { appServer.OnUpdate(); } private void OnDestroy() { if (appServer) { ServerManager.Instance.DestroyServer(appServer); } } }

65.

CompanionAppServerという名前で空のGameObjectを作成します。そのGameObjectに先ほど作成したクラスを追加します。

66.

ビルドして、iPhoneのFace Captureから接続できることを確認します。 Defenderに穴をあけるのをお忘れなく。

67.

CHARACTER CREATOR4 HEADSHOT PLUGIN 写真からキャラクター作成

68.

正面の顔写真1枚から、3Dモデルを作成する恐ろしいPlugin。横顔は自分で手直しする必要あり。

69.

ハゲができます、そこそこいい感じ。メガネは外した写真で、髪もまゆや目にかからない写真が良い。 (無料版だとファイル保存できません。)

70.

付録：対応表 QUEST PRO / IPHONE