仮想(VRChat)と現実の接続点

255 Views

December 14, 25

#robot #vrchat #ファイバリオン

スライド概要

ニソコンVRサミット(2025/12/13)開催の資料です。
アーカイブはこちらになります。
https://www.youtube.com/live/k8BLLA81tcY?si=dX-doxnO2eVM9UYt

みっちー

@dreamdrive

スライド一覧

ロボット＆VRクリエーター #ロボトラ #ファイバリオン #だみとら

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

ダウンロード

関連スライド

VRChatからロボット動かしてみた！?～仮想と現実の接続点～

robot vrchat ファイバリオン

みっちー 1.1K

猫でも分かるUnreal Engineの学び方 - 超初心者向け編 - 2023 v1.0

ue4 ue5 ue-beginner

エピックゲームズジャパン 1.7M

Unreal Engine5 Lumenの仕組みと肝心なところ

ue5 ue-rendering ue-lumen

エピックゲームズジャパン 1.4M

UE5レンダリングフロー総おさらい(2024) 基礎編！[CEDEC+KYUSHU 2024]

ue5 unreal engine ue-rendering

エピックゲームズジャパン 1.2M

Meta XR SDK(V66-74)でQuestアプリを開発

spatial anchor unity quest pro shaperecognizeractivatestate oculus integration transformfeaturestateprovider building blocks transformrecognizeractivestate ovrsemanticclassification jointdeltaprovider ovrscenemanager jointvelocityactivestate オクルージョン sequenceactivestate scene manager ambisonic depth api metaxraudiosource playerlocomotor meta xr sdk quest3 ovrplayercontroller マルチモーダル meta haptics studio direct touch ui meta xr haptics sdk ovrspatialanchor ovrtrackedkeyboard hapticclipplayer fingerfeaturestateprovider hapticclip ワイドモーションモード wmm mruk mr utility kit voice sdk jointrotationactivestate meta horizon os ui set asw application spacewarp ovr metrics tool unityscene manager colocation discovery コロケーション mx ink passthrough camera api hand tracking microgestures webcamtexturemanager passthroughcamerautils cameraviewermanager hand pose selector recorder

あうぜん 1.1M

最新の6.0で学ぶ！初めてのひとのためのSpring Security

java spring security

tada 1M

各ページのテキスト

自己紹介（みっちー）みっちー | Onomichi Hirokazu – 2004年からロボットをたくさん作っています – 2020年勇者技術研究所でファイバリオン製作開始 – 2021年仮想トラッカーだみとら／だみとら２開発仮想トラッカー「だみとら２」 ROBO-ONEの世界から、二足歩行ロボットにどっぷり自宅のロボットの一部 Copyright ©2025, Micchy, All Right Reserved 下肢ロボット型姿勢入力デバイス「だみとらコントローラー」 2025.12.13 ニソコンVRサミット in VRChat

VR Chatの仮想と現実の接続点 VR Chatと双方向に連動するロボット VR Chatアバター Unityのアニメーション機能でステートマシンを製作可能 (任意のロジックを実装可能) ローカルPC 組込機器・ロボットとの通信 (我々の得意分野) Avatar OSC Debug.Logでリアルタイムに変数を取得する黒魔術 VR Chatワールド MIDIのNote Onの18bitを束ねて、リアルタイムに変数を共有する黒魔術 Live Streaming / String Loading / Image Loading C#ライクなU#言語で、プログラミング可能近年VR Chatのワールドとクラウドサーバーの連携APIも充実してきたので、遊び方(黒魔術)を模索中… Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

シリアル通信とは… RS-232C (Dsub-9pin) 最近は省略されることが多いが実は自作PCの取説を見ると M/Bに実装されていることも USB-RS232C変換機注) USBもシリアル通信ですが、本LTでは、RS-232CやUARTを用いた非同期シリアル通信を扱います。 PCの背面パネル Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

10.

外部からWorldへのデータ入力 - MIDI • VRChatに送れるMIDIのイベント – NoteON – 鍵盤を押すイベント(チャンネル、強さ、音程) – NoteOFF – 鍵盤を離すイベント(チャンネル、強さ、音程) – Control Change -音量や音の性質などに関する制御 • 本来は、キーを押す・離すなので、交互に送るものだけれど・・・ – キニシナイ！漢は黙って、ひたすらノォォォオトッ！オンッッ！！ Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

11.

MIDI (Note On)とは・・・チャンネル 1-16(4bit) ベロシティ (音の強さ) 0-127 (7bit) ノートナンバー(音の高さ) 0-127 (7bit) MIDIのデータ (Note On) 18bit 音を伝送するための転送規格 • 音の種類（チャンネル） • 音の強さ • 音の高さ Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

12.

MIDI (Note On)とは・・・チャンネル 1-16(4bit) ノートナンバー(音の高さ) 0-127 (7bit) ベロシティ (音の強さ) 0-127 (7bit) MIDIのデータ (Note On) 18bit 音を伝送するための転送規格 • 音の種類（チャンネル） • 音の強さ • 音の高さ Copyright ©2025, Micchy, All Right Reserved 18bitのデータ 2025.12.13 ニソコンVRサミット in VRChat

13.

MIDI (Note On) を使ってデータを送る… チャンネル 1-16(4bit) ベロシティ (音の強さ) 0-127 (7bit) ノートナンバー(音の高さ) 0-127 (7bit) MIDIのデータ (Note On) 18bit もったいないケド、 18bitの一部を8bitのデータとして使う 8bitのデータ Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

14.

15.

16.

VRChatのログを読み取る • VRChatログの場所 – C:¥Users¥(ユーザー名)¥AppData¥LocalLow¥ VRChat¥VRChat¥output_log_XX-XX-XX.txt • リードオンリーでファイルオープンすれば、リアルタイムにパース可能 Worldにjoinする度に、新しいログが生成される。更新時間が一番新しいものが現行のログ Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

17.

VRChatのログに情報を書き出す • “Hello World”を出力するには… • 16進数に変換 1byte = 8 bit : 0-255 => 00-FF で表現可能 H e l l o (スペース) W o r l d (復帰) (改行) 48 65 6c 6c 6f 20 57 6f 72 6c 64 0d 0a • 48 65 6c 6c 6f 20 57 6f 72 6c 64 0d 0a • 前後に区切り文字をつけて、 Debug.Log関数で出力！ – OUTPUT_DATA[48656C6C6F20576F726C640D0A] – アスキーだけじゃなく、バイナリも転送可能 (0x00-0xFF なんでも送れる) Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

18.

19.

外部へデータを送信出来た！ Debag Log Text Udon Serial com2 vrchat DATA 外部プログラム[com2vrchat]で再度デコード • • • • Copyright ©2025, Micchy, All Right Reserved OUTPUT_DATA[]を見つけ出す中身を抜き出す 16進数をバイナリに変換変換済みのバイナリを仮想COMポートに流す 2025.12.13 ニソコンVRサミット in VRChat

20.

21.

Udon Serial - Arduinoライクな関数実装 Arduino のSerial準拠 • Serial_write(byte send_data) – 1byte送信 • Serial_print(string send_data) – 文字列送信 • Serial_println(string send_data) – 文字列送信(改行付き) • bool Serial_available() – 受信バッファの確認 • byte Serial_read() – 1byteデータ受信 • byte Serial_peek() – 1byteデータ受信 • void Serial_flush() – 受信バッファクリア Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

22.

23.

https://github.com/dreamdrive/UdonSerial

24.

課題 • MIDIドライバ(loopMIDI)や、場合によって仮想シリアルドライバ com0comに加え、com2vrchatなど、周りに用意するものが多く準備に手間がかかる – MIDIドライバを書けるようになって組み込みたい… • 現状、ソースコードしか公開してないのでpythonが読める人しか対象になってない – com2vrchatは自動でログを検出して、GUIで操作できるようにします。 • World OSCが来たらたぶん用済みになる＼(>o<)／ • 現状、18bitを8bitしか使ってなかったり、バイナリにエンコードしていたり、ちょっともったいない仕様 Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

25.

26.

さらに効率化のために① チャンネル 1-16(4bit) ノートナンバー(音の高さ) 0-127 (7bit) ベロシティ (音の強さ) 0-127 (7bit) MIDIのデータ (Note On) 18bit 音を伝送するための転送規格 • 音の種類（チャンネル） • 音の強さ • 音の高さ Copyright ©2025, Micchy, All Right Reserved 18bitのデータ 2025.12.13 ニソコンVRサミット in VRChat

27.

28.

MIDIを角度データのメモリマップとして扱うチャンネル 1-16(4bit) ノートナンバー(音の高さ) 0-127 (7bit) ベロシティ (音の強さ) 0-127 (7bit) MIDIのデータ (Note On) 18bit アドレス部 6bit データ部 12bit 64個の12bitの型の変数テーブル(メモリマップ)として見ることが出来る！ (64音で同期可能) Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

29.

30.

ニソコンVRとROBO-ONEを繋いだ、実証実験！ VRC ← ロボット 2022/09/25 第41回 ROBO-ONE(神奈川県)にて、実証実験デモンストレーション現実世界のロボットを動かすと、VRChat内のロボットが連動して動くデモ VRホビロボ集会合作！ Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

31.

ちなみに・・・MIDIでのデータ転送レート • MIDI 1音で3byte • MIDIの規格上の通信速度は31.25Kbps = 3,906Byte/sec = 1302音/sec • Udonの実行周期は50Hz、1フレーム(1/50)に21音(実測) • 50Hz x 21音 x 3byte = 3150Byte/sec < 3906 • 実測で、だいたいスペックに近い速度は出ている (みっちー調べ) • ただし、Udonの同期が上限約115200bps (VRChat仕様)のため、 MIDIよりワールド同期の方がボトルネック Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

32.

33.

34.

その他、外部信号をVRChatにリアルタイム入力 • VRChatのアバターを外部からリアルタイムで制御する方法 – トラッカーの制御（アバター） 1. OpenVRによるトラッカー座標のオーバーライド – NullドライバーによるHMDの座標オーバーライドも可能 – ただし、コントローラーでのUI操作の課題 2. OSCトラッカーによる方法 – HMDは制御の対象外 × – ワールドのアバター（オブジェクト）の制御 3. Udon = MIDIによる流し込み 4. 映像のストリーミングに情報を載せて (Shader Motion) Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

35.

36.

37.

EX) Shaderを使って外界にアウトプットする方法 (ROSとVRChatを繋ぐさらに強力な武器) • HapticsReciverSample (hheaven氏) – アバターに仕込んだカメラを使い、対象レイヤーのオブジェクトまでの深度をシェーダーでVRCウィンドウにoutput – https://github.com/hheaven/HapticsReciverSample • Shader Motion (lox9973氏) – ボーンの位置・姿勢情報をシェーダーでVRCウィンドウにoutput – https://gitlab.com/lox9973/ShaderMotion Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

38.

Shaderを使って出力した情報 ROSに持ち込む • 実際に作ったもの紹介 – VRC : 手と胴体に仕込んだカメラで接触判定、深度を画面上に表示 – Web Server : 情報をウィンドウキャプチャし、httpで垂れ流し – ROS : WebSocketで受け取った情報をROS messageに変換 • もっと複雑な情報、座標や姿勢などリアルタイムで大量のデータを送るならShaderが有利 Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

39.

40.

ShaderMotion 概要エンコード Shader アバター Transform Udon オーバーレイデコードテクスチャ Shader アバター(オブジェクト) エンコード側をVRChat内ではなく、Unity上で実施することで、ローカルのAIで動かすボーン情報をVRChat内に送り込める Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

41.

42.

43.

ShaderMotionで送れる情報量 1マス= 24x24px 1080p = 3600マス x 3byte = 10,800 byte/フレーム 10800byte x 30fps = 324kbps • 1体分のパペットの情報 = 6*45マス = 270マス • 270x 3 byte = 810byte/avatar 最大情報量 • 13アバター(3,510マス) • 残り2列= 90マスx 3 byte =270byte(演出用として確保できる) Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

44.

45.

46.

それぞれ特徴 • Shader Motionは、配信による遅延が発生する • VMTは、UIの操作が大変なので運用に難あり • アバターであることを求めなければ、MIDIで動かすのがお勧め • 相手がアバターであると認識させるならVMT 遅延同期データレート運用形式音声との同期〇動画で共有 324kbps △ OBS必要ワールドオブジェクト ◎ ローカルは30kbps Udon同期は11.5Kbps △ LoopMIDI 必要ワールドオブジェクト △ △ ドライバセットアップ必要アバター〇 Shader Motion △ 2～3sec MIDI 〇 △ Udon Sync 〇 △ アバターの同期と同じ VMT Copyright ©2025, Micchy, All Right Reserved 数kbps 2025.12.13 ニソコンVRサミット in VRChat

47.

今後のニソコンVRを検討する… (by みっちー) • Articulation Body非対応の現状で、 VRChatでのシミュレーションは難しい • 外部にシミュレーション環境を構築して、INとOUTをVRChatに繋ぐのが良さそう（そもそも、VRChatにこだわるか否かという議論もあってもよいが、それは今回は割愛） • シミュレーション環境どうする？ Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

48.

今後のニソコンVRを検討する… (by みっちー) コントローラーの操作をDebug.LOGでJSON出力 (ユーザー間はUdonで同期) ※ シミュレーター実行ユーザーには公平でないニソコンVR シミュレーター (MuJoCo?) TopazChat OBS 各ユーザー公平に配信 Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

49.

今後のニソコンVRを検討する… (by みっちー) Virtual Reality Music Festival https://x.com/VRMF_info ボクセル情報とテクスチャ情報を、1画面にエンコードして動画配信、3D情報としてVRChat内でデコードする複数インスタンスで同時に視聴可能なＶＲライブこれをMujocoで実現することも可能かも。 Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat

https://x.com/VRMF_info

50.

今後のニソコンVRを検討する… (by みっちー) • VRC World API – String Loading • GitHub等一部ホワイトリストのWebから文字列を取ってくることができる • 制限：GET しかできない • ロボットの形状データなどをwebに保存して、ワールド内で再構築できそう – Image Loading • Webから画像を取得できる • ロボットのテクスチャなどをwebに保存して、ワールド内で再構築できそう Copyright ©2025, Micchy, All Right Reserved 2025.12.13 ニソコンVRサミット in VRChat