7.4K Views
November 17, 26
スライド概要
リアルタイム3Dコンテンツを制作・運用するための世界的にリードするプラットフォームである「Unity」の日本国内における販売、サポート、コミュニティ活動、研究開発、教育支援を行っています。ゲーム開発者からアーティスト、建築家、自動車デザイナー、映画製作者など、さまざまなクリエイターがUnityを使い想像力を発揮しています。
全 UI を洗い直して作った、 IRIAM の UI 基盤とその運用 地主 龍一, 田沼 修平 株式会社 IRIAM プロダクト開発部エンジニアリング第六グループ
自己紹介 地主 龍一(Ryuichi Jinushi) 株式会社 IRIAM クライアント基盤ユニット リーダー ● ● ● ● スマートフォンアプリやソーシャルゲームの開発 2022年から IRIAM に入社 クライアントチームの EM → クライアント基盤リード バドミントン / アルトサックス / ゲーム / ゲーム音楽
アプリの雰囲気
IRIAM はキャラクターの姿でライブ配信できるアプリ 1 ライバー(配信者) Live2D® や独自のモデルで キャラクターを動かして配信 2 リスナー 配信を見ながら、 コメントやギフトで盛り上げる ライバーとリスナーコメント ギフトを贈ったシーン
ほかにも多くの画面がある マイページ ライバー ランキング イベント一覧 配信一覧 ランク情報
IRIAM を支える技術と環境 ● Unity を採用した理由は 「表現力とマルチプラットフォーム」 ● 一つのコードベースで開発 ● 50 以上の画面を実装 ● 毎月バージョンアップを行い、運営は 9 年目
ゲームエンジンにはアプリの標準がない ネイティブアプリ Unity(ゲームエンジン) 思想:標準に乗って作る 思想:自由に作る OS が標準の部品と作法を用意 アプリの標準は用意されていない 共通化・標準化のサポートがある ゲームに特化している分、 共通化・標準化は自分で行う必要がある IRIAM のような非ゲームアプリではここが課題になった
Gekiteki — この課題に対する「ゲキテキ」というフレームワーク —
アジェンダ PART 1 PART 2 PART 3 PART 4 Unity×ライブ配 信 アプリUIの課題 デザイナーとの協力 実装の共通化 Gekitekiと AI Agent まとめ・ふりかえり 今回の範囲
課題と解決
当時の課題 1. 作り方がばらばら 2.拠り所がない 3.共通言語がない 担当者ごとに 実装の仕方が違う 設計や方針が 決まっていない デザイナーと UI を指す言葉がない 新しい開発のたびに以前の実装を調べ直す必要があった
今回の例:配信者アイコン(ライバーアイコン) ライバーさんの状態によって、アイコンの表示が変わる 通常 配信中 初心者向け配信中 (リング) 初心者向け配信中 (チケット) 配信予約あり
画面ごとに使うアイコンが違う この画面でどのアイコンが使われるか 通常 配信中 初心者向け配信中 (リング) 初心者向け配信中 (チケット) 配信予約あり ライバーランキング ○ ○ × ○ × みつけるタブ ○ ○ × ○ × フォロー中のライバー ○ ○ ○ × ○
ライバーアイコンに潜んでいた課題 1 2 3 同じ状態でも画面ごとに表示する要素が違う 同じ初心者向け配信中でも、画面によってリングやチケットが異なる 新しい画面のたびに対応する要素を検討することになる どの要素まで対応してデザインするかを毎回決める必要がある 挙動の改修があちこちに散らばる タップで配信に遷移する処理が各所に実装されていて、変更時の修正箇所が多い
調べないと作り直せない 新しい表示を 追加したい 以前の実装を 一つずつ調べる 画面ごとに 仕様を判断する 「調査しないといけない」ことは大きなボトルネック スピーディーな開発とリリースの足かせになっていた ようやく 実装できる
では どう解決するか
よくある解決策:デザインシステム トーン&マナー、色、角の丸み それだけでは足りない理由 ・見た目が同じでも、中身が違う → 変更のたびの調査はなくならない 見出しのサイズ、目立たせる要素の優先順位 一般的なデザインシステムは、ここで止まる 決めているのは「見え方」まで ・一度に直せない → 同じものなのに、まとめて変えられない ・どの場面で何を使うかが決まらない → 作り方は人ごとに分かれたまま
IRIAM の解決策:UI コンポーネント 見た目 構造 使う場面 色、形、余白 どう組み立てるか どういうケースで使うか 一般的なデザインシステム:見た目まで / コンポーネント:構造と使う場面まで 同じ目的・用途なら、同じ実装であるべき
イメージした理想:ニーズから UI が一意に決まる やりたいこと(ニーズ) 一覧を表示したい 使うコンポーネント テーブルビュー コンポーネントの基本機能を再利用できる ・スクロールに対応できる ・データが多くても、メモリの心配がない ・デザインのみ実装すればよい
事例:伝え方に合わせて使う UI を選ぶ 表示するだけでいい 明確に確認を挟みたい トースト ポップアップ ・ユーザ操作を止めない ・数秒で消える ・ユーザ操作を止める ・ボタンでしか閉じない
ライバーアイコンは二つのタイプに整理した タイプ1 通常 配信中 タイプ2 初心者向け 通常 配信中 初心者向け 今後メインで再利用する 特定の画面でのみ利用 よく利用する三つの状態に対応 今後の再利用は限定的になる 配信予約
デザイナーからの懸念 「新しいデザインが 作りにくくなるのでは?」 「同じような UI しか 使えなくなるのでは?」
回答:共通化しないワンオフ実装という選択肢を持つ 共通化しないもの 特殊な挙動・仕様 目的 更新頻度 挙動や インタラクションが その画面独自のもの その目的での表現が ここでしかない であろうもの 更新頻度が高く UI の調整が頻繁に 入るであろうもの あえて共通化を避けることで、独自のデザインと素早いリリースを守る
共通化とワンオフ、二つの側面から開発を速くする 共通化する(コンポーネント) あえて共通化しない(ワンオフ) 対象:再利用できる部分 対象:特殊な仕様、頻繁な修正 定義済みのものを再利用し、 検討のコストを下げる ワンオフと合意しておき、 影響範囲を気にせず素早く作る 今後を見据えて、共通化かワンオフか?を開発段階からすり合わせる
コンポーネントをエンジニアリングにもつなげる デザイナー エンジニア 利用 やりたいこと 一覧を表示したい 期待される機能が分かる ・スクロールできる ・セルを使い回す 指定 ・大量のデータも扱える 判断 テーブルビューが該当 テーブルビュー コンポーネントが実装にも存在する
Part 1 のまとめ 課題 解決策 目指す理想 見た目が同じ UI でも 画面ごとに実装がばらばら UI コンポーネントを 定義する デザイナーは コンポーネントを指示する 仕様と実装の把握が難しく コストがかかる 見た目や使う場面を デザイナーと エンジニアで合意する エンジニアは利用する だけで画面が作れる
具体的な取り組み
おさらい:コンポーネントで言語化して共通化する 見た目 構造 使う場面 色、形、余白 どう組み立てるか どういうケースで使うか 見た目だけでなく、構造と使う場面まで含めて、言語化し共通化する
Gekiteki フレームワークの全体像 VSM ビジュアルステートマシン ステートを切り替えるだけで どこからでも画面遷移を実現 UI の規格化 GekitekiEvent で 各 UI の制御を一本化できる UI コンポーネント GekitekiEvent イベントハンドリング ボタンなど末端の操作が 上流のコントローラーまで自動で伝わる ジェネレーター サバイバルガイド コードや prefab の再利用を 容易に確実に行えるようにする
ゴールイメージ:Gekiteki を IRIAM の OS にする ネイティブ OS がしてくれること Gekiteki で目指すこと 標準の UI がある Unity にないアプリ標準を用意する 使うだけで標準的な見た目になる 細かい事はフレームワークがカバー 縦横の切り替えに部品が追従する 従うだけでそれらしい画面になる
全 UI を並べてどう共通化するかを議論した 例:テーブルビューという UI を定義する 16 48 枚 画面 のスクリーンショット を見ながら デザイナーとエンジニアで検討した 参考:当時のホワイトボードの一部 1 アプリにある UI をすべて並べる 2 目的・用途・特徴を言語化する 3 共通化かワンオフかを議論する
共通化する候補の UI たち 一部のサイズが違う 画面の下半分だけ オーバーレイの上 スクロール&ロード 1件ずつデータ追加
共通化しなかった例:HOME の配信一覧 共通化しなかった理由 スクロールによるデータ追加はここだけ 横スワイプ制御のための複雑な実装 起動直後に出会う画面であり、 新しい UI に更新し続ける可能性が高い → 共通化せず、ワンオフにした HOME の配信一覧 共通化した画面
例:テーブルビューの仕様まとめ まとめている内容 ・要件や制約 ・インタラクション ・ユースケース ・利用事例 ・未対応の仕様
おさらい:ライバーアイコンは二つのタイプに整理した タイプ1 通常 配信中 タイプ2 初心者向け 通常 配信中 初心者向け 今後メインで再利用する 特定の画面でのみ利用 よく利用する三つの状態に対応 今後の再利用は限定的になる 配信予約
コンポーネントがデザイナーとの共通言語になった 以前 いま デザイナー デザイナー いつものライバーアイコンを 使ってください いつものライバーアイコンタイプ1を 使ってください エンジニア エンジニア 「いつもの」は、どの仕様ですか? タイプ1なら、配信中と初心者向け配信に 対応するということで合ってますよね? あいまいな指示から、仕様の会話ができるようになった
余談:アプリ内のテキストもすべて見直した アプリ内において最も種類が多い UI はテキスト表示 すべて 141 23 アプリ内のテキスト 件の表示目的に整理 種類のデザインに分類 どんな表示目的があるか(例) 見出し ボディ ラベル ボタンラベル 注釈 あわせて 色(11色)・ウェイト(2種類)・文字揃え・省略や改行のルールまで定義 ギフト周り
テキスト分類の成果とこれから 現状 141 件はまだまだ多く、人が適切に運用できる量ではない 成果 現状を洗い出し、どんなデザインが存在するかを可視化できた これから 1か所でしか使われていないデザインをなくす 重点的に再利用するデザインを整理し、共通化していく コンポーネントとして実装し、利用箇所を追跡できるようにする
UI コンポーネントを実装する
コンポーネントと実装を対にする デザイン(合意した仕様) 実装(Gekiteki) ライバーアイコン LiverIcon.cs テーブルビュー TableView.cs モーダルビュー ModalView.cs デザインの名前が、そのまま実装の名前になる
ジェネレーターで必要なファイルを生成する 例:検索画面のアイコンを作りたい → 「Search」を入力して必要なファイルを生成 キーワードを決める Search ジェネレーター 生成されるファイル SearchLiverIcon_V1.cs SearchLiverIcon_V1.prefab
ジェネレーターで必ず同じものが再利用される 参考・コピペで作る ジェネレーターで作る 人によって作り方がぶれる 誰が作っても同じものになる 細かい対応の漏れが起きる 細かい対応は最初から済んでいる 手間を省き、ミスをなくし、同じものを再利用する
実際の導入:1画面を Gekiteki で作り直して導入する コンポーネントを 実装する 1画面を Gekiteki で再実装して、 コンポーネントを 導入 挙動と再利用の しやすさを検証 まずは1画面で検証 コンポーネントは「実際に導入」して初めて意味がある 導入箇所を 増やしていく
Part 2 のまとめ やったこと つくった体制 結果 全画面・全 UI を並べた UI コンポーネントを デザインと実装の共通言語に 同じコンポーネントの 概念を共有できる 分類、拡張、使い方を デザイナーと議論した ジェネレーターで 再利用を容易かつ安定に実現 安価に再利用して 開発できる
ここからは Gekiteki 活用例を紹介します
後半の話の流れ PART 1 PART 2 PART 3 PART 4 Unity×ライブ配信 アプリ UIの課題 デザイナーとの協力 実装の共通化 Gekitekiと AI Agent まとめ・ふりかえり 画面リファクタリング 動作確認・画面撮影 今回の範囲
自己紹介 田沼 修平 (Shuhei Tanuma) IRIAM事業部 プロダクト開発部 エンジニアリング第六グループ R&Dチーム ● ● ● ● 大手ソーシャルゲーム会社でリードクライアント/ サーバー/インフラエンジニアを担当 2025年よりIRIAMに中途入社 ○ 通信・音声基盤開発、Rustライブラリ実装 担当 ギタリスト / 音楽家 / 物語論 / NUNOANI塾8期生 古典的AI、剛体力学、レンダラ、言語実装
おさらい:Gekitekiフレームワーク 共通UIの作り方を制約し、例外を区別して扱うための4つの仕組み Gekitekiフレームワーク 階層型ステートマシンを使った状態管理 +コンポーネント管理機構 1)Gekiteki Visual StateMachine(VSM) 2)Gekiteki Event 3)UIコンポーネント デザイナーと全 UIを並べて決めた、共通 UIの単位。 エンジニアとデザイナーの共通言語 4)ジェネレーター(サバイバルガイド) コードやPrefabの再利用を容易に確実に行えるようにする
Gekiteki Visual StateMachine (VSM) 階層型ステートマシンを採用 public interface IVisualStateMachine { public string Name { get; set; } void OnEnter(IStateReactorParameter context); void OnExit(); void OnUpdate(); bool IsLeaf(); }
Gekiteki Visual StateMachine (VSM) Root HomeState HomeTabState Event処理 Reactor Controller GekitekiEvent View (uGUI) LiveIcon UI component GekitekiButton (Primitive)
Gekiteki Event 名前でどんなアクションを意図しているかを表したEvent CloseOrBackEvent public class CloseOrBackEvent : GekitekiEvent { // 中略 GekitekiEvent } Eventはそれ自体の種別説明のみで、対応するActionはController側に書く
AIによるリファクタリング
このパートで伝えたいこと 歴史的経緯モリモリな画面を、AI Agentで大規模 リファクタリングする Claude (Fable ・ Opus 5系) / OpenAI Codex (Astra ・ Sol)をメインに活用 Gekitekiフレームワーク活用例 制作ルールを決めたことによりAI親和性が上がった Gekiteki のルールがそのままリファクタリングのガイドになった
課題1: 複数機能が一つのシーンに入っていた 課題 配信準備機能、配信機能が一つの シーンに動的構築されていた 修正に熟練が必要 解決(目指す姿) シーンを役割ごとに分割する 静的にシーン構築をする 単純化して編集が容易に 歴史的経緯により、配信セットアップ画面と配信画面が共通シーンになっていた。 動的な構築をしており、順番も開発時期によって統一されておらず難解だった。
シーンが複雑化している ②配信画面 ①セットアップ画面 ① アップロード ① アセット管理 キャラクター画像管理 モデル・パラメータ管理 ② パラメータ調整 ② 配信状態管理 FaceTracking調整 通信管理・音声 ③ プレビュー ③ コメント管理 動作チェック系 地味に場合分けが多い
課題2: 同じ見た目だが設計・実装が違った 課題 ライバーとリスナーの画面は見た目 は同じだが内部設計、実装が異なっ ていた。 修正が困難だった 解決(目指す姿) シーンを共通化する 役割ごとに見た目を切り替える 単純化して編集を容易に
同じ見た目で実装が異なった ライバー画面 リスナー画面 見た目はほぼ同じだが内部実装が分かれていた 同じ機能をライバー、リスナーそれぞれで実装をしていた 歴史的経緯により2重の実装・管理が発生していた
度重なる増改築で修正が困難になっていた 微妙な場合分けの増加、データ接続経路の複雑化 増改築を繰り返した結果、配信開始・配信再開でフローと実装が別々で、しかもコードが散らばっていた Prefabの微妙な差異 セットアップ部分に必要なPrefabと配信部分に必要なPrefabが混ざっており確認が困難 サービスのコアとなる配信部分に直結するので変更ハードルが高い テストがなく、ミスが致命的な問題につながりやすかった+他施策と変更がコンフリクトしやすい
修正にかかる工数見積 修正対象 3~6 想定期間 ヶ月 2〜3 C# / Scene / Prefab 名 想定人数 改変難易度が高く、IRIAMでも長期間塩漬けにされていた問題
それって、AIでなんとかなるんじゃね?
考え方:メーガーの3つの質問 1 Where am I going? 2 How do I know when I get there? 目標の設定:なにを達成し、最終的に何ができるのかを明確にする 評価の設定:目標を達成したかどうかを具体的な指標で評価する 3 How do I get there? 手段の設定:目標に到達するためにどのような方法を用いるかを選ぶ ※ Robert F. Mager による、効果的な学習や研修を設計するための古典的なフレームワーク
メーガーの3つの質問への回答 1 Where am I going? 2 How do I know when I get there? 目標の設定:配信画面を機能毎に分割して機能の整理・分離を行う 評価の設定:テストケースで振る舞いが一致することを評価する 3 How do I get there? 手段の設定:Gekitekiのルールに沿ってAI Agentからリファクタリングを行う ※ Robert F. Mager による、効果的な学習や研修を設計するための古典的なフレームワーク
テストで振る舞いを固定してから実装 1 2 現状の振る舞いを テストで固定 目標までの プランニング → 人+ AI 3 4 自動テスト AI Agentによる リファクタリング → 5 → AI Agentが進める AIによる 静的レビュー →
テスト設計:振る舞いと状態を別ツールで検証 Unity Test Runner pytest × AssetDump (内製) 画面遷移や操作に対して、期待どおりに GameObject・コンポーネントの状態を 動くかを確認する スナップショットとして取る。 変更前後で比較する 事前にテストで固めてリファクタリングを手堅く行えるようにする
スナップショット支援ツール:AssetDump UnityのC# Projectとシーン情報からアセットの依存関係を解決した状態で情報を出力するツール 実行例:Live.unity から LiveLiverUiBuilder コンポーネントを出力するコマンド uv run --project Tools/UnityAssetDump --locked \ python Tools/UnityAssetDump/dump.py \ Assets/Scenes/Live.unity --component LiveLiverUiBuilder 依存を解決する スナップショットを取る 差分を比較しやすくする
スナップショット支援ツール:AssetDump UnityProject Assets LiveSetup.scene 動作 AssetDump ● 対象のasset情報を読み込む ● UnityProject内の定義、アセットを解決して情報を集める ● Componentやパラメータなどが解決された状態で情報を書き出す
AssetDump出力例 LiveLiverUiBuilder [prefab-instance] (active=0, prefab=Assets/Live/LiverUi/LiveLiverUiBuilder.prefab) - LiveLiverUiBuilder _headerV2 = LiveLiverUiBuilder/UiPanel/UiRoot/HeaderUIRoot/LiveLiverHeaderV2 [LiverHeaderV2] (scene-override) _camerasRoot = LiveCamerasRoot (scene-override) _uiForwardRoot = LiveLiverUiBuilder/UiPanel/TemporaryCanvas [RectTransform] (prefab) 参照先 フィールドが指す GameObjectの 階層パスと型 scene-override prefab シーン側で上書きされた値 Prefab側で定義された値 実装前後でスナップショットを取得し、比較検証できるようにした
AssetDumpで分かったこと 動的構築したカメラのパラメータが微妙に違う 大きな影響はなかったがセットアップ上統一されていないことが判明した スナップショットテスト対象範囲ではデグレが0だった シーン/Prefab状態の抜け、漏れが確実にチェックできた スナップショットテストがリファクタリングの精度を支えることになった
AI Agentによるリファクタリング
実行環境とスキル構成 スキル構成 実行環境 Roadmap Execution • OpenAI Codex (Astra ・ Sol) ゴール、制約、達成条件を列挙して進行を管理する • Claude (Fable ・ Opus 5系) • MacBook Pro M4 • AI Agentを24時間稼働 inventory 収集した事実をMarkdownファイルに列挙する code review IRIAMのルールに沿った判断基準でレビューする
リファクタリング前の事前検証 ● プランニングの根拠ができる範囲まで事前実装、検証を進める ● ある程度確度の高い根拠が出揃った段階で詳細な見積もりを行う ● 専用のRoadmap Executionスキルを使って対応を行う 人が開発したら数ヶ月規模なので手戻りは厳しい。実現可能性を先に確保する
あらためて、マージまでの工数見積 想定期間 想定人数(※レビュアーは除く) 7 1 日 対象 C# / Scene / Prefab 人 事前検証後の エンジニアによる見積もり (QA期間は別途対応とする) ※1日計画+2日実装+4日検証 AIを短期集中で動かすことで期間を大幅に圧縮できる見込みが立った 金曜夜からAI稼働開始〜土日実装で月曜から検証というスケジュールを選択できた
RoadmapExecutionスキルの紹介 「メーガーの3つの質問」をベースにプランニングをするスキル ● 達成すべきゴールはなにか ● 完了条件、評価手法はなにか ● どうやってゴールに辿り着くか
RoadmapExecutionスキルの概要 ## Overview Use this skill to reproduce a roadmap-driven development loop: inspect the current implementation, write or update a Japanese Markdown roadmap, execute phases incrementally, verify with deterministic gates, update completion state, and commit only completed slices. Keep roadmap prose Japanese by default. Code identifiers, file paths, commands, and stable fixture keys may remain in English. ## Core Workflow 1. Build context before deciding: read project guidance such as `AGENTS.md`, check `git status --short`, inspect existing roadmap files, relevant gates, Makefile targets, fixtures, and implementation modules. 2. If the user asks for candidates, propose 3-5 roadmap themes ordered by impact, each with scope, reason, likely files, risks, and suggested first slice. 3. If the user approves a theme, create or update a Markdown roadmap file before implementation unless they explicitly request code-only work. 4. Implement one coherent phase or slice at a time. Prefer stable contracts, deterministic fixtures, and focused gates before broad live wiring. 5. After each slice, update the roadmap progress notes and checkboxes to reflect only verified work. 6. Run focused verification, regenerate intentional stable fixtures, then run inventory/completion gates that can be affected by new docs, fixtures, Make targets, or completed roadmaps. 7. Commit each completed task when repository policy requests commits. After commit, run `git status --short` and confirm the worktree is clean. 現状を調べる →ロードマップを書く →少しずつ実装 →完了分だけコミット
ロードマップを外部ファイルにする理由 Markdownファイルにロードマップを記述することを選んだ ● ゴールの明示化 ● 進捗の管理 ● 達成条件の明示化 作業途中でAgentを変えるケースもある。外部ファイル化が確実
実施スケジュール 金 土 日 AIで プランニング テスト設計 リファクタリング リファクタリング 検証 → → 月 担当による レビューと → 修正 火 水 木 レビュアーに よるレビュー 同左 同左 → 金曜日から 24時間AIを稼働させてリファクタリング対応を行った →
Result: マージまで7日で達成できた 実績期間 実績人数(※レビュアーは除く) 7 1 日 人 変更は1500ファイル、テストを含め20万行、約500コミットに及んだ ※QA期間は別途設けています
ユーザーに影響したバグ:2件 深い階層の微妙な差分を落とした 別途、共通ライブラリのバグにも遭遇した。 テストシナリオに追加して恒久対応した。 2件 コーナーケースバグを見落とした 特定条件時の操作で、begin / end内の処理が対になってい なかった
Result 配信画面まわりの変更禁止は 1週間だけで済んだ 1週間、配信画面関連の変更を止めるだけで、セットアップ画面の分割を達成した AIによる画面変更の確度の高いフローを構築した 有用性が分かったので、その後も複数画面の統廃合を同じ手段で行った エンジニアのアサインは今回の規模なら 1名でできることが分かった 余裕はあったので並行して難易度の高い開発業務も担当できた
まとめ 歴史的経緯モリモリな画面を、AI Agentで大規模 リファクタリングできた! 長年悩みのタネだった配信画面の役割ごとの分割、適正化が行えた 制作ルールが決まっているから変更の基準が明確 だった 制作ルールを決めたことによりAI親和性が上がった 一方で、確認の網からこぼれたバグはあった
AIによる動作確認支援、撮影
このパートで伝えたいこと 動作確認のボトルネックをAgentで解決する手法 確認もAgentに手伝ってもらえば手間を大きく減らせる 配信〜コメント、ギフト送信など簡易テストがAgent任せで180秒で終わる Agentで確認した証拠を集める スクリーンショット撮影の活用:シナリオを経由で撮る アプリ画面のスクリーンショット、状態のダンプが5分程度で終わる
課題: 修正に対して確認クオリティが下がる 課題 AIによる実装で開発期間は大幅短縮 した。しかし、膨大な修正内容を正 確に検証しきれなくなった 検証クオリティの悪化 解決(目指す姿) AIで確認も行える環境にする 証拠を収集できるようにする 検証クオリティを維持する
Agentによるリファクタリングでのふりかえり 大規模リファクタリングで2件のバグが発生 ライバーさんやリスナーさんに不便をかけてしまった。 コミュニティファーストで対応できるように心がけたい 広範囲の修正も簡単に確認できる環境が必要だった
確認もAIでなんとかなるんじゃね?
確認もAIでスケールさせれば良いじゃない 実装ボトルネック解消で開発ツール作成も容易になった 確認ボトルネックは状態の再現だった 応答の記録・再生機構を作ればどうにかできそう AgentからUnity CLIを使ったら普通に確認できたので Go
試作段階で見えた課題 動いてはいるが諸問題がある。Agentにざっくり確認という指示だと・・・ アプリで実行できる操作はAgentもすべて実行できてしまう Unity CLI経由だと何でも操作できてしまう → デバッグ用の通信プロトコル(Relay Chat)を新設してできることを制限した 他の人をブロックしてしまったり、SNS投稿機能を使おうとしたりする → 共有している開発環境でのテストでは他影響が出る。ポリシー制御が必要となった Editorの場合複数ユーザー行動の再現で工夫をする必要がある → XDG_CONFIG_HOMEを分けてLinux PlayerをXvfb経由で実行することにした
ライブ配信アプリ特有の検証課題 配信がないとテストが難しい:配信を準備する必要がある 配信サーバーも当然関わってくる 複数ユーザーの行動を再現する必要もある 配信一覧 配信画面
API Debug Proxy: 望む状態を作る 応答の記録と再生 シナリオ内の世界モデルとして再現する サーバーからのレスポンスを書き換えて任意の状態を作り出す 簡易検証するだけであれば期待するレスポンスを返したほうが楽 ローカルの配信サーバーと連携し、整合性のとれた状態を再現する 配信への入退室やコメントがきちんと同期される
API Debug Proxy: 設計 サーバー: Rust 開発サーバーとの間を中継し、シナリオに応じてAPIレスポンスを書き換える シナリオ: TypeScript / JavaScript VM (ECMAScript) リクエストごとに書き換えたResponseを返すかそのまま通すかを決める 専用の配信サーバーと状態を一致させる 開発者が日常的に使う部分( TypeScript)とコア部分( Rust)で実装を分けている
検証ツール全体構成 API Server Live Server Headless bot API Debug Proxy AI Agent Linux VM Unity Editor Relay Chat Unity Linux Player Unity Linux Player 開発機
API Debug Proxy: シナリオ例
const scenario: Scenario = {
id: "S6D-enter-synth-skeleton",
description: "合成した配信への入室をローカル server へ向ける",
wantBody: ID_GUARDED_PATHS.concat(ENTER_BODY_PATHS),
onRequest(req, ctx): Decision | undefined {
const entered = enterDecision(req, TARGET, liveOf, { userId: SELF_USER_ID, point: 0 });
if (entered !== undefined) {return entered;}
return IdGuard(req);
},
};
export default scenario;
TypeScriptでレスポンスを任意のものに書き換えられる
AI Agentによる動作確認
AI Agentでの動作確認フロー 1 2 テストシナリオの プランニング 3 行動計画シナリオ 作成 → 4 → TypeScriptで1ファイルからexport 人+ AI スクリーンショット+ レポーティング Agentによる 自動テスト API Debug Proxy シナリオ作成 → 5 AI Agentが進める →
UnityPlayer シナリオ例: 配信開始
export const drive: Drive = {
policy: "off",
async run(t) {
await t.step("home", async () => { await closePopups(t);});
let liveSince = -1;
await t.step("start_live", async () => {
await needScenario(t, ID);
liveSince = await t.player.lastSeq();
await startLive(t, TITLE);
});}}
Unity Playerに乗せた TypeScript経由でシナリオのリプレイをする
DebugProxyもUnity Player側もTypeScriptで同じように振る舞いを書けるようにしてある
スクリーンショット 状態を作れるので撮影したい画面が作り出しやすくなった Agentがプランニングからスクリーンショット撮影までを行う 撮影に必要な状態をつくる API Debug Proxyのレスポンス(状態)を記述する Playerのシナリオを実行する 画面へ遷移して撮影する 環境に応じて GameViewのスクリーンショットや Xvfbから取得する
スクリーンショットレポート 画素、構造の差分をだす 画像だけでは判断しづらいものも多い 1)事前に人間が確認した画像 2)対象のHierarchy情報 2面で判断するようにしている 全体で5分程度で巡回できるようになった
スクリーンショットの活用方法 スクリーンショット+構造データで判断する データを活用するには基準となるルールやゴールデンイメージが必要となる 現状は事前に人間が確認したものを採用している 併せてシーン構造も保存しており、Agentでの判定に活用している 現状は「気付ける」という段階で効率的な活用はこれから
Agent支援による開発時の確認フローの変化 Before After Unity Editor複数起動 Agentに依頼して確認しやすい 実機複数台を駆使して検証 状態を再現する Debug Proxy + QA Agent Agent支援により任意状態の再現がとても簡単にできるようになった
動作確認にあたってAgentに必要となった仕組み デバッグ用プロトコル: Agentからできることを制限した(Relay Chat + JavaScript) 現在地と次に行ける場所: Gekiteki Visual StateMachineから列挙して明確化 評価基準: 期待する画面を状態を人間とAIで記述し、判定できるようにした 今できること・やってよいこと: GekitekiEvent / ポリシー制御で使える手段を限定した
Gekiteki VSM: 遷移情報を提供 { "pageId": "home.liveList.default", "displayName": "配信一覧", "kind": "vsm", "statePath": ["root_home", "home_homeTab", "homeTab_liveList", "liveList_default"], "sceneName": "Home", "navigation": "goto", "screenshotTarget": "LiveList", "screenshotTargetEnabled": true, "recipe": [], "prerequisites": ["login", "homeReady"], "platforms": ["editor", "ios", "android"], "notes": "" }, Agentはこの一覧を見て、今いる画面と次に行ける画面を知る
Gekiteki Event: ポリシー制御に活用 EventとUI要素の2層で制御 GekitekiEventでActionの情報がわかる 配信に入る AIにとって何ができるかの手が かりとなった どんなアクションか名前から分かる IRIAM外に出る ポリシー制御 お問い合わせを開く 一般制御: Eventベース SNS投稿・ギフトを送信しない:要素の名前ベース
人のための構造がAgentにとってのガイドとなった Gekitekiは開発者が理解しやすくするための構造 自己説明的な性質がAgentにとってガイドになった
Agentベースの動作確認前後で変わったこと ● ● Agentに任せたこと ○ 探索 / 状態の再現 ○ 画面撮影 ○ 内部状態の確認 人間に残ったこと ○ ゴールの提示:なにをして、なにをしないかの判断 ○ 証拠の確認 ○ サービスへの責任
このアプローチの制限 E2Eテストの代替にはならない あくまで開発のお供ツール 状態を作り込みすぎると、サーバーAPIの2重実装になる 曖昧な仕様などは見落としやすい 明文化されていない暗黙の仕様は見落とされがち
Result AI Agent駆動の検証、探索、スクリーンショット撮影ができた 開発環境から利用できる機能で確認が簡単にできるようになった Agentから操作するAPI Debug Proxyで画面の検証が容易になった Agent + ポリシー制御 + TypeScriptスクリプティングという構成 Gekitekiフレームワークを活用してAIから活用しやすくなった ルール化したことが結果的にAIにとっての頼れる1次情報としてのガイドとなった
Result: Agentで動作確認をすることができた 開発段階のテストケース+確認は人手を増やさずに対応できるようになった QA依頼前に実装への確信を持ちやすくなった 短期間で難易度の高い開発を複数まわすので心強い
まとめ 実装だけでなく、AI Agentで動作確認もスケール できるようになった 大量の変更も、スクリーンショットと構造データを証拠に確かめられるようになった 人のために作ったルールがAgentにも活用できた 遷移先情報やポリシー制御などにも転用できた
まとめ・ふりかえり
ふりかえり 1 2 全UIを洗い直す 内製FWでルール化 → 3 基準ができたことで AIから活用しやすく → なった 4 → AIによる画面 リファクタリング と動作確認 共通UIの制作を、 デザイナーと協力して 画面と状態を宣言的に UnityでのAgentを Gekitekiで容易にでき 全UIを並べ、共通化す 記述し、AIとの親和性 使った画面リファクタ るようにした るものと例外を決めた が高まった リングと、動作確認の 事例ができた
制作ルールを整備したことで得られたメリット 人間からも AI Agentからも有用なガイドとなった 制作ルール+ガイド UIフレームワーク UIコンポーネント Gekiteki Visual StateMachine ジェネレーター GekitekiEvent
Unity開発で今日から真似できること Scene / Prefabを、参照解決したテキストとして書き出し、変更前後の差分 を検証する 状態のデグレを機械的に検出できるようになる 画面の状態と遷移先を列挙してAgentにわたせるようにする Agentが今どこにいて次にどこに行けるかがわかるようになる UIのActionに「何をするか」がわかるような名前をつけて、その名前で Agentの操作を制限する やってはいけない操作を止めやすくなる
本講演のまとめ UI コンポーネントで、デザイナーとエンジニアが同じ言葉で画面を作れる ようになった 全 UI を並べ、共通化するものとワンオフにするものをデザイナーと決めた 制作ルールを共通化すると、Agent も活用しやすくなる VSMの遷移情報とGekitekiEventの名前が、そのままAgentの地図と行動ポリシーになった 条件をそろえれば、Agentをつかった開発はワークする 3〜6ヶ月・2〜3名の見積もりを、7日・1名で。振る舞いをテストで固定し、確認までAgentに任せる仕組みが前提 人のために整えた構造が Agentにとってもガイドとなった
展示エリアのIRIAMのブースでも、講演の内容を一部展示しています