人とAIと制御

Physical AI Meet Up 人とAIと制御： AI技術をどこから、どのように取り入れるか？ 慶應義塾大学 井上 正樹 [email protected] セッション4: モデリング科学とPhysical AI 2026.9.15

井上研究室のビジョン 人と繋がる制御システムにおいて 新たな制御理論・技術を開拓する 交通渋滞緩和へ 言語・視覚・触覚ナッジ 航空管制支援へ インタラクティブ制御 生成AIの安全化へ アライメント制御 3 農業環境管理へ レコメンド制御 本日は，AI技術の計測・制御への活用の話を中心に

お題：フィジカルAIとは？ 「物理世界を認識して/予測して/介入するAI」 SICEは計測と制御の専門集団。 昔から取り組んでるでしょ（ドヤッ） ツマラナイ(学術的に何も進めない)のでボツ 基盤モデルがある。すべては AI分野にまかせておけばいい 何かSICEだからできることはないのか？ 4

お題：フィジカルAIとは？ 「物理世界を認識して/予測して/介入するAI」 どんな対象に,どんな目的で,どんなAI技術から導入していくか？ 話題１：AIへの期待と可能性 話題２：AIのいまの限界 まとめと展望：AIとのこれからの付き合い 5

1) 導入：最近の人工知能(AI) デモ(ChatGPT) “５歳の娘がSICE FESで招待講演をします” 6 AIの物理・社会への活用へ AI法 全面施行（2025.9.1） 人工知能基本計画⾻⼦（2025.11.21版） 「世界で最もAIを開発・活用しやすい国」を⽬指して • 非構造化データの扱いも可能 • (生成ではなく)自然言語処理(NLP)技術に興味 • ヒューマンインターフェースへの活用 第２節AI開発⼒の戦略的強化：AIモデルとアプリを 組み合わせた多様なサービスの創出、AIとロボット 等を組み合わせたフィジカルAIの開発導入、 科学研究に広くAIを利活用するAI for Science等の 推進は⽇本の勝ち筋。

1) 導入：情報サービスから物理/社会システムへ ロボティクス・自動運転への期待 SayTap, 2023 7 End-to-End のシステム設計 SkillMimic-v2, 2025 Turing, HPより Gemini Robotics ER1.5, 2025 • フィジカルAI≒VLAでロボティクス/自動運転ばかり？ • もっと広い対象で様々な役割で貢献できるはず！

話題１： 8 言葉を介したヒューマンインタラクション ・・・ 人の理解 人の誘導 様々な制御対象 NLP技術の活用

話題１：HCI 9 AI(NLP技術)を制御のためのヒューマンインタラクションへ Language-aided Control & Management1 人の言葉から選好や要望を推定できるのか？ そして如何に安全性を保障するのか？ Language-aided Estimation2 人の言葉をセンサとして活用できるか？ 1. ChatMPC，arXiv23, ACC24, IEEE TCST26, IEEE TNSM26 2. Language-Aided Particle Filter, arXiv25, IFAC-JSC26

Human as a Supervisor 10 自動車 マツダ共研 「子供多いから気をつけて」 「A機とB機をもう少し広げたい」 航空管制 ENRI共研 「もう少しCPUリソース欲しい」 仮想ネットワークサービス NTT共研 いかに人の選好や要望を 制御システムに反映させるか？

制御のためのインタプリタ設計 制御対象（プラント） チャット 𝒑 インタプリタ ℋ パラメータ 𝜃 制御器 制御器（コントローラ，最適制御） ユーザ 𝜃∗ 観測 𝑧 操作 𝑢 制御対象 𝓒𝜽 𝒫 状態 𝑥 目的関数： ex.燃費重視か速応性重視か？ モデル 制約条件： ex.安全マージンをどの程度とるか？ θ で目的関数，目標軌道，モデル，外乱(の推定値)，制御仕様を調整可能 インタプリタ設計 ユーザ𝓗のチャット情報から選好や要求を表現するパラメータ 𝜽∗ を推定せよ VLAなどで直接アクションを生成するのとは異なるアプローチ

関連研究：チャット駆動制御(インタプリタ含む) ➢NL Interface [Romano et al., IFAC Workshop 91] • 語彙，構文，意味分析をもとに直接制御コマンド選択 ➢ChatMPC [Miyaoka et al, arXiv23, TCST26他] • 基盤モデルをもとに⽬的関数や仕様調整 • 本発表で紹介☺ ➢LanguageMPC [Sha et al, arXiv23] • LLMをもとに⽬的関数調整 ➢ChatSTL [Wang ICCAE 24] • LLMをもとに時相論理(STL)生成 ➢InstructMPC [Wu et al, arXiv25] • LLMをもとに外乱推定 ➢TransMPC [Wu et al, EAAI26] • Transformer で ExplicitMPC 記述 LanguageMPC 12

応用展開１：自動運転への介入 初期の目的関数 経路追従⽬的関数𝐽1 • ⽬標経路=center • ⽬標速度=15 経路 “center” [TCST26], [CPHS26] 13

応用展開１：自動運転への介入（指示１） An ambulance is coming behind us. We'd better let them pass. run_left_lane を reference_speed = 0 で呼び出し 経路追従⽬的関数𝐽1 を変更 • ⽬標経路 = left • ⽬標速度 = 0 譲るには、左に寄って止まればいいことを LLMは知っている 14

応用展開１：自動運転への介入（指示２） Thank you. The ambulance is gone. run_center_lane を reference_speed = 15 で呼び出し 経路追従⽬的関数𝐽1 を変更 • ⽬標経路 = center • ⽬標速度 = 15 履歴が残っているので、エージェントは 原状復帰させることができる 15

応用展開２：航空管制 [飛行機シンポ23, 優秀発表賞など] 16 コントローラと管制管のインタラクティブな管理 直接指示のない 2の高度も調整 1の高度が降下 5を速く，6を遅く しようとしている コントローラ 𝓒𝜽 プロンプト min 𝑱𝒃𝒍𝒐𝒄𝒌 + 𝝎𝑱𝒅𝒆𝒍𝒂𝒚 s.t. 𝑡Ƹ𝑖,𝑣 = 𝑓(𝑋i , ∆𝑣𝑖 , ∆ℎ𝑖 ) 到着時間の予測 インターバル 相談1: “increase the gap between the flight 6 and the previous…” 相談2: “lower the max height of ip1 on the flight 1” 相談3: “lower the max height of ip1 on the flight 1” 速度&高度制約 コントローラで最適性と安全性を担保 𝑡Ƹ𝑖+1 − 𝑡Ƹ𝑖 ≥ 𝑡min + 𝜟t ∆𝑣min ≤ ∆𝑣𝑖 ≤ ∆𝑣max ∆ℎmin ≤ ∆ℎ𝑖 ≤ ∆ℎmax 120秒のインターバル確保

応用展開３：仮想ネットワーク配置 [ICC25, TNSM26] 17 ユーザの要望を叶えるVM■配置と経路選択 ② ① コントローラ 𝓒𝜽 プロンプト σ𝑢∈𝑈𝑠𝑒𝑟 𝑦𝑠𝑙 𝜙𝑠 +𝜖 ෍ ത 𝑙∈𝐿𝑖𝑛𝑘 𝜙 min max 𝑥,𝑦 ෍ 𝑦𝑠𝑙 𝑇𝑙 𝑢∈𝑈𝑠𝑒𝑟 𝑙∈𝐿𝑖𝑛𝑘 s.t. ෍ 𝑢∈𝑈𝑠𝑒𝑟 ෍ 𝑙∈𝐿𝑖𝑛𝑘 ③ 𝑥𝑢𝑑 𝜽𝝃 ≤ 𝜉𝑑 , ∀𝑑 ∈ 𝐷𝑎𝑡𝑎𝑐𝑒𝑛𝑡𝑒𝑟 𝑦𝑢𝑙 𝑇𝑙 ≤ 𝜽𝑻 , ∀𝑢 ∈ 𝑈𝑠𝑒𝑟 User 1: “Please reduce the latency, please” User 2: “I would like to have lower latency network” User 3: “Get more CPUs, please.” 下流のコントローラで最適性と実行可能性を担保

話題１：HCI 18 AI(NLP技術)を制御のためのヒューマンインタラクションへ Language-aided Control & Management1 人の言葉から選好や要望を推定できるのか？ そして如何に安全性を保障するのか？ Language-aided Estimation2 人の言葉をセンサとして活用できるか？ 1. ChatMPC，arXiv23, ACC24, IEEE TCST26, IEEE TNSM26 2. Language-Aided Particle Filter, arXiv25, IFAC-JSC26

Human as a Sensor 19 ちょっと水少ないなあ… なんか振動強いなあ… ちょっと風強いなあ… 道めっちゃ混んでる… 人の言葉には物理状態の情報が含まれている！

言語センサによる状態推定 20 物理モデルと自然言語での観測を用いた状態推定 確率 物理システム 𝒫 密度，速度 言語センサ 𝒮H 状態 𝑥𝑘 進めない 状態推定器 観測 テキスト 𝑠𝑘 𝑥𝑘 推定分布 𝜋 𝑥𝑘 | 𝑠1:𝑘 問題 ・物理システム 𝒫 のモデルは既知とする ・観測テキスト列 𝑠1:𝑘 から 推定分布 𝜋 𝑥𝑘 𝑠1:𝑘 ) を求めよ Point：観測テキスト 𝑠𝑘 の構造化

観測テキスト 𝑠𝑘 の尤度推定 21 ・状態𝒙𝒌 のもとで観測テキスト 𝑠𝑘 が得られる確率 𝑚 𝑗 𝑗 𝑝 𝑠𝑘 | 𝑥𝑘 ∝ ෍ 𝑝 𝑞𝑘 | 𝑠𝑘 𝑝 𝑞𝑘 | 𝑥𝑘 𝑗=1 ・基盤モデル を用いた推定器を訓練 確率 𝑝 𝑞𝑘 | 𝑠𝑘 混んでる… Text Encoder 観測テキスト 𝑠𝑘 ⋯ 1 2 3 ⋯ 𝑚 𝑑: 700~ Neural Network テキスト 埋め込み 𝑒𝑘 ∈ ℝ𝑑 Softmax 特徴量 𝜓𝑘 ∈ ℝ𝑚 確率分布 𝑝 𝑞𝑘 | 𝑠𝑘 𝑞𝑘

SNSを活用した人流の状態推定へ 22 物理センサのみより 状態推定精度up 進めない 潰されちゃう なんか進まなく なってきた 時間 狭い… 歩けねえ！ インタプリタの設計に 工夫でロバスト性獲得 crowdwalk ノイズ（無関係テキスト）割合

話題１:NLPによるHCIへの期待と可能性 23 NLP × 制御・管理1 • NLPによる仕様設計（⽬的関数や制約条件を選択） • 人のあいまいな指示＆AIのハルシネーションのもとでの安全性確保 • 構造化の価値。VLAなどで直接アクションを生成するアプローチとの違い • 期待と可能性： 完全自動化への過渡期で協調運用など。 システム導入時の試運転・調整など効率化 NLP × 状態推定2 • NLPによるセンサ代替と異種センサフュージョン • 期待と可能性： エキスパートの暗黙知抽出・故障診断 新システム導入時の試運転・ 調整は数ヶ月かかることも 1. ChatMPC，arXiv23, ACC24, IEEE TCST26, IEEE TNSM26 2. Language-Aided Particle Filter, arXiv25, IFAC-JSC26

お題：フィジカルAIとは？ 「物理世界を認識して/予測して/介入するAI」 どんな対象に,どんな目的で,どんなAI技術から導入していくか？ 話題１：AIへの期待と可能性 多様な応用先へ, HCIや人の理解のため, NLP技術の導入 話題２：AIのいまの限界 24

人と制御システムのつながり 25 Human-ON-the-loop Human-IN-the-loop 人はSupervisorとして、 間接的にシステムに介入 人はActuatorとして、 直接システムに介入 人 情報 物理 制御システム 人 人が指示 情報 人が直接制御 物理 効果的なシステム設計には 人の予測（モデリング）が必要

話題２：モデリング 26 AI(機械学習やLLM)を人の予測へ 集団の意思決定のモデリング1 何が人の行動変容を促すのか？ 個人の運転行動のモデリング2 人らしさを表すモデル構造はなにか？ 1. [Hoshuyama, JCMSI26], [箕浦，SCI26]など 2. [Hara, LCSS21] など

集団の意思決定モデル 27 ➢なにが人を動かすのか？ 渋滞遭遇時，渋滞時間，料金など どんな情報があればルート変更する？ 外出予定がある時，ポイントなど いくら貰えると時間を遅らせる？ 新たな入力 の探索？ Hs 行動変容

集団の意思決定モデル 28 ➢インセンティブに対する応答をモデル化 • 地域エネマネへ各家庭のEVを使わせて欲しい（外出して欲しくない） 効用関数の推定 クラウドソーシングにて 𝑼(𝒒, 𝑻) = 𝜶𝒒 − 𝜷𝑻 + 𝜸 + ω 1000人のアンケート 回答数 待機要請の受諾率 行動変容確率 𝟏 Δ𝐏 𝒒, 𝑻 = 𝟏 + 𝒆𝒙𝒑{−𝑼} HITL管理へ活用 応じる 応じない

集団の意思決定モデル2 29 ➢渋滞時間や案内文の表現への応答をモデル化 • 交通渋滞緩和へドライバのルート誘導をしたい 直接，行動変容割合をモデル化 首都圏のドライバー 4000人対象の アンケートデータ収集 ルート変更率 あり 「このまま進むと、料金を払っ て20分損する見込みです。」 𝚫𝑷 = 𝜟𝑷 𝒖𝐀 , 𝒖𝐒 , 𝑻 あり なし なし 案内文の付与で14.1% 強調表現でさらに13.8% 𝑻: 遅延時間 最適制御へ活用

個人の行動モデル 30 ➢なにが人を動かすのか？個人差はあるのか？ 様々な 環境情報 H

個人の運転行動モデル 31 人間の行動（制御操作）には“Lazy” な傾向がある 頻繁には制御操作を加えない Ex) 運転のハンドル操作 L1最適制御で行動モデリング ゲームデータでの検証 提案法 (L1) 実験データ LQR “Lazy” • 他にも，ILQ，IRL，ハイブリッド，ARモデルなども経験あり

話題２：予測・モデリングにおける課題 32 集団の意思決定のモデリング1 クラウドソーシングの活用と効用関数の推定 • Feasibility studyや事前学習には効果的？ ☹ LLMのデータ生成では多様性確保で苦戦 ☹ LLMで代替した案内文への応答は全く合わず • エージェントシミュレーションでは 分布が離散的、説明変数も少数 個人の運転行動のモデリング2 ゲームでのデータ収集と逆最適化 • 閉じた環境の限定タスクでは効果的？ ☹ 開いた環境で自由度があると苦戦 （マルチモーダルの研究動機） • その他（情動のモデリングなど） 3 • Web掲示板での感情分析と予測にも挑戦 ☹ 感情予測は非常に困難（正答率55%…） 人の行動を決める入力 候補が多数あると難しい 1. [Hoshuyama, JCSMI26], [箕浦，SCI26]など，2. [Hara, LCSS21] など，3. [本田，SCI25]など

まとめ どんな対象に,どんな目的で,どんなAI技術から導入していくか？ 話題１：AIへの期待と可能性 多様な応用先へ, HCIや人の理解のため, NLP技術の導入 無限に可能性あり☺ 話題２：AIのいまの限界 運転支援やインフラ管理へ，個人・集団の予測のため, 機械学習やLLMによるエージェントシミュレーションの活用 人の予測はまだまだ難しそう 33

展望：AIとの付き合い方 34 ➢ 人がAIの上位（本⽇の話） • システムの構成要素にAI導入（ツールとしてのAI） ➢ AIが人の上位へ • AIエージェント • システムの設計をAIが主導（上位のメタ制御器？） • 課題：不確かさの自認（自信がなければ相談すべき） ➢ 人とAIが対等へ 信頼を得るため、あえて苦言も呈する相棒 • 長期も価値関数をもとに訓練？ • 教育のため、あえて助けない技術（弱いアシスト）[*] 人が上位 AIをツール として活用 AIが上位 承認だけ？ QAだけ？ • 対等な関係へ [*] 日立共同研究: Ishida, SMC25, JCMSI26

パネル用資料

Q1 （狭義の）フィジカルAI （ヒューマノイド）はいつ実用化 されるのか？ 必要なブレークスルーは残っているのか？ 閉じた環境の限定タスクでは もう実用化できそう？ 36 開いた環境の一般タスクでは いくらでも課題がありそう 中国のロボット運動会 2026年8月 協働がまだまだ必要 （我田引水ですが） 課題は、人の理解＆不確かさの自認 いつ人に頼るのか？ 誰の指示か区別するか？ どの情報を参照するか？

Q2 ボトムアップの Physical AI は可能か？ 37 それしかない？遺産を継承し、目的に応じて、必要なところから 1. 設計・試運転・調整の効率化 • NLPでのHCI（ChatMPC[1]） 2. 労働力不足の解消へ • エキスパート学習 • 教育AI（アシスト制御でのUpskilling[2]） 3. 前処理、feasibility study、デジタルツイン • PINNでのシミュレーション • LLMでのエージェントシミュレーション （多様性の確保が難しい？…） [1] Miyaoka, arXiv23, TCST26, TNSM26など [2] Ishida, JCMSI26，JSAI26など 新システムの導入では 数カ月必要？ まずはLLMで feasibility study

Q3 ポストAI時代の SICE の興味は？ 人中心のシステム設計へAI活用 特定タスクの自動化・ 自律化はできたとして？ 38 • 得意/不得意ではなく，楽しい/楽しくないで分ける？ • Bainbridge, “Ironies of Automation,” Automatica, 1983 • 人の理解と長期の価値関数（教育？） • 興味：構造化とAIを要素に含むメタ制御（AIエージェントの高度化） 私は料理をしたかったのです… 苦言も呈してくれる相棒

Q４ そもそもフィジカルAIってなに？ 39 定義：物理世界を認識して/予測して/介入するAI 不確かさの取り扱い 人も含む多様なシステム 機械 物理中心 Physical AI AI インフラ 物理 人 多様な物理システムへAIの恩恵をもたらす 医療 社会 AI中心 Embodied AI 物理 AI 身体を得てAIをさらに賢く(人らしく）