---
title: 人とAIと制御
tags:  #フィジカルai #制御工学 #ヒューマンインタラクション  
author: [Masaki Inoue](https://www.docswell.com/user/minoue227)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/VJNY9NGM78.jpg?width=480
description: SICE FES 2026の企画「Physical AI Meet Up」での講演資料です。特にセッション４の「モデリング科学とPhysical AI」の中での発表です。 企画の詳細はこちら https://sicefes26.sice.jp/physical-ai-up-jpn/
published: September 15, 26
canonical: https://www.docswell.com/s/minoue227/K7N3NN-2026-09-15-155619
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/VJNY9NGM78.jpg)

Physical AI Meet Up
人とAIと制御：
AI技術をどこから、どのように取り入れるか？
慶應義塾大学
井上 正樹
minoue.z6@keio.jp
セッション4: モデリング科学とPhysical AI
2026.9.15


# Page. 2

![Page Image](https://bcdn.docswell.com/page/YE9P2RWWJ3.jpg)

井上研究室のビジョン
人と繋がる制御システムにおいて
新たな制御理論・技術を開拓する
交通渋滞緩和へ
言語・視覚・触覚ナッジ
航空管制支援へ
インタラクティブ制御
生成AIの安全化へ
アライメント制御
3
農業環境管理へ
レコメンド制御
本日は，AI技術の計測・制御への活用の話を中心に


# Page. 3

![Page Image](https://bcdn.docswell.com/page/GE8D5WNRED.jpg)

お題：フィジカルAIとは？
「物理世界を認識して/予測して/介入するAI」
SICEは計測と制御の専門集団。
昔から取り組んでるでしょ（ドヤッ）
ツマラナイ(学術的に何も進めない)のでボツ
基盤モデルがある。すべては
AI分野にまかせておけばいい
何かSICEだからできることはないのか？
4


# Page. 4

![Page Image](https://bcdn.docswell.com/page/LELMYNP27R.jpg)

お題：フィジカルAIとは？
「物理世界を認識して/予測して/介入するAI」
どんな対象に,どんな目的で,どんなAI技術から導入していくか？
話題１：AIへの期待と可能性
話題２：AIのいまの限界
まとめと展望：AIとのこれからの付き合い
5


# Page. 5

![Page Image](https://bcdn.docswell.com/page/4JMYNX49JW.jpg)

1) 導入：最近の人工知能(AI)
デモ(ChatGPT)
“５歳の娘がSICE FESで招待講演をします”
6
AIの物理・社会への活用へ
AI法 全面施行（2025.9.1）
人工知能基本計画⾻⼦（2025.11.21版）
「世界で最もAIを開発・活用しやすい国」を⽬指して
• 非構造化データの扱いも可能
• (生成ではなく)自然言語処理(NLP)技術に興味
• ヒューマンインターフェースへの活用
第２節AI開発⼒の戦略的強化：AIモデルとアプリを
組み合わせた多様なサービスの創出、AIとロボット
等を組み合わせたフィジカルAIの開発導入、
科学研究に広くAIを利活用するAI for Science等の
推進は⽇本の勝ち筋。


# Page. 6

![Page Image](https://bcdn.docswell.com/page/PJR9DNW979.jpg)

1) 導入：情報サービスから物理/社会システムへ
ロボティクス・自動運転への期待
SayTap, 2023
7
End-to-End のシステム設計
SkillMimic-v2, 2025
Turing, HPより
Gemini Robotics ER1.5, 2025
• フィジカルAI≒VLAでロボティクス/自動運転ばかり？
• もっと広い対象で様々な役割で貢献できるはず！


# Page. 7

![Page Image](https://bcdn.docswell.com/page/PEXQ1NP3JX.jpg)

話題１：
8
言葉を介したヒューマンインタラクション
・・・
人の理解
人の誘導
様々な制御対象
NLP技術の活用


# Page. 8

![Page Image](https://bcdn.docswell.com/page/3EK92NDNED.jpg)

話題１：HCI
9
AI(NLP技術)を制御のためのヒューマンインタラクションへ
Language-aided Control & Management1
人の言葉から選好や要望を推定できるのか？
そして如何に安全性を保障するのか？
Language-aided Estimation2
人の言葉をセンサとして活用できるか？
1. ChatMPC，arXiv23, ACC24, IEEE TCST26, IEEE TNSM26
2. Language-Aided Particle Filter, arXiv25, IFAC-JSC26


# Page. 9

![Page Image](https://bcdn.docswell.com/page/L73W4VRZ75.jpg)

Human as a Supervisor
10
自動車
マツダ共研
「子供多いから気をつけて」
「A機とB機をもう少し広げたい」
航空管制
ENRI共研
「もう少しCPUリソース欲しい」
仮想ネットワークサービス
NTT共研
いかに人の選好や要望を
制御システムに反映させるか？


# Page. 10

![Page Image](https://bcdn.docswell.com/page/87DKQ8Y4JG.jpg)

制御のためのインタプリタ設計
制御対象（プラント）
チャット 𝒑
インタプリタ
ℋ
パラメータ 𝜃
制御器
制御器（コントローラ，最適制御）
ユーザ
𝜃∗
観測 𝑧
操作 𝑢
制御対象
𝓒𝜽
𝒫
状態 𝑥
目的関数：
ex.燃費重視か速応性重視か？
モデル
制約条件：
ex.安全マージンをどの程度とるか？
θ で目的関数，目標軌道，モデル，外乱(の推定値)，制御仕様を調整可能
インタプリタ設計
ユーザ𝓗のチャット情報から選好や要求を表現するパラメータ 𝜽∗ を推定せよ
VLAなどで直接アクションを生成するのとは異なるアプローチ


# Page. 11

![Page Image](https://bcdn.docswell.com/page/VJPKL86VE8.jpg)

関連研究：チャット駆動制御(インタプリタ含む)
➢NL Interface [Romano et al., IFAC Workshop 91]
• 語彙，構文，意味分析をもとに直接制御コマンド選択
➢ChatMPC [Miyaoka et al, arXiv23, TCST26他]
• 基盤モデルをもとに⽬的関数や仕様調整
• 本発表で紹介☺
➢LanguageMPC [Sha et al, arXiv23]
• LLMをもとに⽬的関数調整
➢ChatSTL [Wang ICCAE 24]
• LLMをもとに時相論理(STL)生成
➢InstructMPC [Wu et al, arXiv25]
• LLMをもとに外乱推定
➢TransMPC [Wu et al, EAAI26]
• Transformer で ExplicitMPC 記述
LanguageMPC
12


# Page. 12

![Page Image](https://bcdn.docswell.com/page/2EVVQN3REQ.jpg)

応用展開１：自動運転への介入
初期の目的関数
経路追従⽬的関数𝐽1
• ⽬標経路=center
• ⽬標速度=15
経路 “center”
[TCST26], [CPHS26]
13


# Page. 13

![Page Image](https://bcdn.docswell.com/page/57GLWK36EL.jpg)

応用展開１：自動運転への介入（指示１）
An ambulance is coming behind us.
We'd better let them pass.
run_left_lane を
reference_speed = 0 で呼び出し
経路追従⽬的関数𝐽1 を変更
• ⽬標経路 = left
• ⽬標速度 = 0
譲るには、左に寄って止まればいいことを
LLMは知っている
14


# Page. 14

![Page Image](https://bcdn.docswell.com/page/4EQY3N52JP.jpg)

応用展開１：自動運転への介入（指示２）
Thank you. The ambulance is gone.
run_center_lane を
reference_speed = 15 で呼び出し
経路追従⽬的関数𝐽1 を変更
• ⽬標経路 = center
• ⽬標速度 = 15
履歴が残っているので、エージェントは
原状復帰させることができる
15


# Page. 15

![Page Image](https://bcdn.docswell.com/page/KJ4W1G9P71.jpg)

応用展開２：航空管制 [飛行機シンポ23, 優秀発表賞など]
16
コントローラと管制管のインタラクティブな管理
直接指示のない
2の高度も調整
1の高度が降下
5を速く，6を遅く
しようとしている
コントローラ 𝓒𝜽
プロンプト
min 𝑱𝒃𝒍𝒐𝒄𝒌 + 𝝎𝑱𝒅𝒆𝒍𝒂𝒚
s.t. 𝑡Ƹ𝑖,𝑣 = 𝑓(𝑋i , ∆𝑣𝑖 , ∆ℎ𝑖 )
到着時間の予測
インターバル
相談1: “increase the gap between the flight 6
and the previous…”
相談2: “lower the max height of ip1 on the flight 1”
相談3: “lower the max height of ip1 on the flight 1”
速度&高度制約
コントローラで最適性と安全性を担保
𝑡Ƹ𝑖+1 − 𝑡Ƹ𝑖 ≥ 𝑡min + 𝜟t
∆𝑣min ≤ ∆𝑣𝑖 ≤ ∆𝑣max
∆ℎmin ≤ ∆ℎ𝑖 ≤ ∆ℎmax
120秒のインターバル確保


# Page. 16

![Page Image](https://bcdn.docswell.com/page/LE1YGDKX7G.jpg)

応用展開３：仮想ネットワーク配置 [ICC25, TNSM26] 17
ユーザの要望を叶えるVM■配置と経路選択
②
①
コントローラ 𝓒𝜽
プロンプト
σ𝑢∈𝑈𝑠𝑒𝑟 𝑦𝑠𝑙 𝜙𝑠
+𝜖 ෍
ത
𝑙∈𝐿𝑖𝑛𝑘
𝜙
min max
𝑥,𝑦
෍ 𝑦𝑠𝑙 𝑇𝑙
𝑢∈𝑈𝑠𝑒𝑟 𝑙∈𝐿𝑖𝑛𝑘
s.t. ෍
𝑢∈𝑈𝑠𝑒𝑟
෍
𝑙∈𝐿𝑖𝑛𝑘
③
𝑥𝑢𝑑 𝜽𝝃 ≤ 𝜉𝑑 , ∀𝑑 ∈ 𝐷𝑎𝑡𝑎𝑐𝑒𝑛𝑡𝑒𝑟
𝑦𝑢𝑙 𝑇𝑙 ≤ 𝜽𝑻 , ∀𝑢 ∈ 𝑈𝑠𝑒𝑟
User 1: “Please reduce the latency, please”
User 2: “I would like to have lower latency network”
User 3: “Get more CPUs, please.”
下流のコントローラで最適性と実行可能性を担保


# Page. 17

![Page Image](https://bcdn.docswell.com/page/GEWGKYDKJ2.jpg)

話題１：HCI
18
AI(NLP技術)を制御のためのヒューマンインタラクションへ
Language-aided Control & Management1
人の言葉から選好や要望を推定できるのか？
そして如何に安全性を保障するのか？
Language-aided Estimation2
人の言葉をセンサとして活用できるか？
1. ChatMPC，arXiv23, ACC24, IEEE TCST26, IEEE TNSM26
2. Language-Aided Particle Filter, arXiv25, IFAC-JSC26


# Page. 18

![Page Image](https://bcdn.docswell.com/page/47ZLZXGNJ3.jpg)

Human as a Sensor
19
ちょっと水少ないなあ…
なんか振動強いなあ…
ちょっと風強いなあ…
道めっちゃ混んでる…
人の言葉には物理状態の情報が含まれている！


# Page. 19

![Page Image](https://bcdn.docswell.com/page/YJ6WZ4Y9JV.jpg)

言語センサによる状態推定
20
物理モデルと自然言語での観測を用いた状態推定
確率
物理システム 𝒫
密度，速度 言語センサ 𝒮H
状態
𝑥𝑘
進めない
状態推定器
観測
テキスト
𝑠𝑘
𝑥𝑘
推定分布
𝜋 𝑥𝑘 | 𝑠1:𝑘
問題
・物理システム 𝒫 のモデルは既知とする
・観測テキスト列 𝑠1:𝑘 から 推定分布 𝜋 𝑥𝑘 𝑠1:𝑘 ) を求めよ
Point：観測テキスト 𝑠𝑘 の構造化


# Page. 20

![Page Image](https://bcdn.docswell.com/page/GJ5MWQGDJ4.jpg)

観測テキスト 𝑠𝑘 の尤度推定
21
・状態𝒙𝒌 のもとで観測テキスト 𝑠𝑘 が得られる確率
𝑚
𝑗
𝑗
𝑝 𝑠𝑘 | 𝑥𝑘 ∝ ෍ 𝑝 𝑞𝑘 | 𝑠𝑘 𝑝 𝑞𝑘 | 𝑥𝑘
𝑗=1
・基盤モデル を用いた推定器を訓練
確率
𝑝 𝑞𝑘 | 𝑠𝑘
混んでる…
Text
Encoder
観測テキスト
𝑠𝑘
⋯
1 2 3 ⋯ 𝑚
𝑑: 700~
Neural
Network
テキスト
埋め込み
𝑒𝑘 ∈ ℝ𝑑
Softmax
特徴量
𝜓𝑘 ∈ ℝ𝑚
確率分布
𝑝 𝑞𝑘 | 𝑠𝑘
𝑞𝑘


# Page. 21

![Page Image](https://bcdn.docswell.com/page/LE3W4VPQE5.jpg)

SNSを活用した人流の状態推定へ
22
物理センサのみより
状態推定精度up
進めない
潰されちゃう
なんか進まなく
なってきた
時間
狭い…
歩けねえ！
インタプリタの設計に
工夫でロバスト性獲得
crowdwalk
ノイズ（無関係テキスト）割合


# Page. 22

![Page Image](https://bcdn.docswell.com/page/8EDKQ8LW7G.jpg)

話題１:NLPによるHCIへの期待と可能性
23
NLP × 制御・管理1
• NLPによる仕様設計（⽬的関数や制約条件を選択）
• 人のあいまいな指示＆AIのハルシネーションのもとでの安全性確保
• 構造化の価値。VLAなどで直接アクションを生成するアプローチとの違い
• 期待と可能性：
完全自動化への過渡期で協調運用など。
システム導入時の試運転・調整など効率化
NLP × 状態推定2
• NLPによるセンサ代替と異種センサフュージョン
• 期待と可能性：
エキスパートの暗黙知抽出・故障診断
新システム導入時の試運転・
調整は数ヶ月かかることも
1. ChatMPC，arXiv23, ACC24, IEEE TCST26, IEEE TNSM26
2. Language-Aided Particle Filter, arXiv25, IFAC-JSC26


# Page. 23

![Page Image](https://bcdn.docswell.com/page/V7PKL82XJ8.jpg)

お題：フィジカルAIとは？
「物理世界を認識して/予測して/介入するAI」
どんな対象に,どんな目的で,どんなAI技術から導入していくか？
話題１：AIへの期待と可能性
多様な応用先へ, HCIや人の理解のため, NLP技術の導入
話題２：AIのいまの限界
24


# Page. 24

![Page Image](https://bcdn.docswell.com/page/2JVVQND3JQ.jpg)

人と制御システムのつながり
25
Human-ON-the-loop
Human-IN-the-loop
人はSupervisorとして、
間接的にシステムに介入
人はActuatorとして、
直接システムに介入
人
情報
物理
制御システム
人
人が指示
情報
人が直接制御
物理
効果的なシステム設計には
人の予測（モデリング）が必要


# Page. 25

![Page Image](https://bcdn.docswell.com/page/5EGLWKYYJL.jpg)

話題２：モデリング
26
AI(機械学習やLLM)を人の予測へ
集団の意思決定のモデリング1
何が人の行動変容を促すのか？
個人の運転行動のモデリング2
人らしさを表すモデル構造はなにか？
1. [Hoshuyama, JCMSI26], [箕浦，SCI26]など
2. [Hara, LCSS21] など


# Page. 26

![Page Image](https://bcdn.docswell.com/page/4JQY3NM67P.jpg)

集団の意思決定モデル
27
➢なにが人を動かすのか？
渋滞遭遇時，渋滞時間，料金など
どんな情報があればルート変更する？
外出予定がある時，ポイントなど
いくら貰えると時間を遅らせる？
新たな入力
の探索？
Hs
行動変容


# Page. 27

![Page Image](https://bcdn.docswell.com/page/K74W1GVME1.jpg)

集団の意思決定モデル
28
➢インセンティブに対する応答をモデル化
• 地域エネマネへ各家庭のEVを使わせて欲しい（外出して欲しくない）
効用関数の推定
クラウドソーシングにて
𝑼(𝒒, 𝑻) = 𝜶𝒒 − 𝜷𝑻 + 𝜸 + ω
1000人のアンケート
回答数
待機要請の受諾率
行動変容確率
𝟏
Δ𝐏 𝒒, 𝑻 =
𝟏 + 𝒆𝒙𝒑{−𝑼}
HITL管理へ活用
応じる
応じない


# Page. 28

![Page Image](https://bcdn.docswell.com/page/LJ1YGD3YEG.jpg)

集団の意思決定モデル2
29
➢渋滞時間や案内文の表現への応答をモデル化
• 交通渋滞緩和へドライバのルート誘導をしたい
直接，行動変容割合をモデル化
首都圏のドライバー
4000人対象の
アンケートデータ収集
ルート変更率
あり
「このまま進むと、料金を払っ
て20分損する見込みです。」
𝚫𝑷 = 𝜟𝑷 𝒖𝐀 , 𝒖𝐒 , 𝑻
あり
なし
なし
案内文の付与で14.1%
強調表現でさらに13.8%
𝑻: 遅延時間
最適制御へ活用


# Page. 29

![Page Image](https://bcdn.docswell.com/page/GJWGKYP172.jpg)

個人の行動モデル
30
➢なにが人を動かすのか？個人差はあるのか？
様々な
環境情報
H


# Page. 30

![Page Image](https://bcdn.docswell.com/page/4EZLZXKX73.jpg)

個人の運転行動モデル
31
人間の行動（制御操作）には“Lazy” な傾向がある
頻繁には制御操作を加えない
Ex) 運転のハンドル操作
L1最適制御で行動モデリング
ゲームデータでの検証
提案法 (L1)
実験データ
LQR
“Lazy”
• 他にも，ILQ，IRL，ハイブリッド，ARモデルなども経験あり


# Page. 31

![Page Image](https://bcdn.docswell.com/page/Y76WZ4QP7V.jpg)

話題２：予測・モデリングにおける課題
32
集団の意思決定のモデリング1
クラウドソーシングの活用と効用関数の推定
• Feasibility studyや事前学習には効果的？
☹ LLMのデータ生成では多様性確保で苦戦
☹ LLMで代替した案内文への応答は全く合わず
•
エージェントシミュレーションでは
分布が離散的、説明変数も少数
個人の運転行動のモデリング2
ゲームでのデータ収集と逆最適化
• 閉じた環境の限定タスクでは効果的？
☹ 開いた環境で自由度があると苦戦
（マルチモーダルの研究動機）
•
その他（情動のモデリングなど）
3
• Web掲示板での感情分析と予測にも挑戦
☹ 感情予測は非常に困難（正答率55%…）
人の行動を決める入力
候補が多数あると難しい
1. [Hoshuyama, JCSMI26], [箕浦，SCI26]など，2. [Hara, LCSS21] など，3. [本田，SCI25]など


# Page. 32

![Page Image](https://bcdn.docswell.com/page/G75MWQRP74.jpg)

まとめ
どんな対象に,どんな目的で,どんなAI技術から導入していくか？
話題１：AIへの期待と可能性
多様な応用先へ, HCIや人の理解のため, NLP技術の導入
無限に可能性あり☺
話題２：AIのいまの限界
運転支援やインフラ管理へ，個人・集団の予測のため,
機械学習やLLMによるエージェントシミュレーションの活用
人の予測はまだまだ難しそう
33


# Page. 33

![Page Image](https://bcdn.docswell.com/page/9J29QPDZER.jpg)

展望：AIとの付き合い方
34
➢ 人がAIの上位（本⽇の話）
• システムの構成要素にAI導入（ツールとしてのAI）
➢ AIが人の上位へ
• AIエージェント
• システムの設計をAIが主導（上位のメタ制御器？）
• 課題：不確かさの自認（自信がなければ相談すべき）
➢ 人とAIが対等へ
信頼を得るため、あえて苦言も呈する相棒
• 長期も価値関数をもとに訓練？
• 教育のため、あえて助けない技術（弱いアシスト）[*]
人が上位
AIをツール
として活用
AIが上位
承認だけ？
QAだけ？
•
対等な関係へ
[*] 日立共同研究: Ishida, SMC25, JCMSI26


# Page. 34

![Page Image](https://bcdn.docswell.com/page/DEY4W52NJM.jpg)

パネル用資料


# Page. 35

![Page Image](https://bcdn.docswell.com/page/VJNY9N8V78.jpg)

Q1 （狭義の）フィジカルAI （ヒューマノイド）はいつ実用化
されるのか？ 必要なブレークスルーは残っているのか？
閉じた環境の限定タスクでは
もう実用化できそう？
36
開いた環境の一般タスクでは
いくらでも課題がありそう
中国のロボット運動会
2026年8月
協働がまだまだ必要
（我田引水ですが）
課題は、人の理解＆不確かさの自認
いつ人に頼るのか？ 誰の指示か区別するか？ どの情報を参照するか？


# Page. 36

![Page Image](https://bcdn.docswell.com/page/YE9P2RKVJ3.jpg)

Q2 ボトムアップの Physical AI は可能か？
37
それしかない？遺産を継承し、目的に応じて、必要なところから
1. 設計・試運転・調整の効率化
• NLPでのHCI（ChatMPC[1]）
2. 労働力不足の解消へ
• エキスパート学習
• 教育AI（アシスト制御でのUpskilling[2]）
3. 前処理、feasibility study、デジタルツイン
• PINNでのシミュレーション
• LLMでのエージェントシミュレーション
（多様性の確保が難しい？…）
[1] Miyaoka, arXiv23, TCST26, TNSM26など
[2] Ishida, JCMSI26，JSAI26など
新システムの導入では
数カ月必要？
まずはLLMで
feasibility study


# Page. 37

![Page Image](https://bcdn.docswell.com/page/GE8D5WR4ED.jpg)

Q3 ポストAI時代の SICE の興味は？
人中心のシステム設計へAI活用
特定タスクの自動化・
自律化はできたとして？
38
• 得意/不得意ではなく，楽しい/楽しくないで分ける？
•
Bainbridge, “Ironies of Automation,” Automatica, 1983
• 人の理解と長期の価値関数（教育？）
• 興味：構造化とAIを要素に含むメタ制御（AIエージェントの高度化）
私は料理をしたかったのです…
苦言も呈してくれる相棒


# Page. 38

![Page Image](https://bcdn.docswell.com/page/LELMYNKV7R.jpg)

Q４ そもそもフィジカルAIってなに？
39
定義：物理世界を認識して/予測して/介入するAI
不確かさの取り扱い
人も含む多様なシステム
機械
物理中心
Physical AI
AI
インフラ
物理
人
多様な物理システムへAIの恩恵をもたらす
医療
社会
AI中心
Embodied AI
物理
AI
身体を得てAIをさらに賢く(人らしく）