制御・状態推定のためのAI駆動ヒューマンインタフェース

制御・状態推定のためのAI駆動 ヒューマンインタフェース 慶應義塾大学 井上 正樹 minoue.z6@keio.jp [AI-3] AIロボットとシステム数理 2026年電子情報通信学会総合大会 2026.3.10

研究室のミッション 4 人と繋がる制御システムにおいて 新たな理論・技術を開拓する 交通渋滞緩和へ 言語・視覚・触覚ナッジ 航空管制支援へ インタラクティブ制御 生成AIの安全化へ アライメント制御 農業環境管理へ レコメンド制御

5 AIロボットとシステム数理 （制御工学）

制御工学：ものごとを思い通り操るための学問 同期制御 6 航空管制 電気機械系 アシスト制御 井上研での取り組み例 インフラ系 エネルギー管理 [E. Saad & MI, IEEE TCST24], [Y. Miyaoka & MI, ACC24], [S. Wada et al, J. Aircraft24], [MI et al, IEEE TSG21]など

制御工学でのアプローチと強み ほんの一例ですが… スキルアップ フィルタ 力 8 制御システムの構造（ブロック線図） ドライバー アクセル ハンドル 安全化 フィルタ アクセル ハンドル 自動車 SMC25など (日立共研） 制御工学 ✓ 目的に合わせたシステムの構造化と役割分担 ✓ 限られた条件では強力な理論保証が可能 • • • 主にモデルベースのアプローチ 信号・データは構造化済み 安定性, 安全性, 可制御性などを保証 Ames, ECC19

人工知能(AI)：知能を実現するための学問 デモ(Gemini) “a female kid of 5 years old is talking her research on AI at IEICE conference” 9 AIの物理・社会への活用へ AI法 全面施行（2025.9.1） 人工知能基本計画⾻⼦（2025.11.21版） 「世界で最もAIを開発・活用しやすい国」を目指して • 非構造化データの扱いも可能 • (生成ではなく)自然言語処理(NLP)技術に興味 • ヒューマンインターフェースへの活用 第２節AI開発力の戦略的強化：AIモデルとアプリを 組み合わせた多様なサービスの創出、AIとロボット 等を組み合わせたフィジカルAIの開発導⼊、 科学研究に広くAIを利活用するAI for Science等の 推進は⽇本の勝ち筋。

情報サービスから物理/社会システムへ 10 End-to-End のシステム設計へ Turing, HPより SayTap, 2023 SkillMimic-v2, 2025 Waabi, CVPR 24 Tutorial Gemini Robotics ER1.5, 2025 • もっと多様な分野にも展開できるはず！(インフラも？) • 信頼できる既存のシステム(資産)の活用？

AIロボットとシステム数理（の井上の解釈） 11 本日の内容： NLPに限定して人を含む制御システム設計 人の理解 スキルアップ フィルタ 力 ドライバー アクセル ハンドル 安全化 フィルタ アクセル ハンドル 自動車 人の誘導 自動制御システム 本⽇の問い: どこまでAIに任せるべきか？任せることができるか？

本⽇の内容 12 NLPに限定して人を含む制御システム設計 取り組み１：Language-aided Control1 人の言葉から選好や要望を推定できるのか？ そして如何に安全性を保障するのか？ M2宮岡 取り組み２：Language-aided State Estimation2 人の言葉をセンサとして活用できるか？ M1三好 1. ChatMPC，arXiv23, ACC24, arXiv25 2. Language-Aided Particle Filter, arXiv25, IFACSC26

• https://arxiv.org/abs/2309.05952
• https://arxiv.org/abs/2508.16913
• https://arxiv.org/abs/2511.11285
• https://www.sciencedirect.com/science/article/pii/S246860182600012X

Human as a Supervisor 13 自動車 マツダ共研 「子供多いから気をつけて」 「A機とB機をもう少し広げたい」 航空管制 ENRI共研 「もう少しCPUリソース欲しい」 仮想ネットワークサービス NTT共研 いかに人の選好や要望を 制御システムに反映させるか？

制御のためのインタプリタ設計 制御対象（プラント） チャット 𝒑 インタプリタ ℋ パラメータ 𝜃 制御器 ユーザ 観測 𝑧 操作 𝑢 制御対象 𝓒𝜽 制御器（コントローラ，最適制御） 𝜃∗ 𝒫 状態 𝑥 目的関数： ex.燃費重視か速応性重視か？ モデル 制約条件： ex.安全マージンをどの程度とるか？ θ で目的関数，目標軌道，モデル，外乱(の推定値)，制御仕様を調整可能 インタプリタ設計 ユーザ𝓗のチャット情報から選好や要求を表現するパラメータ 𝜽∗ を推定せよ

関連研究：チャット駆動制御(インタプリタ含む) 15 ➢NL Interface [Romano et al., IFAC Workshop 91] • 語彙，構文，意味分析をもとに直接制御コマンド選択 ➢ChatMPC [Miyaoka et al, arXiv23, ACC24他] • 基盤モデルをもとに目標軌道や仕様調整 • 本発表で紹介☺ ➢LanguageMPC [Sha et al, arXiv23] • LLMをもとに目的関数調整 ➢ChatSTL [Wang ICCAE 24] • LLMをもとに時相論理(STL)生成 ➢InstructMPC [Wu et al, arXiv25] • LLMをもとに外乱推定 ➢TransMPC [Wu et al, EAAI26] • Transformer で ExplicitMPC 記述 [IFAC 91] [Sha et al, arXiv23]

古典的な構文ベースでのアプローチ ex. 経路計画で安全マージンを調整したい 16 ロボット ➢構文に従ってユーザは仕様更新の指示を送る 目的地 ユーザー 1m 子供 大人 からは 2m 3m 以上は 離れて 近づいて ください ︙ ➢特殊な構文の理解を前提とした“人工”言語処理 ➢構文を必ず守るプロ向けの技術 一般ユーザが気軽に使える技術？ ⇒ テキスト埋め込みの登場

基盤モデルベースのアプローチ１ 開発したモデルは公開済み 17 GitHub.com/Mya-Mya/ChatMPC ➢基盤モデルを活用した”お手軽”設計 プロンプト 基盤モデル 追加学習なし 分類器 1. 基盤モデル（LLMなど） • 埋め込みベクトル • は超高次元（1000~など） • ベクトル化で“いつも通りの”信号へ • たとえば，Sentence BERTを利用 [N. Reimers & I. Gurevych, EMNLP19] フィルタ パラメータ

• https://github.com/mya-mya/chatmpc

基盤モデルベースのアプローチ２ 開発したモデルは公開済み 18 GitHub.com/Mya-Mya/ChatMPC ➢基盤モデルを活用した”お手軽”設計 プロンプト 基盤モデル 追加学習なし 2. 分類器 フィルタ 分類器 𝜃[1] を減らす パラメータ 𝜃[1] を増やす • 指示ベクトル • 意図するパラメータ要素の増減(や度合いも)を指示 • たとえば，SVMなどで実現 𝜃[2] を減らす 高次元空間での分類

• https://github.com/mya-mya/chatmpc

基盤モデルベースのアプローチ３ 開発したモデルは公開済み 19 GitHub.com/Mya-Mya/ChatMPC ➢基盤モデルを活用した”お手軽”設計 プロンプト 基盤モデル 追加学習なし 3. フィルタ（LPFなど） • 学習率 • 慣性の導入で更新の安定化 • 指示ベクトル フィルタ 分類器 人間システム ℋ 基盤モデル パラメータ 分類器 人を含む簡易 実験結果 にパラメータ偏差の 符号勾配や量⼦化勾配が乗ると想定 セクタ条件？？？ [仁井&井上，連合，2023]

• https://github.com/mya-mya/chatmpc

応用展開１：自動車の協調運転 [arXiv25など] 20 遠隔オペレータの指示を受ける自動運転車（非常時を想定） • • シナリオ：物理センサの見落としをオペレータが発見して介入 プロンプト”an obstacle is present in the right frontal area.” 制約条件の自動生成 介⼊なし ゴール 仮想での 障害物生成 介⼊あり 指示ポイント スタート コントローラの構造を 動的に変更 様々な応用例へ

応用展開２：航空管制 [飛行機シンポ23, 優秀発表賞など] 21 コントローラと管制管のインタラクティブな管理 直接指示のない 2の高度も調整 1の高度が降下 5を速く，6を遅く しようとしている コントローラ 𝓒𝜽 プロンプト min 𝑱𝒃𝒍𝒐𝒄𝒌 + 𝝎𝑱𝒅𝒆𝒍𝒂𝒚 s.t. 𝑡Ƹ𝑖,𝑣 = 𝑓(𝑋i , ∆𝑣𝑖 , ∆ℎ𝑖 ) 到着時間の予測 インターバル 相談1: “increase the gap between the flight 6 and the previous…” 相談2: “lower the max height of ip1 on the flight 1” 相談3: “lower the max height of ip1 on the flight 1” 速度&高度制約 コントローラで最適性と安全性を担保 𝑡Ƹ𝑖+1 − 𝑡Ƹ𝑖 ≥ 𝑡min + 𝜟t ∆𝑣min ≤ ∆𝑣𝑖 ≤ ∆𝑣max ∆ℎmin ≤ ∆ℎ𝑖 ≤ ∆ℎmax 120秒のインターバル確保

応用展開３：仮想ネットワーク配置 [ICC25, arXiv26] 22 ユーザの要望を叶えるVM■配置と経路選択 ② ① コントローラ 𝓒𝜽 プロンプト σ𝑢∈𝑈𝑠𝑒𝑟 𝑦𝑠𝑙 𝜙𝑠 +𝜖 ෍ ത 𝑙∈𝐿𝑖𝑛𝑘 𝜙 min max 𝑥,𝑦 ෍ 𝑦𝑠𝑙 𝑇𝑙 𝑢∈𝑈𝑠𝑒𝑟 𝑙∈𝐿𝑖𝑛𝑘 s.t. ෍ 𝑢∈𝑈𝑠𝑒𝑟 ෍ 𝑙∈𝐿𝑖𝑛𝑘 ③ 𝑥𝑢𝑑 𝜽𝝃 ≤ 𝜉𝑑 , ∀𝑑 ∈ 𝐷𝑎𝑡𝑎𝑐𝑒𝑛𝑡𝑒𝑟 𝑦𝑢𝑙 𝑇𝑙 ≤ 𝜽𝑻 , ∀𝑢 ∈ 𝑈𝑠𝑒𝑟 User 1: “Please reduce the latency, please” User 2: “I would like to have lower latency network” User 3: “Get more CPUs, please.” 下流のコントローラで最適性と実行可能性を担保

23 数理的な解析？

インタプリタ(再掲)と更新アルゴリズム ➢インタプリタ(再掲)： ➢仮定：合理的なユーザ＆完全な２値インタプリタ • パラメータ更新則は符号勾配を含むダイナミクス ➢学習率の設計： • は正数（< 1） • 符号が変わった要素のみ学習率を下げる 24

チャットループの収束性解析（１次元の場合） ➢定理：真のパラメータへの指数収束 • は正数， ➢系：チャット回数の見積もり • 許容誤差 に収まるまでのチャット回数の上限 その他，確率的なユーザの誤解/翻訳誤差のもとでの解析も… 25

Language-aided Control まとめ ➢ 自然言語形式での要求から制御システムの再構成 ✓ 基盤モデルを活用した要求の構造化 ✓ 非専門家による制御システムのパーソナライゼーションを可能に ✓ ドライバー支援，オペレータ支援，ユーザ支援などへ広く応用可能 ➢ さらなる展開に向けて課題 ? 今回はAIの活用を分類タスクに制限。非自明なAIの活用法は？ （安心だけど勿体ない…） ? デコーダを活用してインタラクティブなシステム再構成 26

本⽇の内容 27 NLPに限定して人を含む制御システム設計 取り組み１：Language-aided Control1 人の言葉から選好や要望を推定できるのか？ そして如何に安全性を保障するのか？ M2宮岡 取り組み２：Language-aided State Estimation2 人の言葉をセンサとして活用できるか？ M1三好 1. ChatMPC，arXiv23, ACC24, arXiv25 2. Language-Aided Particle Filter, arXiv25, IFACSC26

• https://arxiv.org/abs/2309.05952
• https://arxiv.org/abs/2508.16913
• https://arxiv.org/abs/2511.11285
• https://www.sciencedirect.com/science/article/pii/S246860182600012X

Human as a Sensor 28 ちょっと水少ないなあ… なんか振動強いなあ… ちょっと風強いなあ… 道めっちゃ混んでる… 人の言葉には物理状態の情報が含まれている！

問題設定：人センサによる状態推定 [arXiv25, IFACSC26] 29 物理モデルと自然言語での観測を用いた状態推定 確率 物理システム 𝒫 人センサ 𝒮H 状態 𝑥𝑘 少ない 観測 テキスト 𝑠𝑘 パーティクル フィルタ 𝑥𝑘 推定分布 𝜋 𝑥𝑘 | 𝑠1:𝑘 問題 ・物理システム 𝒫 のモデルは既知とする ・観測テキスト列 𝑠1:𝑘 から 推定分布 𝜋 𝑥𝑘 𝑠1:𝑘 ) を求めよ Point：観測テキスト 𝑠𝑘 の構造化

パーティクルフィルタによるアプローチ 概要 ・状態推定として，状態 𝑥𝑘 の確率分布 を計算する手法 30 確率 𝑥𝑘 ・過去の観測時系列 𝑠1:𝑘 を踏まえた 確率分布 𝜋 𝑥𝑘 | 𝑠1:𝑘 を出力 手順 予測ステップ：前時刻の分布から予測 𝜋 𝑥𝑘−1 | 𝑠1:𝑘−1 → 𝜋 𝑥𝑘 | 𝑠1:𝑘−1 ・物理モデルにより更新 更新ステップ：新たな観測 𝑠𝑘 による更新 𝜋 𝑥𝑘 | 𝑠1:𝑘−1 → 𝜋 𝑥𝑘 | 𝑠1:𝑘 ・尤度 𝑝 𝑠𝑘 | 𝑥𝑘 により更新

尤度 𝒑 𝒔𝒌 | 𝒙𝒌 の 計算 31 ・状態𝒙𝒌 のもとで観測テキスト 𝑠𝑘 が得られる確率 𝑚 𝑗 𝑗 𝑝 𝑠𝑘 | 𝑥𝑘 ∝ ෍ 𝑝 𝑞𝑘 | 𝑠𝑘 𝑝 𝑞𝑘 | 𝑥𝑘 ｍ段階で量⼦化 𝑗=1 ・観測テキスト 𝑠𝑘 が得られたときに 量子ラベル が 𝑞𝑘 である確率 ・基盤モデル を用いた 分類器 を訓練 確率 𝑝 𝑞𝑘 | 𝑠𝑘 少し少なめ Text Encoder 観測テキスト 𝑠𝑘 𝑑: 700~ Neural Network テキスト 埋め込み 𝑒𝑘 ∈ ℝ𝑑 Softmax 特徴量 𝜓𝑘 ∈ ℝ𝑚 ⋯ 1 2 3 ⋯ 𝑚 𝑞𝑘 確率分布 𝑝 𝑞𝑘 | 𝑠𝑘

数値実験１：灌漑用水の水位推定 実験内容 ・灌漑用水の水位推定 ・使用するセンサ は 人センサ のみ イメージ図（灌漑用水, 北名古屋市） 32

クラウドソーシングを活用したデータセット構築 アンケート実施 Yahoo! クラウドソーシング 【概要】 川の水位 に 対する SNS投稿文 の 収集 【問題例】 水位 10% のとき なんて呟く？ 水位 0, 2, ... , 100% それぞれ 50 名 データセット構築 4% 水からから 水からから 46% 水からから 水からから 96% 水からから 水からから 水からから 平穏無事 怖すぎる 2454 組 のデータセット 33

数値実験１：実験結果 34 提案法 1. 観測更新なし（モデルベースの状態予測のみ） 2. 先行：External DNN-based Particle Filter [*の拡張] ➢比較方法 観測テキスト 𝑠𝑘 External DNN 認知値の推定値 𝑦෤H,𝑘 確定値へ変換 （先行） （提案） Particle Filter 推定分布 𝜋 𝑥𝑘 | 𝑦෤H,1:𝑘 尤度 𝑝 𝑦෤H,𝑘 ∣ 𝑥𝑘 の 計算 提案法のメリット • 観測テキストの曖昧さを残すことの価値 • “方言”などサンプルの少ないデータに対して ロバストに状態推定可能 * [N. Shlezinger et al, IEEE Signal Processing Magazine, 2025]

まとめ 39 ➢ 自然言語処理(NLP)技術の制御分野への導⼊ ✓ ChatMPC1 • 人の選好・意図を制御システムに反映させる仕組み • Human as a Supervisor ? 次の興味：LLMの汎用知識の導⼊？ ✓ Language-Aided Particle Filter2 • 人の観測を物理状態の推定に活用する仕組み • Human as a Sensor ? 次の興味：“心理”状態の推定？ M2宮岡 M1三好 問い：どこまでAIに任せるべきか？任せることができるか？ 1. ChatMPC，arXiv23, ACC24, arXiv25 2. Language-Aided Particle Filter, arXiv25, IFACSC26

• https://arxiv.org/abs/2309.05952
• https://arxiv.org/abs/2508.16913
• https://arxiv.org/abs/2511.11285
• https://www.sciencedirect.com/science/article/pii/S246860182600012X

様々な展望 1. 階層構造から並列構造へ？ • 苦言も呈するバディAI（JSAI25 基調講演より） • Teamingに向けて時間スケールの一致 • Upskilling/Reskillingのための弱いアシスト [日立共同研究: SMC25, JCMSI26] 2. AI規制や社会規範の変化に対して？ • 特定の基盤モデル依存の危険性 • 外付け機構によるアライメント • Small モデルで Large 基盤モデルの制御 • • • Aligner [NeurIPS24] InferAligner [EMNLP24] CBF-LLM [arXiv24, arXiv25, IEEE TCST26] 40 指示をこなすだけ？ 対等な関係へ？

• https://ieeexplore.ieee.org/abstract/document/11343050
• https://www.tandfonline.com/doi/full/10.1080/18824889.2026.2632820
• https://arxiv.org/abs/2408.15625
• https://arxiv.org/abs/2511.03121