100 Views
October 28, 26
スライド概要
Happy Low-Code(2026-10-26)の登壇資料です。
同じ画面作業を、PAD(Power Automate for desktop)と Copilot Studio の Computer use に任せて比べました。
Computer use にざっくり頼むと、答えにはたどり着くものの、行ったり来たりしてクレジットを消費しました。
PAD を作るときと同じくらい細かい手順を渡すと、遠回りせずに答えました。
Haru はる (Haru) X : @isamu_Automate AIが画面を操作する時代に、 PADが活躍できる場所 ―― 同じ作業をComputer useと比べてみた Happy Low-Code【ゲスト回】 / 2026.10.26 次へ ▶ 自己紹介
Haru 自己紹介 はる (Haru) X : @isamu_Automate 製造業・非IT部門からのスタート 社内 : Power Platform の推進・講座 社外 : Power Automate 45分講座 PA45 を 毎週開催 / PLUG (広島) 発起人 Microsoft MCT Certified Trainer Microsoft 認定トレーナー 2026年10月~ Happy Low-Code / Haru 次へ ▶ これまでの歩み : 私の自動化は PAD から始まった 2 / 36
Haru これまでの歩み : 私の自動化は PAD から始まった 2007 製造業に入社 製造技術の現場で15年 ~2021 くすぶり期間 自分の強みは?と内省 2022 運命の勘違い 産業ロボットの講座だと思ったら RPA (UiPath・PAD) だった 2025-2026 PLUG・PA45 を開始 MCT に認定 2023 推進役に挙手 未経験から社内DXへ 2007 2016 2019 2021 2022 2023 2026 気持ちの上がり下がりをグラフにしたもの (2026-03 一歩をフミダセTV で話した内容より) Happy Low-Code / Haru 次へ ▶ PAD を始めたとき、師匠に最初に言われたこと 3 / 36
Haru PAD を始めたとき、師匠に最初に言われたこと 会社の PAD の師匠 フローを作り始める前に、業務フローを整理して、断捨離して、手順を1つずつ Excel に 書くこと。クリック1つまで。 ① 業務フローを整理 今どんな順で 何をしているか ② 断捨離 要らない手順は 捨てる ③ Excel に1つずつ 手順を書く クリック1つまで この話は、最後にもう一度出てきます Happy Low-Code / Haru 次へ ▶ 師匠に書けと言われた表 (今日の題材で書くと) 4 / 36
Haru 師匠に書けと言われた表 (今日の題材で書くと) 人なら1分の作業でも、1行に1つの操作・クリック1つまで書く PA45の次回を調べる_手順.xlsx A B C D E 1 画面 操作 対象 入力・値 確かめること・止めどころ 2 Edge 開く connpass https://connpass.com/ トップが出たか 3 トップ クリック 検索欄 - - 4 トップ 入力 検索欄 PowerAutomate45 (変えない) - 5 トップ クリック ボタン - 開催前だけ・2件か 6 検索結果 クリック 1件目のタイトル - 0件なら、ここで止める 7 イベント 読み取る 開催日時 - PA45 の回か確かめる 8 - 表示する メッセージ 日付とURL - 今日の題材を、師匠の教えのとおりに書いた例 (第4章でもう一度使う) Happy Low-Code / Haru 次へ ▶ ちょっと面倒 5 / 36
Haru 正直な気持ちは…… ちょっと面倒…… 早くフローを作って、動かしたいのに 次へ ▶ きょうの問い 6 / 36
Haru きょうの問い AI が画面を見て、クリックも入力もする時代になった Copilot Studio の Computer use では、 PAD をやる意味は まだあるのか イラスト : いらすとや Happy Low-Code / Haru 次へ ▶ 今日の2つの道具は、どこにあるのか 7 / 36
Haru PAD x Computer use 今日の2つの道具は、どこにあるのか Microsoft 365 毎日使うアプリ Outlook Teams SharePoint OneDrive など Power Platform ローコードで、業務の仕組みを自分で作る道具のまとまり つなぐ Power Automate 決めた手順で動く「フロー」を作る クラウド フロー メール・Teams・リストなどをつなぐ PAD (デスクトップ フロー) パソコンの画面を、決めた手順で クリック・入力する (RPA) ← 今日の比較 その1 Copilot Studio AI のエージェントを作る エージェント 道具 (ツール) を使って仕事をする Computer use (ツール) AI が画面を見て、その場で考えて クリック・入力する ← 今日の比較 その2 Copilot Studio は Power Platform の一員。Computer use は Copilot Studio のエージェントが使うツールの1つ (Microsoft Learn) Happy Low-Code / Haru 次へ ▶ PAD とは : 決めた手順で、画面を操作する 8 / 36
Haru いまの話 : PAD PAD とは : 決めた手順で、画面を操作する Power Automate for desktop の略。いわゆる RPA 検索欄・ボタンなど、 押す場所を人が決めて並べる Windows 10/11 なら、 手元で人が動かす使い方は追加費 用なし 部品を1つずつ指定して、順番に並べる (実画面) Microsoft Learn「Power Automate licensing FAQ」(2026-09-22 確認) Happy Low-Code / Haru 次へ ▶ Computer use とは : AI が画面を見て、操作する 9 / 36
Haru いまの話 : Computer use Computer use とは : AI が画面を見て、操作する Copilot Studio の エージェントが使うツールの1つ やりたいことを文章で頼む。 押す場所はAIがその場で決める 1手ごとに Copilot クレジット (標準モデルで5) AI が画面を見て、次に押す場所を決める (実画面) Microsoft Learn「Automate web and desktop apps with computer use」(2026-10-20 更新) Happy Low-Code / Haru 次へ ▶ 2つを人にたとえると 10 / 36
Haru 同じ仕事ができる2つ。でも性格はまったく違う。人にたとえると…… VS PAD 真面目すぎる人 決めた手順以外は、やらない 1つでもズレたら、そこで止まる Computer use 臨機応変に進める人 とりあえずやってみて、ダメなら別の手 その場で考えながら、どんどん進む イラスト : いらすとや 次へ ▶ ゴールまでの道のり 11 / 36
Haru ゴールまでの道のり ゴール : AI が画面を操作する時代に、PAD をやる意味を見つける 1 しくみ 中で何が起きているか 2 ざっくり頼むと 1文で頼んでみた 3 なぜ 行ったり来たりする理由 4 PAD をやる意味 今日の答え Happy Low-Code / Haru 次へ ▶ 第1章 しくみ 12 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ 今日のゴール : AI が画面を操作する時代に、PAD をやる意味を見つける 第1章 しくみ どちらも画面を操作する。 でも、中で起きていることが違う ここから : 同じ作業を両方で作ってみた。 まずは作り方の違いから Happy Low-Code / Haru 次へ ▶ 題材 : 毎週やっている、4ステップの画面作業 13 / 36
Haru PAD x Computer use 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ 題材 : 毎週やっている、4ステップの画面作業 connpass (勉強会の申込みサイト) で、PA45 の次回の日付とURLを控える 1 connpass を開く 2 入れて🔍を押す 「PowerAutomate45」 3 1件目を押す 4 日付とURLを控える Happy Low-Code / Haru 次へ ▶ PAD : 作るときに決めて、そのとおりに押す 14 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ ▶ デモ PAD を実行 いまの話 : PAD PAD : 作るときに決めて、そのとおりに押す 作るのにかかった時間 6分30秒 正解 第33回 10/29(木) 検索結果のページを直接開く形に、 人が直した (4アクション) 最後に「2026/10/29(木)」と表示 (実画面) メモ : ▶の前に Edge を完全に閉じる / スライドは Chrome で開く / URL は 2026/10/26 固定 Power Automate for desktop の実画面 (2026-10-25) Happy Low-Code / Haru 次へ ▶ Computer use : やりたいことを文章1つで頼む 15 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ いまの話 : Computer use Computer use : やりたいことを文章1つで頼む 手順の欄に書いたのは、この1文だけ (実画面) 「コンピューターを使用するエージェント」 動かす場所=ホスト型ブラウザー (仮想PC) Copilot Studio の実画面 (2026-08-14・2026-10-24) / モデル : Claude Sonnet 4.5 Happy Low-Code / Haru 次へ ▶ Computer use は「撮る→考える→押す」のくり返し 16 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ ▶ デモ Computer use を実行 (PowerAutomate45) いまの話 : Computer use Computer use は「撮る→考える→押す」のくり返し ① 画面を撮る 終わるまで くり返す ② 考える ③ 押す・入力 左に流れる AI の考え (実画面) Copilot Studio のテスト画面 (2026-10-24) Happy Low-Code / Haru 次へ ▶ 第2章 ざっくり頼むと 17 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ 今日のゴール : AI が画面を操作する時代に、PAD をやる意味を見つける 第2章 ざっくり頼むと Computer use に、 ざっくりした1文で頼んでみた 第1章で分かったこと PAD どこを押すかは、作るときに人が決め終えている AI どこを押すかを、実行のたびにその場で決める つまり 違いは、判断をいつ・誰がしているか Happy Low-Code / Haru 次へ ▶ ざっくりした1文で頼むと : 答えは合っていた 18 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ ← デモの結果 17枚目で動かした分 いまの話 : Computer use ざっくりした1文で頼むと : 答えは合っていた 頼んだ文 (これだけ) https://connpass.com を開き、「PowerAutomate45」で検索し て、次回イベントの日付とURLを記録してください。 どこを押すか・0件ならどうするか・どう確かめるかは、書いていない 最後の答え (実画面) 開いたイベントのページ 答え 正しい 手数 11 クレジット 55 約¥66 2026-10-24 実測。1手5クレジット = Microsoft Learn computer-use (Claude Sonnet 4.5=標準) / テスト実行も消費される (管理センターで確認) / ¥換算=25,000クレジット ¥29,985 のパック単価 Happy Low-Code / Haru 次へ ▶ ただし途中で、答えの画面を手放し、行ったり来たり 19 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ いまの話 : Computer use ただし途中で、答えの画面を手放し、行ったり来たり 最初の検索 : 2件 (開催前だけ)。答えはここ 押し間違えて戻ると : 37件 (過去回も全部) アドレス欄 : 最初は開催日の絞り込みつき → あとは絞り込みなし。そこからスクロール・2ペ ージ目・並び替えで探し直した Copilot Studio のテスト画面 (2026-10-24) 次へ ▶ 何度も繰り返して、止まらないことも 20 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ いまの話 : Computer use 何度も繰り返して、止まらないことも 同じ1文で、検索語だけまだイベントのない講座名 (コパスタ45) に変えて頼んだ 同じ考えが何度も続く (実画面) 画面はずっと0件のまま 検索語を変える → 候補の「コパスタ45」を選び直す → 0 件 → また…。終わる様子がなく、人が止めた この日の3回で消費したクレジット 355 (約¥426) Copilot Studio のテスト画面 (2026-10-24 22:0x~22:11 ごろ停止)・管理センターの消費量 Happy Low-Code / Haru 次へ ▶ 第3章 なぜ 21 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 1 毎回考える 2 書いていない 3 止まらない > 4 PADをやる意味 > 5 まとめ 今日のゴール : AI が画面を操作する時代に、PAD をやる意味を見つける 第3章 なぜ なぜ、行ったり来たり するのか 第2章で分かったこと : ざっくり頼んでも答えにはたどり着く。ただし行ったり来たりして、止まらないこともあり、その ぶんコストがかかる Happy Low-Code / Haru 次へ ▶ AI は毎回ゼロから考える。だから道筋が毎回変わる 22 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 1 毎回考える 2 書いていない 3 止まらない > 4 PADをやる意味 > 5 まとめ PAD x Computer use 考察 1 AI は毎回ゼロから考える。だから道筋が毎回変わる PAD : 考えるのは、作るときの1回だけ 考える 6分30秒 実行 実行 実行 …毎回同じ 道 AI : 実行のたびに、毎回ゼロから考える 考 押 考 押 考 押 考 押 考 押 考 押 ざっくり頼んだときに起きたこと 同じ作業なのに、AI は毎回ちがう道をたどった。答 えの画面を手放し、遠回りした つまり PAD は考えるのを作るときに済ませている。AI は 実行のたびに考え直す 仕事に置き換えると 新人に毎回口で説明するか、手順書を1回 作って渡すか Happy Low-Code / Haru 次へ ▶ 書いていないことは、AI がその場で考えて補う 23 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 1 毎回考える 2 書いていない 3 止まらない > 4 PADをやる意味 > 5 まとめ いまの話 : Computer use 考察 2 書いていないことは、AI がその場で考えて補う AI の考え (8月14日・そのまま) 「コパスタ45」という正確な名前で検索しても結 果が見つかりません。別の検索方法を試してみま す。 AI の考え (10月24日②・そのまま) 該当するイベントが見つかりませんでした。検索 キーワードを変更してみます。「コパスタ」だけで検 索してみましょう。 指示 : 「コパスタ45 で検索して、 次回イベントの日付とURLを記録して 」 AI は 「イベントはある」前提 で読んだ 0件を「答え」ではなく 「探し方の失敗」 と受け取り、気を利かせて探し続けた ざっくりした1文には、どこを押すか・0件ならどうするか・どう確かめるかが書いていない。そこを AI が毎 回その場で考えるので、行ったり来たりする Happy Low-Code / Haru 次へ ▶ PAD は止まって知らせる。AI は止まらない 24 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 1 毎回考える 2 書いていない 3 止まらない > 4 PADをやる意味 > 5 まとめ PAD x Computer use 考察 3 PAD は止まって知らせる。AI は止まらない PAD : 止まって知らせた AI : 0件のまま回り続けた ざっくり頼んだときに起きたこと PAD は準備中に、検索欄が見つからず止まった。 AI は 0件でも探し続けた つまり 止まる=「ここを確かめて」と人に声をかけてくれるこ と 仕事に置き換えると 分からないと聞きに来る新人と、黙って自己 流で進める新人 「フォーム フィールドが見つかりません」 終わる様子がなく、人が止めた Happy Low-Code / Haru 次へ ▶ 第4章 PAD をやる意味 25 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ 今日のゴール : AI が画面を操作する時代に、PAD をやる意味を見つける 第4章 PAD をやる意味 AI が画面を操作する時代に、 PAD をやる意味は何か 第3章で分かったこと 1 AI は毎回ゼロから考える。だから道筋が毎回変わる 2 書いていないことは、AI がその場で補う 3 PAD は止まって知らせる。AI は止まらない Happy Low-Code / Haru 次へ ▶ 師匠の言葉は、AI 時代の答えだった 26 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ いまの話 : PAD 最初の話に戻ります 師匠の言葉は、AI 時代の答えだった PAD を始めたとき、師匠に言われたこと ① 業務フローを整理する ② 断捨離する ③ 手順を1つずつ Excel に書く (クリック1つまで) = = = 今日の実験で分かったこと 棚卸し : 何をしているか全部出す 断捨離・適切化 : あいまいさを決めき る 言語化 : 誰でも同じに動く言葉に =AI への良い指示 よく言う「プロンプトの書き方」の中身は、この3つをやったあとに書く言葉そのもの Happy Low-Code / Haru 次へ ▶ 師匠の Excel 表で、AI のつまづきは防げていた 27 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ いまの話 : PAD 師匠の Excel 表で、AI のつまづきは防げていた PA45の次回を調べる_手順.xlsx A B C D E 1 画面 操作 対象 入力・値 確かめること・止めどころ 2 Edge 開く connpass https://connpass.com/ トップが出たか 3 トップ クリック 検索欄 - - 4 トップ 入力 検索欄 ② PowerAutomate45 (変えない) - 5 トップ クリック ボタン - ① 開催前だけ・2件か 6 検索結果 クリック 1件目のタイトル - ③ 0件なら、ここで止める 7 イベント 読み取る 開催日時 - ④ PA45 の回か確かめる 8 - 表示する メッセージ 日付とURL - AI のつまづき : ① 近道を手放した ② 検索語を変えた ③ 回り続けた ④ 確かめずに答えた この表は、そのまま PAD のフローにも、AI への指示にもなる 今日の題材を、師匠の教えのとおりに書いた例 Happy Low-Code / Haru 次へ ▶ 師匠の手順を渡したら、遠回りせずに答えた 28 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ いまの話 : Computer use 師匠の手順を渡したら、遠回りせずに答えた 手順の欄に書いた13行 (実画面) AI の考え (実画面) 最後に開いたページ=第33回 1 候補は選ばず、自分で入力 した (指示どおり) 2 2件の画面のまま、タイトルの 文字を押した 3 正解 : 10/29 20:15~、 URL つき Copilot Studio のテスト画面 (2026-10-26 12:09~12:11 ごろ・Claude Sonnet 4.5・1回分)。最初にざっくり頼んだときと同じ検索語・同じモデル Happy Low-Code / Haru 次へ ▶ 師匠の手順を、Computer use に渡したら 29 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ つまり 師匠の手順を、 Computer use に渡したら… ちゃんとできた 師匠の表を、13行の手順にして渡した → 候補を選ばず、タイトルを押して正解 (10/26 実測) 次へ ▶ PAD は決めないと動かない 30 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ PAD x Computer use PAD は決めないと動かない 止まれ PAD 1つでもあいまいにだと 作れない・動かない 今回 : 検索欄の住所があいまいで止まった AI あいまいなままでも それらしく動く 今回 : 存在しない講座名でも動き続けた 止まる → 原因が分かる → 直す、を作るたびに繰り返す。だから「どこで止まりうるか」を先に考える力 (失 敗の想像力) が身につく AI は止まらないので、その想像を先に指示に書いておくしかない Happy Low-Code / Haru 次へ ▶ AI を確実にしようとするほど、指示は手順に近づく 31 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ PAD をやる意味 AI を確実にしようとするほど、指示は手順に近づく AI が毎回その場で考える 人が先に決めておく 指示 1文 今回の実験 + どこから 開始 URL の条件 + 何を 検索語を変えない + どこで止める 0件なら終える + どう確かめる URL を添えて返す > ほぼ PAD の 手順と同じ AI に任せるかどうかは、オンかオフではなく、どこまで人が先に決めておくかの目盛り。 人が決めるのは「何を・どこまで」、AI に任せるのは「どこを押すか」 Happy Low-Code / Haru 次へ ▶ AI が賢くなるほど、決めきって言葉にする力の価値は上がる 32 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ よく出る反論 : 「AI が賢くなれば、あいまいでも大丈夫では?」 AI が賢くなるほど、 決めきって言葉にする力の価値は上がる 賢くなるほど、あいまいな指示でも それらしく、上手に進む → 間違いに気づく機会は、むしろ減る (今回の「別のイベントを確認できました」のように) Happy Low-Code / Haru 次へ ▶ PAD は、棚卸し・断捨離・言語化の力を鍛える場所。その力が、そのまま AI への指示になる 33 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ まとめ : AI が画面を操作する時代に、PAD をやる意味 PAD は、棚卸し・断捨離・言語化の力を鍛える場所。 その力が、そのまま AI への指示になる 仕事として 毎回同じに動き、想定外なら止まって知らせてほしい 仕事 力として 業務を決めきって言葉にする力。AI に渡すときにその まま使える 私の自動化も、2022年に PAD から始まった。非ITの現場で身につけたのは、この力だった Happy Low-Code / Haru 次へ ▶ 持ち帰り3つ : 明日、業務を1つ選んで 34 / 36
Haru 1 しくみ > 2 ざっくり頼むと > 3 なぜ > 4 PADをやる意味 > 5 まとめ 持ち帰り3つ : 明日、業務を1つ選んで ① 棚卸し 手順を全部書き出す 毎回やっていることを、順番に ② 断捨離・適切化 要らない手順を捨て、 あいまいさを決めきる どこから・何を・どこで止める ③ 言語化 誰でも同じに動く言葉にする PAD のフローにも、AI の指示にもなる 次へ ▶ ありがとうございました 35 / 36
Haru ありがとうございました X : @isamu_Automate Happy Low-Code / Haru 36 / 36