LLMマルチエージェントが導く生成AI時代の未来への扉

#AvanadeDoWhatMatters LLMマルチエージェントが導く 生成AI時代の未来への扉 2024/03/27 アバナード株式会社 Technology Leadership 菅原 允 ©2024 Avanade Inc. All Rights Reserved.

My Profile 菅原 允（まろ） Makoto Sugawara アバナード株式会社 Technical Leadership キャリア フランスとワインをこよなく愛するエンジニアリングマネジャー ＆アプリケーションアーキテクト。現在、生成AI領域のテ クノロジーリーダーシップとして、複数のAI案件をサポート 中。 専門領域 • • • • • AIソリューション全般 アプリケーションアーキテクチャ策定 モバイルアプリ/フロントエンド開発 ユーザー体験（UX）実装 Agile/DevOps コーチング https://techplay.jp/event/826710 趣味 • • • • フランス（語学も文化も） ワイン（ボルドー＆ローヌ派） 旅行（最近は国内も） 猫と戯れる ©2024 Avanade Inc. All Rights Reserved. https://japan.zdnet.com/extra/avanade _202402/35214938/ 2

• https://techplay.jp/event/826710
• https://japan.zdnet.com/extra/avanade_202402/35214938/

Agenda 1. 2. 3. 4. 5. アバナードについて AIエージェントの登場背景 LLMマルチエージェント概要 AutoGen を利用したLLMマルチエージェント開発 まとめ ©2024 Avanade Inc. All Rights Reserved. 3

1. アバナードについて ©2024 Avanade Inc. All Rights Reserved. 4

アバナードのご紹介 アバナードは、アクセンチュアとマイクロソフトによって戦略的に設立された、グローバルのソリューション知見＋マイクロソフトテクノロジーを 中心とする技術力を強みとする企業です。 両社の強みを兼ね備えた企業として、お客様のゴールを最大限に実現する戦略とテクノロジーをお届けします。 アバナードが持つ人材、専門性 60,000名 多様性に富み、 様々なスキルを持つ プロフェッショナルな従業員 （女性比率は33%） Azure OpenAI Service リファレンスアーキテクチャ賛同パートナー ©2024 Avanade Inc. All Rights Reserved. 60,000+ 21,000件超 どのパートナーよりも多い マイクロソフト認定資格数 のプロジェクトを 5,000社以上と 15ケ所 92拠点 クラウド、Dynamics、 CRM、デジタルマーケティング などに関する 中核研究拠点の数 26ヶ国に92拠点 5

アバナードの主な生成AIソリューションおよび支援内容 アバナードは、Microsoft技術を中心とした生成AIに関するすべての領域で、お客様をご支援いたします！ コンサルティング Azure OpenAI ソリューション データプラットフォーム 業務生産性改善 マネージドサービス AI 戦略・ロードマップ 策定支援 Enterprise Chat 構築・導入支援 Vector DB構築 Copilot for M365 コンサルティング BPOサポート ルール・ガバナンス ・ガイドライン策定支援 Avanade Insight Discovery データデカップリング GitHub Copilot コンサルティング AI/LLM Ops AI CoE 立ち上げ支援 企業固有の Copilot/Plugin Microsoft Fabric 導入・検討支援 ガバナンス トレーニング 業種別ユースケース 検討・導入支援 アーキテクチャ策定支援 セキュリティ AIインパクト評価 フレームワーク 生成AIトレーニング AIテクニカル コンサルティング プロンプト・チューニング ファインチューニング AOAI x Sentinel 統合 AIコントロール フレームワーク 生成AIワークショップ Copilot for Security コンサルティング モダナイゼーション 業種別 AIビジネスコンサルティング PowerPlatform ソリューション Teams x PVA によるChatbot構築 Avanade AMT ©2024 Avanade Inc. All Rights Reserved. 6

2. AIエージェントの登場背景 ©2024 Avanade Inc. All Rights Reserved. 7

生成AIのハイプサイクル：2023年（Gartner） 生成AIを含むAI領域の発展はこれから！ https://www.gartner.co.jp/ja/newsroom/press-releases/pr-20231012 ©2024 Avanade Inc. All Rights Reserved. 8

• https://www.gartner.co.jp/ja/newsroom/press-releases/pr-20231012

ここ最近の主なAI技術トレンドの推移（個人的な意見です） ChatGPTの登場以降、日々、新しいAI技術が発表されており、ややカオスな状況となっています。ChatGPTのブームも一旦は収束し、 次のステージ（CopilotやAIエージェント）に向けた動きが進みつつあります。 ▼イマココ ML時代 DL&RL時代 ChatBot Machine Learning ChatGPT時代 Copilot ChatGPT Cognitive Services Deep Learning/Transfer Learning ファインチューニング AIエージェント時代 AGI時代 AI（自律）エージェント AGI SLM/エッジLLM LLM（GPT、Gemini、Llama etc.） LLMマルチエージェント プロンプトエンジニアリング Grounding/RAG/CRAG MRKL ReACT LLMCompiler Function Calling Assistants API マルチモーダル Bot Framework GPTs 自動運転 AIシミュレーション ©2024 Avanade Inc. All Rights Reserved. 9

【参考】AIマップ https://www.ai-gakkai.or.jp/pdf/aimap/AIMap_JP_20230510.pdf ©2024 Avanade Inc. All Rights Reserved. 10

• https://www.ai-gakkai.or.jp/pdf/aimap/AIMap_JP_20230510.pdf

ChatGPTの限界 ChatGPTをはじめとする生成AIは非常に便利です。しかし、それを使いこなすために、プロンプトエンジニアリングをはじめとする新しいAI リテラシーが求められ、私たちの障壁（私たちがツールを使いこなす必要があるのは変わらない状況）となっています。 • ChatGPTは指示待ち型 • チャットベースで手軽であるものの、こちらから何らかの指示（プロンプト）を与える必要があり、能動的に動 いてくれない • プロンプトエンジニアリングを学ぶ負荷が高い • 回答精度を向上させるために、RAG実装やプロンプトエンジニアリングが必要 • だが、複雑なニーズを実現しようとすると、より複雑なプロンプトを入力しないといけない • 基本的に過去は振り返らない • プロンプトの組み方によっては、振り返りを反映した回答は出せるものの、難易度が高い • まだまだ空気を読めない • 某猫型ロボットのような友達になるのは、まだまだ先。 ©2024 Avanade Inc. All Rights Reserved. 11

LLMベースのAIエージェント（LLMエージェント）とは？ ChatGPTの限界を超えるために、次のパラダイムシフトとして注目されているのがLLMエージェント（AIエージェント）です。 LLMエージェントは、人間が何らかのゴールを与えると、そのゴールを達成するために必要なタスクやプロセスを考え、様々なツールやサー ビスを駆使しながら、必要なアクションを自律的に行う仕組みです。 LLMエージェント利用イメージ LLM エージェント 旅程作成 カレンダー 滞在期間：2024/09/4-9/18 飛行機予約 航空券予約システム 行き：AF xxx 便（ビジネス） 帰り：AF xxx 便（ビジネス） ホテル予約 宿泊予約システム レストラン予約 レストラン予約システム 旅費見積 Code Interpreter フランスに旅行したい 宿泊先：5つ星ホテル レストラン：L’Ambroisie（2名） 概算費用：xx〜xxx万円 現地イベントの収集 ©2024 Avanade Inc. All Rights Reserved. 12

LLMエージェントの主な構成要素 LLMエージェントにおけるLLMは、人間で言う「脳」（Brain）の役割を果たし、与えられたゴールをもとに、以下の要素を踏まえながら、 必要なタスクやプロセスを考慮し、自律的にアクションします。 やって欲しいこと （Goal） 【ひとりごと】 個人的には、観察による「認知」（状況把握）が できることと、「振り返り」を行い自ら軌道修正できる ようになることがポイントだと思っています。 LLM エージェント 個性（Profile） 記憶（Memory） 計画（Planning） ツール（Tools） 実行（Action） 役割 短期記憶 （直近の文脈判断） 振り返り（Reflection） Code Interpreter データ生成 （テキスト、画像、音声…） 属性 長期記憶 （過去の教訓の蓄積） 自己批判 Function Calling 情報検索 性格 認知 思考の連鎖（CoT） 外部API呼び出し タスク実行 タスク分解 /サブゴール分割 … ©2024 Avanade Inc. All Rights Reserved. 13

AIエージェントを実装できる主な技術 このほかにもAIエージェントを実装するための様々なツール・サービスが提供されはじめています。 • Function Calling（OpenAI/Microsoft） • 呼出可能な関数を予め定義しておくと、LLMが文脈に応じ呼び出すべき関数/引数を教えてくれる仕組み • Assistants API（OpenAI/Microsoft） • 独自アプリケーション内でAIエージェントを実装するためのAPI • GPTs（OpenAI） • ノーコードでChatGPTをカスタマイズ可能 • Amazon Bedrock for Agents （AWS） • Amazon BedrockでAIエージェントを実装可能 • LangGraph（LangChain） • LLMでステートフルなマルチアクターアプリケーションを実装するためのライブラリ ©2024 Avanade Inc. All Rights Reserved. 14

3. LLMマルチエージェント概要 ©2024 Avanade Inc. All Rights Reserved. 15

LLMマルチエージェントとは LLMマルチエージェントは、複数のLLMエージェントが相互作用することにより、より複雑なタスクに対する回答精度の向上、シミュレー ションやロールプレイングによる分析・予測、ソフトウェア開発での業務自動化など、単一LLMエージェントでは実現の難しい複雑なユー スケースでの活用が見込まれている注目技術です。 LLMマルチエージェント間のリレーションシップパターン 協力関係 競合関係 混合関係 ©2024 Avanade Inc. All Rights Reserved. 階層関係 16

LLMエージェントもスケールアウトによる精度向上は可能か？ 2024年2月、中国大手IT企業のTencentが、小さなLLMエージェントを多数組み合わせ、LLMマルチエージェントとすることで、単一 の巨大なLLMモデルよりも、より精度の高い回答を導き出す可能性があるという論文を発表しました。 ポイント • LLMエージェントでも、クラウド同様、スケールアウトで パフォーマンスを向上させるという考え方は有効であ る。（スケールするLLMエージェントが増えると、逆に 精度が悪化するのではという懸念もあります） • 今後、ローカル環境やエッジ環境での利用を見据え、 様々なSLM（Small Language Model）ベース のAIエージェントの登場が想定される。これらのSLM をスケールアウトさせ、低電力や低コストを意識した 仕組みも普及していくと思われる。 • SLMの例 • Microsoft Phi-2 • Mistral • Google Gemma More Agents Is All You Need https://arxiv.org/abs/2402.05120 ©2024 Avanade Inc. All Rights Reserved. 17

• https://arxiv.org/abs/2402.05120

事例① Generative Agents による集団行動シミュレーション この検証では、様々なペルソナを持った25人のLLMエージェントを仮想的な街に住まわせたらどうなるか、それぞれのLLMエージェントの 視点で集団行動をシミュレートしています。結果としては、LLMエージェント同士が創発的に協働し合い、それぞれのLLMエージェントご とに新しいストーリーを展開できることが示されました。 ポイント • 住民（LLMエージェント）は、他の住民との関わり 方によって、毎回異なる言動をとることができる（毎 回、決まり文句を言われないので変化を楽しめる） • それぞれの住民が、新しい記憶（Memory）を獲 得し、過去の経験（Reflection）を踏まえた振る 舞いを行う過程をトレースできる • 住民のペルソナやバックグラウンドの初期設定に応じ、 どんな住民とどんなタイミングで関わらせるかによって、 その後の人間関係をシミュレートできる（心や感情 をどう捉えるかという問題は残るが） Generative Agents: Interactive Simulacra of Human Behavior https://arxiv.org/abs/2304.03442 https://github.com/joonspk-research/generative_agents ©2024 Avanade Inc. All Rights Reserved. 18

• https://arxiv.org/abs/2304.03442
• https://github.com/joonspk-research/generative_agents

事例② Chat Dev によるソフトウェア開発 ChatDevという仮想のソフトウェア開発会社において、CEO、CTO、CPO、プログラマー、テスター、デザイナーなど、様々なロールを持つ LLMエージェントでチームを構成し、LLMエージェントチームで、ソフトウェアを自動的に開発させてしまおうという試みです。 ポイント • チャットチェーンという仕組みで開発フェーズをサ ブタスクに分割し、サブタスクの中でそれぞれの LLMエージェントが特定のロールを担って、協力 して作業が行えるようになっている • 「役割の反転」が行われ、自分のロールを変え、 他のエージェントとディスカッションやレビューを行 うことで開発品質を高めている（テスターがバグ を発見した場合、プログラマーにバグの修正を 指示する指示者になりえる） • 70件のユーザー要件に対応するソフトウェア開 発のプロセス全体を7分以内で完了させ、製造 コストは1ドル未満だった（スケールアウトによる 生産性向上を示す良い例） Communicative Agents for Software Development（ChatDev） https://arxiv.org/abs/2307.07924 https://github.com/OpenBMB/ChatDev ©2024 Avanade Inc. All Rights Reserved. 19

• https://arxiv.org/abs/2307.07924
• https://github.com/OpenBMB/ChatDev

LLMマルチエージェントを実装できる主な技術 このほかにもAIエージェントを実装するための様々なツール・サービスが提供されはじめています。 • MetaGPT ※Meta（旧Facebook）とは関係ありません • ソフトウェア開発会社をシミュレートできるマルチエージェントフレームワーク • https://github.com/geekan/MetaGPT • ChatDev ※前頁参照 • 仮想のソフトウェア開発会社で、自動でソフトウェア開発を行える • https://github.com/OpenBMB/ChatDev • AutoGen（Microsoft）※次項参照 • カスタマイズ性の高いLLMマルチエージェントフレームワーク。人間の介在も可能。 • https://github.com/microsoft/autogen • LangGraph（LangChain） • LLMでステートフルなマルチファクターアプリケーションを構築するためのフレームワーク • https://python.langchain.com/docs/langgraph • CrewAI • プロセスを含めたAIエージェント間の調整が可能なLLMマルチエージェントフレームワーク • https://github.com/joaomdmoura/crewAI • AutoDev • AIドリブン開発が可能なフレームワーク。最近、論文が発表されて注目のフレームワーク ©2024 Avanade Inc. All Rights Reserved. 20

• https://github.com/geekan/MetaGPT
• https://github.com/OpenBMB/ChatDev
• https://github.com/microsoft/autogen
• https://python.langchain.com/docs/langgraph
• https://github.com/joaomdmoura/crewAI

4. AutoGenを利用したLLMマルチエージェント開発 ©2024 Avanade Inc. All Rights Reserved. 21

AutoGenとは AutoGenは、Microsoftが提供する、LLMマルチエージェントを実現するためのOSSフレームワークです。 特徴 • • 複数のLLMエージェントが同時に動作可能 人間の介入を最小限に抑えることが可能 メリット • • • 複数のLLMエージェントの連携により、より複雑 なタスクを解決できる 人間の介入を最小限に抑え、高品質な結果 を得られる タスクの実行に必要なAPIコールのコストを削減 できる 課題 • • https://microsoft.github.io/autogen/docs/Getting-Started 高性能なLLMの利用には高いコストがかかる 計算リソースや処理時間の考慮が必要 ©2024 Avanade Inc. All Rights Reserved. 22

• https://microsoft.github.io/autogen/docs/Getting-Started

AutoGenの組み込みLLMエージェント AutoGenでは、ConversableAgentを汎用クラスとした、Built-inの派生クラス（LLMエージェント）が用意されています。独自に継 承させたカスタムエージェントを実装することも可能です。 https://microsoft.github.io/autogen/docs/Use-Cases/agent_chat ©2024 Avanade Inc. All Rights Reserved. 23

• https://microsoft.github.io/autogen/docs/Use-Cases/agent_chat

AutoGenの主なユースケース例 GitHubには、これ以外にも多くのユースケースサンプルが順次追加されています。 （https://microsoft.github.io/autogen/docs/Examples/）参照 ユースケース例 • • • • • • 数学問題の解決 RAGベースの会話 意思決定 複数エージェントによるコーディ ング グループチャット チェス対局 https://microsoft.github.io/autogen/docs/Use-Cases/agent_chat ©2024 Avanade Inc. All Rights Reserved. 24

• https://microsoft.github.io/autogen/docs/Use-Cases/agent_chat
• https://microsoft.github.io/autogen/docs/Examples/

AutoGenを使ってLLMマルチエージェントを実装してみる Demo（時間があれば） https://microsoft.github.io/autogen/docs/Getting-Started ©2024 Avanade Inc. All Rights Reserved. 25

• https://microsoft.github.io/autogen/docs/Getting-Started

【参考】GUIツール（AutoGen Studio）もサポートされています ©2024 Avanade Inc. All Rights Reserved. 26

5. まとめ ©2024 Avanade Inc. All Rights Reserved. 27

まとめ • ChatGPTからLLMエージェントの時代へ • ChatGPTの限界を超える仕組みとして、LLMエージェントが注目されている • AIが私たちの仕事をやってくれる代わりに、私たちは何をすべきなのか、改めて考えるタイミング • LLMマルチエージェントは、単一のLLMエージェントよりも高いパフォーマンスを発揮できる • 異なる役割や性格を持った複数のLLMエージェントが協業することにより、その効果は高まる • AGIを見据え、AutoGenをはじめとするLLMエージェントフレームワークが登場している • 人と同じように、異なる考えを持った人が集まれば、新しい、面白い考えが生まれる • 手軽なフレームワークも多数登場していますので、ぜひ、試してみてください！ ©2024 Avanade Inc. All Rights Reserved. 28

ご清聴いただきありがとうございました！ Merci beaucoup! ©2024 Avanade Inc. All Rights Reserved. 29

©2024 Avanade Inc. All Rights Reserved. 30