「2024年問題」に本気で取り組む! 言葉だけじゃないDXを目指すAI活用の現在地 - 生成AIからAIエージェントへ -

4.9K Views

October 25, 24

スライド概要

2024/10/11に実施されたHololab Conference 2024のセッションスライドです。

■セッションアーカイブはこちら

ーーー
■公式HP
https://hololab.co.jp/

■公式Twitter
https://twitter.com/HoloLabInc

profile-image

ホロラボです Unityを使用したHoloLensのアプリ開発を中心にしています。 最近では建設業でのBIMデータ、製造業でのCAD データ、空間の3Dスキャン(点群データやメッシュデータ)も扱っています。 物理世界とデジタル世界をどのように連携するか。ということを日々考えています。

シェア

またはPlayer版

埋め込む »CMSなどでJSが使えない場合

関連スライド

各ページのテキスト
1.

「2024年問題」に本気で取り組む! 言葉だけじゃないDXを目指すAI活用の現在地 - 生成AIからAIエージェントへ - 及部敬雄 (@TAKAKING22) Photo by Cash Macanaya on Unsplash

2.

2024

3.

2024年問題 Photo by Ricardo Gomez Angel on Unsplash

4.

2024年問題 高齢化による熟練労働者の引退が進む一方で、新しい労働力が 十分に補充されないため、人手不足が深刻化する 建設業や物流では、2024年から働き方関連法の施行によって、 労働時間の抑制が発生する デジタルトランスフォーメーションをはじめとした、 生産性の向上や労働環境の向上が急務となっている

5.

2023

7.

2023年AI元年 ChatGPTの誕生を皮切りに生成AIブームに さまざまな生成AIプロダクトが誕生

8.

今置かれている状況 2024年問題が目の前の現実になった スローガン的だったデジタルトランスフォーメーションが、 必要性に迫られて各社本格的な導入フェーズに差し掛かっている 突如出てきた生成AIをどのように活用していけばいいのだろうか

9.

「2024年問題」に本気で取り組む! 言葉だけじゃないDXを目指すAI活用の現在地 - 生成AIからAIエージェントへ - 及部敬雄 (@TAKAKING22) Photo by Cash Macanaya on Unsplash

10.

及部敬雄 TAKAKING22 株式会社ホロラボ AECグループ グループリード Silver Bullet Club所属

11.

個人的なお話 2022年にホロラボにチーム転職してきました Webベースのプロダクト開発や運用、新規事業開発の経験 「新しい技術を試しました」もいいけど、 問題解決を目指して泥臭く仕事をするのが大好き!!

12.

“フィジカルとデジタルをつなげ、新たな世界を創造する”

13.

AECグループ 建設業に特化した問題解決グループ 2つのチーム BIM、Power BI、Web、Cloud、Unreal Engine、生成AI

14.

ホロラボが生成AI!? 生成AIは1つの技術要素としてではなく、 ソフトウェア開発をする上でのベースになりつつある デジタルトランスフォーメーションの取り組みをしていく中で、 データや生成AIを含めて問題解決を目指す機会が増えてきた XR×生成AI、メタバース×生成AI、デジタルツイン×生成AI

15.

今日のお話 この1年間、特にデジタルトランスフォーメーションの取り組み が本格化してきた これまでホロラボが得意としていた3DやXRなどの技術に加えて 生成AIを活用した取り組みを紹介 建築における取り組みが中心だが業種をあまり問わない内容だと思います 生成AIのトレンドの変化と共に

16.

今日のゴール 生成AI活用を検討する際のヒントにしていただく 問題解決のパートナーとして選んでいただく

17.

生成AI以前の取り組み

18.

建築におけるストーリー

19.

建築におけるストーリー

20.

R2-BIM https://www.docswell.com/s/HoloLab/ZM1LXX-holoconf23_b6

21.

R2-BIM https://www.taisei.co.jp/about_us/wn/2023/230711_9589.html

22.

建物みえるくん https://www.docswell.com/s/HoloLab/KLLG29-holoconf23_b7

23.

情報ソースが散らばっている 書類 BIM 業務システム IoTデバイス

24.

業務上必要な情報を集めるためには さまざまな情報ソースに当たらなくてはならない(経験知) 書類 BIM 業務システム IoTデバイス

25.

BIMデータをデータベースにいれ、 情報検索が容易なソリューションとして提供 書類 BIM 業務システム IoTデバイス データ ベース

26.

データベース上のBIMデータと、 他の情報ソースをIDで紐づけていくことでデータを集約 書類 BIM 業務システム IoTデバイス データ ベース

27.

集約されたデータを使って、 必要な人に必要な形式でソリューションを提供可能に 書類 BIM 業務システム IoTデバイス データ ベース

28.

現場のデジタルトランスフォーメーション データを集約していく データを活用して効率化する

29.

現場のデジタルトランスフォーメーション データを集約していく データを活用して効率化する →ここがハードル

30.

現場のデジタルトランスフォーメーション データを集約していく →ここがハードル データを活用して効率化する →リテラシーがハードル

32.

生成AIサービス

33.

生成AI誕生後の流れ まずはさまざまなプロダクトを活用してみる 業務情報を入力することができないので、 各社で固有の生成AI環境を用意する 生成AIを業務システムにも組み込んでなにかできないか 各社で検討がはじまる

34.

RAG Retrieval-Augmented-Generation(検索拡張生成) 大規模言語モデルによるテキスト生成に、外部情報の検索を 組み合わせることで回答精度を向上させる技術 既に持っているデータソースを活用することができ、 モデルの再学習が必要でないため導入コストが低い

35.

RAG 情報ソース 質問を入力 質問に関連した 検索結果を取得 ユーザー アプリケーション LLM 回答を出力 質問+検索結果を 入力し回答を生成

36.

建物みえるくん改 チャットUI 自然言語で建物に関する質問をすると、 自然言語で回答してくれる

37.

建物みえるくん改の仕組み データベース 質問を入力 ユーザー アプリケーション 質問に関連した 検索結果を取得 LLM 質問+検索結果を 入力し回答を生成 BIM

38.

生成AI活用推進度合いと他社事例への関心度 出展:PwC「生成AIに関する実態調査2024春」

39.

生成AIの活用効果に対する期待との差分 出展:PwC「生成AIに関する実態調査2024春」

40.

期待を超えた理由と期待未満だった理由の順位比較 出展:PwC「生成AIに関する実態調査2024春」

41.

二極化

42.

新たな二極化 仕事ができる人たちはプロンプトを入力できるので、 生成AIを活用して業務を効率化してより生産的に これから仕事を覚える人たちはプロンプトになにを入力すれば よいのかわからないので生成AIを効果的に活用できない

43.

プロンプトエンジニアリング 生成AIから望ましい結果を得るために、 指示や命令を設計し最適化するスキルのこと もはや新しいプログラミング言語?

44.

C3-BIM https://www.docswell.com/s/HoloLab/524R66-holoconf24_a4

45.

C3-BIM ユーザーが投稿した質問文 AIからの回答 質問文に対してAIがBIMデータを活用して回答 回答に関連した部屋の情報 AIからの回答に関連した部屋情報を表示し、 R2-BIM(ダッシュボード)へリンク 関連性が高い社内外の文書 質問文や回答をもとに関連性が高い、 社内外のドキュメントへのリンクを表示

46.

C3-BIMの狙い 単なるチャットUIだけだと、質問文(プロンプト)によって 得られる情報の精度が左右されてしまう AIによって回答や回答に関連したBIMデータを解析し、 それらに関連した社内外の情報ソースを検索し表示することで、 本人が意図していないが業務に必要な情報を得ることができる

47.

システムイメージ

48.

Azure AI Searchのベクトル解析 ベクトル化:あらかじめ検索対象となる文書データの内容を 数値的なベクトルに変換しておく 類似度の計算:投稿された質問文も同様にベクトル化し、 類似度を計算する ランキング:類似度スコアに基づいて関連性の高い検索結果を 返す

49.

文書(PDF)の解析について PDF以外にText、Excel、Word、PowerPoint、CSVなどの ファイル形式を解析対象にすることが可能 PDF解析はテキスト抽出を行った上で、解析をかけている

50.

仕事できるくん https://www.docswell.com/s/HoloLab/5382V1-holoconf24_a6

51.

仕事できるくん AIの解析結果 要求水準書で求められている内容 とBIMデータを比較して、 解析した結果をレポート表示

52.

仕事できるくんの狙い 文書を入手 文書をアップロード 文書から要件を抽出 文書から要件を抽出 設計図書から情報を入手 BIMから情報を入手 要件を満たしてるか確認 要件を満たしてるか確認 熟練技術者 仕事できるくん ChatGPTが やっている部分

53.

仕事できるくんの狙い 熟練技術者の経験知をプロンプト化し、活用できるようにする 熟練技術者の教育コストを抑える AIを介した技術継承

54.

Lang Chain Agent 言語モデルに渡されたツールを用いて、モデル自体 が「次にどのようなアクションをとるか」を決定 し、実行し、観測し、完了するまでを繰り返す機能 ユーザーからの質問文をもとにプロンプトを作成 し、その中でツールを指定することで固有のプロジ ェクト情報(BIMデータ)をベースにした回答を作 成する

56.

OpenAI DevDay (2023) “最終的には、コンピューターに必要なこと を頼むだけで、これらのタスクをすべて やってくれるようになるだろう。” “今回紹介するGPTsはGPTのカスタム バージョンであり、命令、拡張知識、 およびアクションを組み合わせたものだ。” “これらはAIエージェントへの第一歩であり、 我々は時間をかけてその機能を増やしていく 予定だ”

57.

OpenAIがAI進展の5段階スケール Level1 : チャットボット(Chatbots) Level2 : 推論者(Reasoners) Level3 : エージェント(Agents) Level4 : 発明家(Innovators) Level5 : 組織(Organizations) イマココ

58.

GPTs 自分好みのChatGPTを作成できる機能 欲しい情報源(テキスト、ファイルなど)をアップロードする と、その情報源を利用して回答してくれるようになる 他人がつくったGPTを使うこともできる 画像生成、添削、論文検索、デザイン… チームでGPTを共有するプランも登場

59.

出展:ガートナー(August 2024)

60.

AIエージェントとは 人がいちいち指示をしなくとも、自分でやることを考えて、 様々なツールを活用して目標に向かってタスクをこなしてい くAIの仕組みのこと 仕事の支援にとどまらず完了を目指す

61.

社会シミュレーションGenerative Agents スタンフォード大学とGoogleの共同研究であるエージェント論文 自律的に動作する25名のAIエージェントを仮想の町に住ませて、実際に2日間動かして 社会シミュレーションを実施した 市長(町長)の選出、パーティーなどが開催された https://arxiv.org/abs/2304.03442

62.

開発者を代替するAIエンジニア 2024年3月12日にCognition社が「Devin」を発表 世界初のAIエンジニア 支援型ではなく自律型で実際にタスクをこなすことができる 仕様変更の対応、バグの発見と修正、デバッグ、デプロイ… 2024年10月10日現在でWaiting List申請受付中 https://www.youtube.com/watch?v=fjHtjT7GO1c

63.

AIエージェント ユーザー AIエージェント アウトプット タスク 必要なツールを選択し、 組み合わせてタスクを実行 インターネット情報 ファイル情報 プログラムの実行 ツール ソフトウェア 他のAIエージェント

64.

方向性はよさそう!

65.

仕事できるくんの場合 ユーザー AIエージェント アウトプット 図書を アップロードする 必要なツールを選択し、 組み合わせてタスクを実行 図書情報を読み取る BIMデータを取得する ツール レポートを生成する

66.

AIエージェントを活用してみて 組み合わせることで回答の精度はあがる 対応できる業務の範囲が広がる AIエージェント自体を組み合わせていくことで、 さらに業務の範囲が広がる可能性がある 現在の業務(AS-IS)について分析し、 理想的な業務のありかた(TOBE)について定義することが重要

67.

まとめ

68.

これまでのソフトウェアづくり ユーザーとユーザーが求めているもの(情報、商品、体験)をどうつなげるか つなげ方を試行錯誤するところがソフトウェア開発の本丸 インプット→仕組み→アウトプット 仕組み=検索、レコメンド、アルゴリズム、ユーザーインタフェース… 求めているもの (情報、商品、体験…) ユーザー ソフトウェア

69.

AI時代のソフトウェアづくり つなげ方の一部あるいは大部分を生成AIに任せるように パーソナライズの進化と深化 多様なインプットを受け取ることができる ユーザーが求めるアウトプット方式を選ぶことができる 「予め用意したものを提供する」から「必要なものがリアルタイムで生成される」へ 求めているもの (情報、商品、体験…) ユーザー ソフトウェア

70.

https://speakerdeck.com/masahiro_nishimi/llmdedekiru-shi-eru-sheng-cheng-aieziento?slide=31

71.

柔軟性のあるソフトウェア開発 データベースだけでなく、既存のデータソースを活用できる AIやツールの活用をAIに任せることで、 ユーザーのリテラシーへの依存度を減らしていくことができる

72.

AIでいい感じによろ!

73.

生成AIは魔法ではない

74.

生成AIは魔法ではない ハルシネーションの問題 現時点では苦手とする作業領域がある 高い精度を求める作業など 同じインプットをしても違うアウトプットをすることがある

75.

生成AIの開発の方向性 精度をあげる RAG Prompt Engineering Fine-Tuning 生成AIやツールを組み合わせて問題を解決する Agents

77.

ありそうなユースケース 人がやると時間がかかるタスクを代わりに生成AIに任せ、 精度が求められる仕事は最後に人間が確認して実行する タスクを依頼 実行 確認

78.

今こそ泥臭い問題解決の時代 現在の業務を分析し、テクノロジーで再現し、現場に適応させていく Photo by jesse orrico on Unsplash

79.

“フィジカルとデジタルをつなげ、新たな世界を創造する”

80.

https://ia.samaltman.com/

81.

“AIは私たちの能力をかつてないほどに増幅する” https://ia.samaltman.com/

82.

本気で問題解決、目指しませんか? https://hololab.co.jp/#contact