---
title: 20241216_cloudlt_lt_beajouneyman
tags:  #aws #amazonbedrock #ナレッジベース #rag #rag評価 #cloudlt  
author: [Journeyman](https://www.docswell.com/user/8916250)
site: [Docswell](https://www.docswell.com/)
thumbnail: https://bcdn.docswell.com/page/4EQM6LMWJP.jpg?width=480
description: クラウドLT #cloudlt # 12 の登壇資料です。 re:Invent2024 で発表された Amazon Bedrock のRAG評価を試したお話しです。
published: December 16, 24
canonical: https://www.docswell.com/s/8916250/KYD8WE-20241216_cloudlt_lt_beajouneyman
---
# Page. 1

![Page Image](https://bcdn.docswell.com/page/4EQM6LMWJP.jpg)

#cloudlt
Bedrockの新評価機能(Preview)
でRAGを評価してみた
Journeyman | @beajourneyman
Dec 2024


# Page. 2

![Page Image](https://bcdn.docswell.com/page/KJ4V4DV1E1.jpg)

本日、お伝えしたいコト(結論)
• BedrockとRAGの特徴をつかむ
• 新機能、RAG評価を学ぶ
• どんな評価ができるか知る


# Page. 3

![Page Image](https://bcdn.docswell.com/page/LE134Z35JG.jpg)

Journeyman ジャニ (Takeki Oizumi)
所属：セゾンテクノロジー(4月に社名変更)
2022年10月より遠隔地勤務可に
仕事：Amazon Connect を基盤とした
IVRシステムの開発保守リーダー他
推しサービス：Amazon Connect / Polly
最近は Bedrock
SNS：@beajourneyman
認定： CLF / SAA / AIF


# Page. 4

![Page Image](https://bcdn.docswell.com/page/GEWPX9PWJ2.jpg)

Amazon Bedrock とは？


# Page. 5

![Page Image](https://bcdn.docswell.com/page/47ZK69K273.jpg)

基盤モデルを使用して生成 AI アプリケーション
を構築およびスケーリングする最も簡単な方法。
Amazon Bedrockは、Amazon Web Services (AWS) が提供する基盤とな
るAIサービスです。このサービスは、高度な機械学習モデルを簡単に利用可能にするこ
とで、開発者が効率的にアプリケーションを構築できるようにします。Bedrockは、多
様なデータ処理と機械学習のニーズに対応し、エンタープライズレベルのセキュリティと
可用性を提供します。これにより、ビジネスの成長に必要な強力なAI機能を活用しや
すくなります。


# Page. 6

![Page Image](https://bcdn.docswell.com/page/YJ6Q2K26JV.jpg)

RAG(検索拡張生成)とは？
RAG（検索拡張生成）は、外部の情報を活用して生成されたコンテンツの信頼性を
高めるための技術です。RAGは、生成モデル（Genrative AI）と外部データベース
を組み合わせて、ユーザーの質問に関連する最新の情報や専門知識を即座に取り込
むことができます。これにより、AIが生成する回答の精度と関連性が向上し、より信頼
性の高い情報提供が可能になります。RAGは、特にインフォメーションシステムや検索
エンジンの応用に有効です。


# Page. 7

![Page Image](https://bcdn.docswell.com/page/GJ5R2P2574.jpg)

Amazon Bedrock の新しい RAG 評価
と LLM を審査員として利用する機能
New ＆
Preview
https://aws.amazon.com/jp/blogs/aws/new-rag-evaluationand-llm-as-a-judge-capabilities-in-amazon-bedrock/


# Page. 8

![Page Image](https://bcdn.docswell.com/page/LE3PK3K5J5.jpg)

何が嬉しいのか？
•
•
これまでRAGを評価する際には、ユーザーが評価を行うか、他ベンダー製品
(Ragasなど)を利用する必要があった。
本新機能により、AWSサービスでシームレスにRAG評価が可能になり、評価プロ
セスの効率化と統合が期待できる。
何故試そうと思ったのか？
•
•
•
RAGはユーザー自身がデータセットを作成して運用するため、品質を維持していく
対策が重要になる。
RAGをプロダクションで活用してく上で、品質評価は必須要件である。
LLMOps(RAGOps)をAWSサービスで完結して構築する要の機能と感じた。


# Page. 9

![Page Image](https://bcdn.docswell.com/page/8EDL343YJG.jpg)

さっそく、自分チャットボット
を評価しました
ドキドキ
QR
https://qiita.com/beajourneyman/items/65161b0b434d88dff21f


# Page. 10

![Page Image](https://bcdn.docswell.com/page/V7P24M4278.jpg)

ナレッジベース評価基盤構築と結果確認の流れ
1.
2.
3.
4.
S3バケットを用意する
評価用JSONLデータセット(お手本)を用意してS3にアップロードする
RAG評価基盤を構築する
評価結果サマリ、詳細を確認する
QR
https://qiita.com/beajourneyman/items/c1ac4948214891887e2e


# Page. 11

![Page Image](https://bcdn.docswell.com/page/2JVDX9XXJQ.jpg)

自分RAGの評価結果が出ました(サマリ)
数十本の自分のQiita記事を
ベクトルストアに入れたRAG
＜品質指標＞
1.0に近いほど良い
＜レスポンシブAIメトリクス＞
※いわゆる責任あるAI指標
0に近いほど良い
ホッ


# Page. 12

![Page Image](https://bcdn.docswell.com/page/5EGYVZVREL.jpg)

自分RAGの評価結果の詳細


# Page. 13

![Page Image](https://bcdn.docswell.com/page/4JQM6L6Y7P.jpg)

苦労したポイント


# Page. 14

![Page Image](https://bcdn.docswell.com/page/K74V4D4ZJ1.jpg)

本日、お伝えしたいコト(再掲)
• BedrockとRAGの特徴をつかむ
• 新機能、RAG評価を学ぶ
• どんな評価ができるか知る
是非使ってみてください！！


# Page. 15

![Page Image](https://bcdn.docswell.com/page/LJ134Z4D7G.jpg)

今回紹介したRAG評価含め
推しサービスを中心に
アドベントカレンダーを書いているので、
良かったらご覧ください
QR
https://qiita.com/beajourneyman


# Page. 16

![Page Image](https://bcdn.docswell.com/page/GJWPX9X872.jpg)

QR
https://jawsug-niigata.connpass.com/event/337921/


# Page. 17

![Page Image](https://bcdn.docswell.com/page/4EZK6969E3.jpg)

QR
https://increments.connpass.com/event/338077/


# Page. 18

![Page Image](https://bcdn.docswell.com/page/Y76Q2K2D7V.jpg)

ご清聴、ありがとうございます！
ジャニ (Journeyman) | @beajourneyman


