Amazon Bedrock Model Distillationでモデル蒸留を試す

Amazon Bedrock Model Distillation でモデル蒸留を試す 2025/3/15 JAWS-UG 茨城 #1 Education-JAWSコラボ回 Kiyoshi Jin

About Me ■経歴 インフラエンジニアとして20年以上、サーバやネットワーク設計、 構築、運用支援などに従事。2019年にジョイット合同会社を設立。 ■所属グループ JAWSUG東北 青森支部 ジョイット合同会社 代表社員 神 希嘉 ■好きなAWSサービス Amazon Bedrock https://www.joyit.co.jp ■好きな基盤モデル Anthropic Claude 3.7 Sonnet

• https://www.joyit.co.jp

本日のお題

Amazon Bedrockで蒸留モデルを作成

Amazon Bedrock AWSが提供するビジネス向け生成AIサービス 主要な生成AIの基盤モデルを利用可能 https://aws.amazon.com/jp/bedrock

• https://aws.amazon.com/jp/bedrock

Amazon Bedrock Model Distillation Amazon Bedrock で蒸留モデルを作成することができる機能 蒸留モデルとは「教師モデル（基盤モデル）」の知識を 小型の「生徒モデル」に蒸留したもので特定ユースケース向けに最適化。 より軽量ながら教師モデルの性能を保持し、高速で低コストな運用が可能 。 https://aws.amazon.com/jp/blogs/news/build-faster-more-cost-efficient-highly-accurate-models-with-amazon-bedrock-model-distillation-preview/

• https://aws.amazon.com/jp/blogs/news/build-faster-more-cost-efficient-highly-accurate-models-with-amazon-bedrock-model-distillation-preview/

今どきな機能なのでAWS公式サイトを 参考に茨城に特化した蒸留モデルを モデル呼び出しログで生成してみました https://docs.aws.amazon.com/bedrock/latest/userguide/model-distillation.html

• https://docs.aws.amazon.com/bedrock/latest/userguide/model-distillation.html

最初に利用する基盤モデルをリクエスト （今回はAmazon Nova）

モデル呼び出しログ保存用S3バケット作成

モデル呼び出しのログ記憶を有効化 （先ほど作成したS3バケット指定）

Bedrockのプレイグラウンドで教師モデル (Nova 1.0) との茨城関連のチャットを 100回以上実施 (必ずSingle Prompt使用)

モデル呼び出しログ保存用S3バケット にログがあることを確認

教師モデルは プレイグラウンドと同じ Nova Pro 1.0 生徒モデルはNova Micro 蒸留モデル生成ジョブを作成

応答は適度な長さにしておく アクセスログの呼び出しを選択 モデル呼び出しログ保存用 S3バケットを指定 プロンプトとそれに対応する 教師モデルの応答ペアを使用 教師モデルの応答ペアをそのまま学習に利用することで 再度教師モデルに問い合わせて応答を生成し直す処理をスキップ

アウトプット先の S3バケットを指定 サービスロールは 新規に作成 蒸留モデル生成ジョブを実行

蒸留モデル生成完了 （約1時間半程かかりました）

ジョブ名が最初設定した名前と違う？

実は最初のジョブはエラーになりました

最初はプレイグラウンドでChatを 選んで生成したモデル呼び出しログを利用

リクエスト処理中に内部エラーが発生？ エラーログもなく原因が全く分からない

色々と試しましたが結局ダメでした

最終的にSingle Promptでチャットした モデル呼び出しログでうまくいきました

モデル蒸留ジョブにて蒸留した カスタムモデルを選択

プロビジョンドスループットを購入 （モデル呼び出しはプロビジョンドスループットが必要）

1時間で約1万5千円強・・・・・・

とりあえず「購入を確認」まで確認

試すのはここまで！

（後片付け）蒸留したモデルを削除

比較は次回の課題！

次回作にご期待ください！