S3アップデートの歴史〜Express One Zoneと整合性の進化

 S3アップデートの歴史 Express One Zoneと整合性の進化 強い一貫性と高速オブジェクトストレージが変える設計指針 TARGET AUDIENCE AWS経験者・ インフラエンジニア FORMAT 8分LT 技術解説  Amazon S3 / Consistency Model / Express One Zone AWS Architecture & Design Patterns

 AWS S3 UPDATE HISTORY 1 AGENDA 2 S3の歴史的進化から最新のExpress One Zoneまで、 技術的背景と設計への影響を8分で解説します。 3  S3整合性モデルの進化  S3 Express One Zoneの登場  設計への影響と選択基準 本日のトピック Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. 2006年の結果整合性から、2020年の強い一貫性実現への技術的変遷 一桁ミリ秒のレイテンシを実現する新ストレージクラスの技術的インパクト コスト・性能・可用性のトレードオフに基づく実務でのアーキテクチャ設計 指針 2 / 11

HISTORY S3整合性モデルの歴史  STRONG CONSISTENCY EVENTUAL CONSISTENCY ERA ERA WORKAROUND Application Side Fixes 2006 LAUNCH S3 Service Launch 結果整合性モデルを採用。 高可用性と耐久性を最優先し、 CAP定理のAPを重視した設計。 Netflix s3mper等の登場。 DynamoDB等でメタデータを管理 し、アプリ側で整合性を補完。 2013~  2020年以前: Read-after-writeで稀に古いデータを参照するリスクあり Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. REVOLUTION 2017 ECOSYSTEM S3Guard / EMRFS Cloudera S3GuardやEMRFS Consistent View。 ビッグデータ分析基盤での整合性 確保が標準化。 Strong Consistency 全リージョン・全操作で強い一貫 性を実現。 追加コストなし、性能劣化なし、 アーキテクチャの大転換。 2020.12  現在: PUT直後のGET/LISTでも最新データが保証される 3 / 11

CHALLENGES & SOLUTIONS 結果整合性時代の制約とワークアラウンド   2020年以前の制約  分散処理でのデータ欠損リスク Hadoop/Spark等の分散処理基盤において、ファイル一覧取得時 に一部ファイルが見えず、計算結果が狂う可能性。   Read-after-writeの不整合 PUT直後のGET/LISTリクエストで、稀に古いデータや存在しな い結果が返る現象が発生。 リトライロジックの複雑化 アプリケーション側でwaitを入れたり、整合性を確認する複雑 なリトライ処理の実装が必須。    当時のワークアラウンド メタデータ整合性ツールの導入 DynamoDB等を外部メタストアとして利用し、S3のメタデータ と同期させて整合性を担保。  Netflix s3mper / Cloudera S3Guard / EMRFS Consistent View  運用負荷とコストの増大 追加のインフラ（DynamoDBテーブル等）の管理・コストが発 生し、アーキテクチャが複雑化。 2020年12月以降、S3の強い一貫性サポートにより、これらのワークアラウンドは不要に！ Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. 4 / 11

TECHNICAL DEEP DIVE 2020年の大転換：強い一貫性の技術   Metadata Subsystem & Cache Coherency NEW: WITNESS Cache Coherence Client Request PUT / GET / LIST Read Barrier / Verifier Persistence Tier  Metadata Storage  Process: 1. Witness（立会い）: 書き込み発生時にメタデータ変更を記録 2. Read Barrier: 読み取り時にキャッシュの鮮度をWitnessで確認 3. Validation: キャッシュが陳腐化していれば無効化し、永続層から最新取得 PROVEN CORRECTNESS  Formal Methods  Model Checking    TLA+ 形式手法と実コード検証を組み合わせ、あらゆるエッジケースでの整合性を数 学的に証明。 Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. 全操作で強い一貫性を保証 新規作成(PUT)後のRead-after-writeだけでなく、上書きPUT、 DELETE、LIST操作、タグ・ACL・メタデータ変更も即座に反映。 性能・可用性への影響なし Witnessはインメモリで高速動作。レイテンシを犠牲にすることなく 整合性を確保。S3の高い可用性SLAも維持。 リージョン隔離の維持 グローバルな依存関係を持たず、各リージョン内で完結する設計。リ ージョン障害の影響範囲を限定。 追加コスト・設定不要 すべてのS3バケット、すべてのオブジェクトに対してデフォルトで適 用。ユーザー側での設定や追加料金は一切不要。 5 / 11

NEW STORAGE CLASS 2023.11 ANNOUNCED S3 Express One Zoneの登場 「S3 Standardの最大10倍高速」を実現する高性能ストレージクラス     同一AZ配置で 超低レイテンシ ディレクトリバケット (Directory Buckets) セッションベース認証 (CreateSession) コンピュートリソースと同じAZにデータを配 置。P99で一桁ミリ秒の安定した低レイテンシを 実現。 フラットな構造ではなく階層構造を採用。プレ フィックスに依存せずスケールし、常時10万+ TPSを処理可能。 IAM認証のオーバーヘッドを削減。 CreateSession APIでトークンを取得し、SDKが 自動更新することで高速化。 最大10倍高速化 常時 100,000+ TPS 5分間有効なトークン 99.95% 可用性 SLA 99.999999999% データ耐久性 (11NINES) Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. Single AZ 冗長性構成 50% OFF リクエスト料金 (VS STANDARD) 6 / 11

ARCHITECTURE COMPARISON アーキテクチャ比較：Standard vs Express One Zone  S3 Standard (Region) AZ-a AZ-b   AZ-c   S3 Express One Zone Target AZ  <10ms   Multi-AZ Replication VS Co-located Compute & Storage  マルチAZ冗長構成  単一AZ配置 (Single AZ)  汎用バケット (General Purpose)  ディレクトリバケット (Directory Buckets)  標準IAM認証 (API署名)  セッション認証 (CreateSession)  ミリ秒レイテンシ / プレフィックス分散  P99 一桁msレイテンシ / ゾーンエンドポイント Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. 7 / 11

PERFORMANCE & USE CASES 性能とユースケース   主要パフォーマンス指標 10x  Akridata  FASTER PERFORMANCE 導入事例 データ処理パイプラインの実行時間を大幅に短縮し、より迅速なインサイト取得を実現。  50% LOWER REQUEST COST クエリパフォーマンスの向上と、ストレージコストの最適化を同時に達成。  100k+  CONSTANT TPS  平均 3.5倍 短縮 ClickHouse Cloud   画像分析 リアルタイム分析DB 最大 238% 高速化  TCO 最大 65% 削減 主要なユースケース AWSサービス連携による高速化 Athena EMR SageMaker Mountpoint 2.1x 4.0x 5.8x 6.0x  ML学習・モデルトレーニング  リアルタイムビッグデータ分析  広告配信・クリックストリーム  HPC / 金融シミュレーション  メディア処理・トランスコード Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. 8 / 11

STORAGE CLASS SELECTION ストレージクラス選択基準  比較項目 (東京リージ ョン) S3 Standard 汎用・高耐久・マルチAZ S3 Express One Zone 超低レイテンシ・単一AZ レイテンシ ミリ秒 (ms)  可用性 / 配置 99.99% / マルチAZ 99.95% / 単一AZ  AZ障害に強い 保存料金 $0.025 / GB月 リクエスト料金 標準料金 機能制約 (2024.05)  全機能対応 選択の目安 Standard: 汎用的な用途、高耐久性が必須、大容量データの長期保存、機能  S3 要件（タグ/ライフサイクル等）がある場合。 Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved.  NEW 一桁ミリ秒 (P99) AZ障害時はアクセス不可 $0.18 / GB月 約7倍高価 Standardの約50% ※512KB超はGB課金加算あり   一部未対応 ライフサイクル, タグ, SSE-KMS等 Express One Zone: ML学習/推論、リアルタイム分析、高頻度アクセス（高QPS） 9 / 11 のホットデータ。保存コストより処理速度とリクエスト料金削減を優先する場 合。

DESIGN IMPACT & DECISIONS 設計への影響と実務判断（TCO/トレードオフ）  TCO（総所有コスト）観点での 評価 Total Cost Max -60% Express One Zoneは保存単価が高い（約7倍）ですが、リク エスト料金半額と計算資源（EC2/EMR）の稼働時間短縮によ り、トータルコストは大幅に削減可能です。 Traditional (Standard) Storage Compute Time Optimized (Express One Zone)  Storage++ TimeSaved! -  推奨設計パターン Hot/Cold分離 頻繁にアクセスするHotデータのみ Express OZに配置。Coldデータは Standardへ移動またはImport機能で必 要な時だけ移動。  重要 単一AZリスク対策 AZ障害に備え、元データはStandardに 残すか、別AZへ複製、または再生成可 能なデータのみ配置する。   運用上の注意点 (Behavior) 非アクティブ状態 (Idle)    ネットワーク & セキュリティ VPC Endpoint対応 ゲートウェイ型VPCエンドポイント経 由でアクセス可能。プライベート接続 を維持。 APIで一時トークン取 1 CreateSession 得 2 トークン有効期限は5分（SDK自動更 新） IAMポリシーでバケット/セッション単 位の権限制御が可能  復帰プロセス (Wake up) 90日間アクセスがないバケットは「非ア 初回アクセス（GET/PUT等）をトリガー クティブ」状態となり、一時的にアクセ に自動復帰プロセスが開始。数分程度で ス不可になります。 利用可能に戻ります。 即時応答が必要なシステムでは、定期的なアクセス（Keep-alive的なハートビート）を検討し 10 / 11 てください。  Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved.

KEY TAKEAWAYS & RESOURCES まとめと参考情報  S3は「強い一貫性」がデフォルト 2020年以降、GET/PUT/LISTを含む全操作で強い一貫性が保証されています。 もはや結果整合性を考慮した複雑なワークアラウンドは不要です。   参考リンク / Resources  Amazon S3 Strong Consistency  Diving Deep on S3 Consistency (Werner Vogels)  Express One Zoneは「超低レイテンシ特化」 S3 Standardの置換ではなく、ML学習やリアルタイム分析など、ミリ秒単位の 速度と高スループットが求められるホットデータ向けの最上位クラスです。 https://aws.amazon.com/s3/consistency/ allthingsdistributed.com/2021/04/s3-strong-consistency.html Amazon S3 Express One Zone  https://aws.amazon.com/jp/s3/storage-classes/express-one-zone/  AWS Black Belt Online Seminar 資料 AWS-Black-Belt_2024_AmazonS3-ExpressOneZone.pdf  実務での選択は「バランス」重視 レイテンシ（速度）、可用性（マルチAZ vs 単一AZ）、コスト（保存 vs リクエス ト）、機能制約の4要素を比較し、ワークロードに最適なクラスを選択してくだ さい。 Copyright © 2024 Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank You! 11 / 11

• https://aws.amazon.com/s3/consistency/
• https://www.allthingsdistributed.com/2021/04/s3-strong-consistency.html
• https://aws.amazon.com/jp/s3/storage-classes/express-one-zone/
• https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_AmazonS3-ExpressOneZone_0531_v1.pdf