--- title: Databricks の互換モード (compatibility mode) で広がるオープンデータ基盤の可能性 tags: author: [Satoshi ENOMOTO](https://www.docswell.com/user/satoshi_enomoto) site: [Docswell](https://www.docswell.com/) thumbnail: https://bcdn.docswell.com/page/L7182RQ5JG.jpg?width=480 description: Microsoft Data Analytics Day(Online) 勉強会_20251105発表資料 勉強会: https://sqlserver.connpass.com/event/370892/ Qiita: https://qiita.com/satoshi_enomoto published: November 05, 25 canonical: https://www.docswell.com/s/satoshi_enomoto/ZLVPQG-2025-11-05-185949 --- # Page. 1 ![Page Image](https://bcdn.docswell.com/page/L7182RQ5JG.jpg) Microsoft Data Analytics Day(Online) 勉強会 Databricks の互換モード (compatibility mode) で広がるオープンデータ基盤の可能性 発表者：Satoshi Enomoto 2025/11/05 # Page. 2 ![Page Image](https://bcdn.docswell.com/page/G7WZR1MW72.jpg) 目次 • 互換モードの概要 • 互換モードのデモ • 互換モードの制限事項 • Microsoft Fabric におけるスキーマ ショートカットとの比較 • Microsoft Fabric における Unity カタログ ミラーリングとの比較 • Iceberg 読み取り有効化（UniForm）との比較 • マネージド Iceberg テーブルとの比較 2 # Page. 3 ![Page Image](https://bcdn.docswell.com/page/4JZ1RPQ2E3.jpg) 互換モードの概要 • Databricks で最適なパフォーマンスを維持しながら、Unity カタログのマネージド テーブル、マテリアライ ズド ビュー、およびストリーミング テーブルを外部システムから読み取ることができる • Delta Lake または Iceberg クライアントからアクセスできる、テーブルの読み取り専用バージョンが自動 的に生成される • 2025/11 時点ではパブリック プレビュー機能 引用元：互換モード - Azure Databricks | Microsoft Learn 3 # Page. 4 ![Page Image](https://bcdn.docswell.com/page/YE6LRMN67V.jpg) 互換モードのデモ：事前準備 • 互換性バージョンのデータとメタデータを保存するためのストレージ（ADLS）を外部ロケーションとして登 録 • ターゲットの場所は空にしておく（他のファイルは置かない） 引用元：互換モード - Azure Databricks | Microsoft Learn 4 # Page. 5 ![Page Image](https://bcdn.docswell.com/page/GE518Z55J4.jpg) 互換モードのデモ：マネージド テーブルの作成 • table_01 を作成する 5 # Page. 6 ![Page Image](https://bcdn.docswell.com/page/9721KRNGER.jpg) 互換モードのデモ：互換モードの有効化 • 以下のようにテーブル プロパティを設定する ✓ delta.universalFormat.compatibility.location で指定する場所は、外部ロケーションとして設定している ストレージ（ADLS） 6 # Page. 7 ![Page Image](https://bcdn.docswell.com/page/DJYZNDPGEM.jpg) 互換モードのデモ：互換モードが有効になっているかどうかを確認 • delta.universalFormat.compatibility.targetRefreshInterval（= 更新間隔）の既定値は 1時間となっている • 手動で更新も可能 7 # Page. 8 ![Page Image](https://bcdn.docswell.com/page/V7N3X65878.jpg) 互換モードのデモ：互換性バージョンのデータとメタデータの確認 • 上図：元の delta テーブル • 下図：互換性バージョンのデータとメタデータ データの圧縮形式が 変わっている Iceberg のメタデータが 作成されている 8 # Page. 9 ![Page Image](https://bcdn.docswell.com/page/YJ998LYXJ3.jpg) 互換モードのデモ：外部クライアントから互換性バージョンを読み取る • Microsoft Fabric のレイクハウスに互換モードのデータが格納されている ADLS のショートカットを作成 Tables のショートカットを 作成するとエラーになる 9 # Page. 10 ![Page Image](https://bcdn.docswell.com/page/GJ898X69ED.jpg) 互換モードのデモ：外部クライアントから互換性バージョンを読み取る • Microsoft Fabric から読み取りができることを確認 10 # Page. 11 ![Page Image](https://bcdn.docswell.com/page/LJLWR89M7R.jpg) 互換モードの制限事項 • 以下の制限事項がある 引用元：互換モード - Azure Databricks | Microsoft Learn 11 # Page. 12 ![Page Image](https://bcdn.docswell.com/page/47M9R6Z6JW.jpg) 互換モードの制限事項 • タイム トラベルは使えそう？ Microsoft Fabric で互換モードの過去バージョンを読み取り 12 # Page. 13 ![Page Image](https://bcdn.docswell.com/page/P7RGRP6NJ9.jpg) 互換モードの制限事項 • 特殊文字（列マッピング）は互換モードだと変換される Databricks でテーブル作成後、互換モードを有効化 Microsoft Fabric で互換モードを読み取り 13 # Page. 14 ![Page Image](https://bcdn.docswell.com/page/PJXXR3M8JX.jpg) Microsoft Fabric におけるスキーマ ショートカットとの比較 • Microsoft Fabric のスキーマ ショートカット（Hub ストレージ構成）の概要については以下の記事を ご参照ください ✓ 【総集編】Microsoft Fabric と Databricksをつなぐデータ総合運用術 -hubストレージにDelta Lake形 式で保管する- #MicrosoftFabric - Qiita 14 # Page. 15 ![Page Image](https://bcdn.docswell.com/page/3JKWRYGLJD.jpg) Microsoft Fabric におけるスキーマ ショートカットとの比較 • Databricks で Variant 型の列を持つテーブルを作成して、互換モードを有効化 半構造化データを 保持することが可能 15 # Page. 16 ![Page Image](https://bcdn.docswell.com/page/LE3189N675.jpg) Microsoft Fabric におけるスキーマ ショートカットとの比較 • 元テーブルが保存されている ADLS のフォルダをスキーマ ショートカットに設定 Databricks 元テーブルの 設定内容 Microsoft Fabric でショートカット 作成 16 # Page. 17 ![Page Image](https://bcdn.docswell.com/page/8EDXMGWMJG.jpg) Microsoft Fabric におけるスキーマ ショートカットとの比較 • スキーマ ショートカットの場合、読み取りがエラーとなるが、互換モードの場合、正常に読み取りが可能 ＝ 互換モードは後方互換性が保証されると考えられる スキーマショートカットの読み取りは Variant 型をサポートしていないエラーが発生 互換モードの読み取りは成功（ただし文字列となっている） 17 # Page. 18 ![Page Image](https://bcdn.docswell.com/page/V7PPR39Q78.jpg) Microsoft Fabric における Unity カタログ ミラーリングとの比較 • Microsoft Fabric の Unity カタログ ミラーリング の概要については以下の記事をご参照ください ✓ 【総集編】Microsoft Fabric と Databricksをつなぐデータ総合運用術 -hubストレージにDelta Lake形 式で保管する- #MicrosoftFabric - Qiita 18 # Page. 19 ![Page Image](https://bcdn.docswell.com/page/2JV2R4MPJQ.jpg) Microsoft Fabric における Unity カタログ ミラーリングとの比較 • Unity Catalog ミラーリングの制限事項として、ストリーミング テーブルおよびマテリアライズド ビューはサ ポートされていない ＝ Databricks の Lakeflow 宣言型パイプラインで作成されたデータを Fabric から利用できない 引用元：Azure Databricks からの Microsoft Fabric ミラー化データベースの制限事項 - Microsoft Fabric | Microsoft Learn 19 # Page. 20 ![Page Image](https://bcdn.docswell.com/page/5EGRM1GQJL.jpg) Microsoft Fabric における Unity カタログ ミラーリングとの比較 • Unity Catalog ミラーリングの制限事項として、ストリーミング テーブルおよびマテリアライズド ビューはサ ポートされていない ＝ Databricks の Lakeflow 宣言型パイプラインで作成されたデータを Fabric から利用できない Databricks のカタログ（左図）に存在しているが、Microsoft Fabric のミラーリング（右図）には表示されない 20 # Page. 21 ![Page Image](https://bcdn.docswell.com/page/4JQVRDXW7P.jpg) Microsoft Fabric における Unity カタログ ミラーリングとの比較 • 互換モードではストリーミング テーブルおよびマテリアライズド ビューをサポートしているため、 Microsoft Fabric から利用することが可能 Microsoft Fabric にて互換モードを読み取り可能 21 # Page. 22 ![Page Image](https://bcdn.docswell.com/page/K74M8Z61J1.jpg) Iceberg 読み取り有効化（UniForm）との比較 • Iceberg 読み取りを有効化すると、 Iceberg クライアントが Databricks によって書き込まれた Delta テーブルを読み取れるようになる 引用元：Iceberg クライアントを使用して Delta テーブルを読み取る - Azure Databricks | Microsoft Learn 22 # Page. 23 ![Page Image](https://bcdn.docswell.com/page/LJ182RV5EG.jpg) Iceberg 読み取り有効化（UniForm）との比較 • 以下のようにIceberg 読み取りを有効化 削除ベクトルを無効にして 消去する必要あり 列マッピングが有効に なっている必要あり 23 # Page. 24 ![Page Image](https://bcdn.docswell.com/page/GJWZR1LWJ2.jpg) Iceberg 読み取り有効化（UniForm）との比較 • データは Zstandard 圧縮 Parquet ファイルとなっている • ディレクトリ構造から Iceberg メタデータを確認することができる 有効化前は delta log のみ 有効化後は metadata が作成されている 24 # Page. 25 ![Page Image](https://bcdn.docswell.com/page/4EZ1RPM273.jpg) Iceberg 読み取り有効化（UniForm）との比較 • 互換モードと比較したとき、 ✓ Iceberg の metadata が元テーブルと同じディレクトリに作成される ✓ マテリアライズド ビューまたはストリーミング テーブルはサポートされていない 引用元：Iceberg クライアントを使用して Delta テーブルを読み取る - Azure Databricks | Microsoft Learn 25 # Page. 26 ![Page Image](https://bcdn.docswell.com/page/Y76LRM56JV.jpg) マネージド Iceberg テーブルとの比較 • Databricks では Parquet ファイル形式を使用する Iceberg テーブルがサポートされている • USING ICEBERG で作成が可能 引用元：Azure Databricks の Apache Iceberg とは - Azure Databricks | Microsoft Learn 26 # Page. 27 ![Page Image](https://bcdn.docswell.com/page/G7518ZY5E4.jpg) マネージド Iceberg テーブルとの比較 • ディレクトリ構造を確認すると、 _iceberg フォルダと _delta_log フォルダが作成されている ＝ Iceberg テーブルでも DESC HISTORY など Delta Lake のメタデータ操作が可能 • データは Zstandard 圧縮 Parquet ファイルとなっている 27 # Page. 28 ![Page Image](https://bcdn.docswell.com/page/9J21KRGG7R.jpg) 各機能の特徴まとめ 機能名 外部クライアントからの操作 互換モード ・読み込み専用 ・後方互換性が保証される可能性あり ・ストリーミング テーブル/マテリアライズド ビュー対応 ・更新間隔あり（ただしストリーミングテーブル/マテビューの更新間隔は0が既定） Microsoft Fabric スキーマショート カット（Hub ストレージ構成） ・読み込み/書き込み可能 ・後方互換性が保証されない ・リアルタイムに更新 Microsoft Fabric の Unity カタロ グ ミラーリング ・読み取り専用 ・ストリーミング テーブル/マテリアライズド ビュー未対応 Iceberg 読み取り有効化 （UniForm） ・読み取り専用 ・ストリーミング テーブル/マテリアライズド ビュー未対応 ・metadata が元テーブルと同じディレクトリに作成される マネージド Iceberg テーブル ・読み込み/読み取り専用 ・metadata が元テーブルと同じディレクトリに作成される 28 # Page. 29 ![Page Image](https://bcdn.docswell.com/page/DEYZNDVG7M.jpg) ご清聴ありがとうございました！