ス_MODULE
データパイプラインおよびETL

スキーマの進化

データパイプライン内で、スキーマの変更を自動的に管理し、継続的な統合と、データ構造の進化に対応した、ダウンタイムゼロの移行を実現します。

Medium
データエンジニア
Man examines glowing data connections between server racks using a handheld tablet device.

Priority

Medium

Execution Context

この機能は、データライフサイクル全体にわたるスキーマ変更を自動的に処理します。ソースまたはターゲットテーブルの構造変更を検出し、互換性を検証し、ダウンストリームの利用者に影響を与えずに、安全な移行戦略を実行します。過去および未来の互換性を検証することで、データの整合性を確保しつつ、エンタープライズデータセットの動的な進化をサポートします。

システムは、カラムの追加やデータ型の変更など、データソースの構造変更を継続的に監視します。

変更が検出されると、システムは移行処理を実行する前に、互換性に関するルールを評価します。

移行作業においては、既存システムと新システムの両方のスキーマを並行処理することで、サービスの中断を最小限に抑えます。

Operating Checklist

ソースまたはターゲットテーブルにおけるスキーマ変更を検出します。

アプリケーションの契約条件に対する互換性を検証する。

後方互換性を維持した変換ロジックを実行する。

データ整合性を検証し、メタデータを更新する。

Integration Surfaces

ソースデータ検出

受信データストリームの自動スキャンにより、スキーマの変更やバージョンアップを検出します。

互換性検証

新しいフィールドが、既存のアプリケーションの動作やクエリに影響を与えないことを確認するための論理チェック。

移行実行

データ構造の体系的な変更を行い、データ整合性に問題が発生した場合にロールバック機能を備えています。

FAQ

Bring スキーマの進化 Into Your Operating Model

Connect this capability to the rest of your workflow and design the right implementation path with the team.