此功能建立全面的审计跟踪机制,可追踪数据从数据摄取点、经过转换阶段,直至最终存储库的整个流程。它使数据工程师能够验证数据源的完整性,检测未经授权的修改,并通过记录存储生态系统中的每一次访问和修改事件,以确保符合法规要求。
系统在数据初始导入阶段启动溯源映射,在原始数据源进入处理流程之前,捕获与这些数据源相关的元数据标签。
转换阶段会进行记录,用于跟踪模式变更和转换逻辑,确保任何数据结构的变化都会被永久地记录在存储元数据中。
最终交付至存储库时,将触发自动验证检查,以确认所有下游应用都能追溯其数据至经过验证的上游来源。
从原始数据存储库中提取元数据。
在 ETL 过程中应用的地圖转换逻辑。
在数据导入时,将谱系标签注入到存储记录中。
生成不可篡改的审计日志,用于合规报告。
在将记录路由到主存储集群之前,系统会捕获初始源元数据,并根据预定义的规范验证数据模式。
执行 ETL 逻辑的同时,记录所有应用于数据集的模式修改、过滤规则和聚合规则。
维护数据血缘的不可变记录,提供实时查询功能,用于审计追踪和历史溯源验证。