数据模型、数仓与 AI-Ready 数据
数据工程 / 数据模型 / AI 数据准备聚焦 Agent 使用的数据怎样被采集、分层和组织,以及传统数据资产怎样从面向报表进一步转向 AI-Ready。
10 条术语
数据仓库
数据仓库是面向主题、集成、相对稳定、反映历史变化的数据集合,通过 ETL 把多源数据清洗整合,支撑报表与分析。
ETL
ETL 是把数据从多个源系统抽取(Extract)、转换(Transform)、加载(Load)到目标存储的流程,为分析提供统一可用的数据基础。
数仓分层 DWD/DWS/ADS
DWD/DWS/ADS 是企业数仓常见的分层建模方式。
DWD 明细层
DWD 是数据仓库分层中的明细数据层,保存经过清洗、规范但仍保留最细业务粒度的事实数据,是 DWS 汇总层、ADS 应用层的上游基础。
维度建模
维度建模是数据仓库领域以事实表和维度表组织数据的建模方法,常见的有星型模型和雪花模型,便于多维分析和聚合查询。
EAV 模型
EAV(实体-属性-值)模型是一种把"实体、属性、值"拆成行存储的表结构,常用于属性高度可变、稀疏的业务场景——一行记录一个实体在某个属性上的取值,而不是用宽表为每个属性预留一列。
父子模型
父子模型是一种用于表达"主表-子表"层级或一对多从属关系的表模型,例如订单与订单明细、合同与合同条款、组织与下级组织。
指标配置层
指标配置层指把指标口径从 ETL/SQL 代码里"拎"出来、显式声明为可读可配置的一层。
表驱动 vs 问驱动
表驱动与问驱动是两种相反的数据组织范式。
AI-Ready 数据
AI-Ready 数据指结构、语义和口径都已整理到 AI 可以稳定理解和使用的数据状态。