一招解决各种指标计算过程复杂大难题！

张·疏影横斜·奥特曼·朵拉 · FineReport产品运营

又到了一年年终做总结做预算的时候，该做的事情和往年一样一个也跑不了，但是今年我有神器推荐给大家~

可以帮助大家解决指标计算过程复杂，指标口径不统一等难题、并且后续可持续复用，同时还能提升报表预览速度，提高性能。

你猜到我说的是什么神器了吗，没错！就是使用我们帆软ETL作业和填报功能完成数据中间库/数据仓库的搭建，完善高可用的数据底层为后续数据/指标使用打下坚实的基础，

数仓建设可参考以下方法论：

1. ODS层-操作数据存储

数据特点：
1. ODS全称是Operational Data Store，即操作数据存储；本层数据，一般会按照来源业务系统的分类方式而进行分类，在ODS数据存储层中，我们不会对数据模型进行修改，会维持原有的数据模型不变；
2. ODS层数据的关键特点是全面，所以我们需要将各类数据源，诸如：Excel文件数据源、业务数据库数据源、网络接口数据源，所有后续需要使用到的数据源都装入ods层；
3. 若我们发现个别业务数据表有缺失字段或部分字段没有具体值，此时需要采用FineReport的填报补录功能，将缺失的数据及时补充至ods层；除此以外，我们需要对对没有时间戳的数据表增加时间戳，记录数据的更新时间。
数据表、ETL任务命名规范：ODS_来源_业务库原始表名，比如：ODS_OA_SALES。

数据特点：DW全称是Data Warehouse，即数据仓库，是数据仓库的主体。DW层将ODS层中获得的数据按照主题建立各种数据模型。在这里，我们需要了解四个概念：维度（dimension）、事实（Fact）、指标（Index）和粒度（ Granularity）。但是我们需要知道DW的数据应该是由ODS（各业务系统数据）的数据经过清洗、合并后得到的，其主要分为事实表（FACT）和维度表（DIM）。在DW层，同一个属性，只能被一张表唯一定义，即维度一致性。且DW所有的数据理论上均应该可以直接使用，而不用考虑其数据来源、数据统计口径、数据是否正确。

数据特点
1. DWD层的关键工作包括以下内容：业务相关表关联、数据清洗、数据口径统一：
  1. 业务相关表关联：DWD层最关键的工作是将ODS层数据按照业务主题进行重组，存储一致的、准确的、干净的数据，但是需要保留和明细数据意愿的数据维度；
  2. 数据清洗：ODS层数据装入DWD仓层时，需要进行数据清洗，比如：清除无效数据（删除业务系统中明显偏离正常水平的数据）、清除重复数据（业务系统数据表的主键、用户ID等信息只保留一份即可）、空值处理（后续数据应用中，null值处理难度大，一般会将null值调整为0）；
  3. 数据口径统一：DWD层数据需要进行数据规整，当某一字段在各个业务系统的口径不统一时，我们需要和业务团队进行充分沟通，对以哪一个业务系统口径为标准达成统一，再形成DWD层的数据字典；
数据表、ETL任务命名规范：DWD_主题缩写_表义，比如：DWD_SC_CUSTOMER。

数据特点
1. DWS层数据是基于DWD层数据进行过滤计算得到的基础指标表，需要保留更少的统计维度，比如只有：人、部门、公司等
2. 后续的ADS层和报表应用的指标，会基于DWS层指标经过二次加工获得，所以我们需要DWS层指标的全面性、准确性，同时根据MECE原则，所有基础指标需要相互独立，即C基础指标不能由A基础指标和B基础指标计算得出。
数据表、ETL任务命名规范：DWS_主题缩写_表义，比如：DWS_SC_CUSTOMER。

数据特点
1. DM全称为Date Market，即数据集市或宽表。DM层为面向最终应用的主题层，一般依据前端报表/业务包需求进行设计，所以DM层表不需要考虑复用，每一张DM表仅为一张报表所服务；
2. 我们需要对DWS层的基础指标进行加工，比如：①基础指标关联维度表；②多个基础指标计算得到衍生指标，并且将报表中需要应用的多个指标都梳理至同一张数据表内，生成字段比较多的宽表，用于提供后续的业务查询，其主要作用是提升报表查询性能。
数据表、ETL任务命名规范：DM_主题缩写_表义，比如：DM_SC_HR_MONTH_REPORT。

年终信息部门工作对外透明场景可参考：https://bbs.fanruan.com/thread-137647-1-1.html

若用户对插件功能或解决的需求场景有疑问，可扫码添加工作人员进行沟通

归海心一 · 发表于 2021-12-6 10:44:31

test1002 · 发表于 2021-12-24 10:22:42

2回帖数	1关注人数	3946浏览人数
最后回复于：2021-12-24 10:22