张宇(提问者) 1000个帆软模板（用了1000个数据库表）数据集都是用复杂的sql写的，预览速度慢，想用数据仓库实现，那么在数仓中也要对应建1000张数据库表吗？

回复

2022-09-10 14:23 

取消 回复

weibw 回复 张宇(提问者) 理论上是这样的，因为尽可能讲计算留在ETL过程中，而不是在展示时计算，只有这样在报表查看的时候才会最快

回复

2022-09-10 14:29 

取消 回复

张宇(提问者) 回复 weibw 在数据仓库中建表和在源数据库建表一样吗？

回复

2022-09-10 14:52 

取消 回复

weibw 回复 张宇(提问者) 不一样的，从正常的设计来讲，是禁止在源数据库即业务数据库中创建用于外部系统分析的报表的。因为这些报表的计算是需要占用资源的，如果你将BI分析的表建在源数据库中，在报表查询时会对业务系统造成计算压力，有可能会影响到业务系统的正产运行。而数仓一般是专为数据分析创建的数据库，所以他本身的核心功能就是报表系统的查询。所以我们更多的时候是将业务系统的数据原封不动风的抽到数仓中，这一层就是贴源层ODS。然后根据贴源层的数据进行过滤清洗，这一层叫DWD，然后再针对多张表的汇总统计叫DWM，最后以报表的最终格式呈现的叫ADS。关于数仓建模理论，你可以搜一下百度的帖子，基本上大同小异。

回复

2022-09-10 18:18 

取消 回复

张宇(提问者) 这俩都跟回写功能差不多是吧

回复

2022-09-10 11:02 

取消 回复

CD20160914 回复 张宇(提问者) 数据量小。都是一样的。但是处理数据量多。而且逻辑复杂的时候用kettle吧。不要纠结了，先百度kettle的功能是什么

回复

2022-09-10 11:05 

取消 回复

张宇(提问者) 回复 CD20160914 我有1000个帆软模板，1000个数据库表，要在kettle建1000个任务？在数据仓库建1000个表？字段也要一致？

回复

2022-09-10 11:06 

取消 回复

CD20160914 回复 张宇(提问者) kettle作业里面可以加N个转换。一个转换里面可以写多个不同的表。。。1000个任务多吗？我们随便一个业务模块的任务都 有2W+，，字段不一样。你先说如何插入数据。。

回复

2022-09-10 11:17 

取消 回复

张宇(提问者) 回复 CD20160914 在数据仓库建1000个表？字段也要一致？和源数据库表一致？

回复

2022-09-10 11:35 

取消 回复

还有2条评论 点击查看

评论