前段时间,我们分享了数仓的分层设计、时效性优化以及灵活建设方法,浅讲了当前国内企业在搭建数仓上遇到的问题,最后为大家提供了多源异构数据整合和数据开发的工具——FineDataLink数据集成平台的两大特性。
在直播结束后,收到不少大家关于对接数据源的提问。例如,FDL能调用第三方API接口获取数据吗?能对接SAP系统的数据吗?以及是否能进行数据的写入?
因此本篇我们将详细介绍,FineDataLink作为数据集成工具,能对接哪些数据源,适用的场景有哪些?
FineDataLink从不同数据源进行离线或实时同步,进一步进行转换、清洗等操作,向任意目标端进行写入,实现任意数据源的数据互通。
一、已支持的数据源
首先来简单看一下现阶段(2023.5)FineDataLink支持的数据源类型。按照不同的维度,大致划分如下:
-
关系型数据库:MySQL、Oracle、SQL Server、PostgreSQL、SQLite、HSQL、IBM DB2、Informix
-
大数据类:SAP HANA、Hadoop Hive、Impala、ClickHouse、Presto、Greenplum、Greenplum(并行装载)、HP Vertica、Doris
-
国产数据库:达梦、人大金仓Kingbase、华为GaussDB 200、南大通用Gbase 8A
-
-
-
文件类数据源:FTP/SFTP文件服务器、Excel、CSV
-
接口类型:RestAPI、WebService、简道云、SAP RFC
-
FineDataLink目前已支持七大类型、30+种数据源(API接口统一算一种),覆盖大部分版本和主流认证方式,已支持的数据源如下图所示:
这些数据源由FineDataLink的统一数据连接模块对接,然后选择离线或实时同步模块,进行数据集成。
详情:FineDataLink支持的数据源-帮助文档
1、数据复制
技术原理:基于日志的结构化数据复制技术,不依赖源数据库的触发器或者规则,能以极少的系统开销实现秒级数据实时增量同步复制。
应用场景:跨地域跨业务数据实时同步、数据备份、云上数据快速下云备份。
详情:告别T+1,迈出全链路实时第一步!
2、数仓搭建
技术原理:基于ODS、DWD、DWS、ADS和DIM分层设计,通过数据对接、API对接、数据关联、比对更新等数据开发过程,配合任务调度依赖、定时调度配置等完成数仓建设。
应用场景:整合多源异构数据,基于业务进行企业级数据仓库搭建,提升数据使用质量,以解决业务频繁拿数以及自主分析需求。
详情:数仓介绍直播
过往案例:
应收账款周转率翻倍!沈阳电信工程局利用简道云+FR+FDL+数知鸟的帆软全家桶工具,释放数据的潜藏价值!
安特威 | 年入过9亿,这家阀门制造企业如何用帆软全套产品建设高时效BI体系
实时大数据时代,看制造业龙头—惠科如何实现“智造”升级的?
3、基于API的企业数据资产
技术原理:通过SQL语句,快速将加工、融合后的多源异构数据封装成规范化API发布,全面兼容主流数据库,普通工程师通过浏览器、无需原厂商配合,即可完成分钟级别API接口数据发布。
应用场景:
|