FineDataLink实战案例分享【2024-08-01周】

楼主
我是社区第567266位番薯,欢迎点我头像关注我哦~

1、FDL最佳实践

1.1 导出管道任务中来源表及对应的目标表信息

应用场景:

用户的管道任务实现上百张表的实时同步,且存在部分来源表和目标表的表名不同、多张来源表同步到一张目标表等情况,导致用户在管理来源表和目标表的对应关系时(例如重构任务)较为困难。

参考文档:

详情请参见:导出管道任务中来源表及对应的目标表信息

2、FDL功能使用指导

2.1 补数据示例

应用场景:

用户设计的定时任务取数逻辑为:每天抽取当天调度时间往前推 24h 内的数据,汇集到目标数据库。

节假日期间 3 天,系统宕机,定时任务没有运行,导致目标数据库缺少 3 天的数据。

参考文档:

详情请参见:补数据示例

2.2 API取数使用说明

FDL 提供两个功能进行接口取数,区别如下:

功能 说明
数据同步-API功能 若接口返回值为较简单的 JSON 格式,不需要复杂的解析处理,可参考本文进行接口取数
API输入 算子 若用户希望取出 API 数据后做进一步的数据处理,此时,「数据同步-API」功能不能满足需求。需要使用 API输入 算子接口取数后,再继续使用其他算子对接口数据进行处理

本文介绍这两个功能在实际场景中如何使用。

详情请参见:API取数使用说明

2.3 数据开发能力说明

本文为您讲述 FDL 的数据开发模块可以做什么。

详情请参见:数据开发能力说明

2.4 数据连接使用说明

FineDataLink 的数据开发、数据管道、数据服务、库表管理模块支持连接多种数据源进行数据的处理操作。

在使用 FineDataLink 处理、同步数据前,您需要先定义数据连接,以便在执行数据处理操作时,通过「数据库>数据连接名称>数据表」,来确定数据的读取和写入位置。

本文为您介绍配置数据连接时,您需要了解的信息。

详情请参见:数据连接概述

 

 

 

 

 

分享扩散:

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

0回帖数 1关注人数 2180浏览人数
最后回复于:2024-8-1 16:03

返回顶部 返回列表