4.0.26 FDL版本发布更新 数据源新增适配MaxCompute、文件输出,支持任务复制、超...

楼主
我是社区第1753786位番薯,欢迎点我头像关注我哦~

4.0.26 版本已发布,本次更新内容为:

1、【数据源】定时任务支持MaxCompute读取

2、【功能】定时同步支持直接文件输出

3、【功能】 定时和管道任务支持失败重跑

4、【功能】定时任务&API支持复制

5、【功能】FDL支持在Weblogic和WAS上部署
 

一、新增数据源

1、MaxCompute

MaxCompute 是一种快速、完全托管的 TB/PB 级数据仓库解决方案,常作为企业的数据仓库。

为了使得MaxCompute中数据发挥更大的价值,此次适配使得MaxCompute能快速便捷连接外部SaaS应用、通讯工具等,完成业务数据的集成、传输。

  • MaxCompute架构

IMG_256

  • 基于MaxCompute进行数据开发

IMG_257

  • MaxCompute数据连接

IMG_258

 

2、文件输出

Excel/CSV等文件数据,在ETL/ELT场景中多作为数据源输入,但部分场景下需要作为输出,将数仓数据库的数据到导出为文件(本地服务器或者是指定FTP/SFTP服务器上)。

文件输出这一功能,使得来自于任一数据源(数据库、API、SaaS应用等)的数据直接或者是经过处理后,输出到Excel/CSV。常见场景

① 数据定时、批量以文件形式存档

② 系统数据维护,将其他系统的数据导出,再通过excel导入更加方便

③ 需要将加工好的数据(甚至是大数据量)通过文件形式分享给业务人员使用、分析

④ 系统数据交换,强制需要以文件形式下发数据给其他业务系统使用

  • 文件输出配置

IMG_259

 

二、任务管理

1、定时任务&API支持复制

在ETL/ELT任务开发过程中,经常会遇到任务相似性极高的情况,为了方便进行快速配置,此次更新支持用户自行进行任务复制

常见场景:

① 任务流程相似度高,通过复制任务更改部分配置项即可使用② 管理员建立标准模板,普通开发人员复用标准模板

  • 数据开发-任务复制

IMG_260

  • API数据服务-任务复制

IMG_261

 

2、任务支持超时限制、失败重跑

因为网络原因(网络原因导致的临时数据连接中断、配置库连接中断等)而导致的中断任务,任务可设置自动重跑超时限制,减少因为网络原因而导致的人工检查工作量。

  • 数据开发-超时限制、失败重试配置项

IMG_262

  • 数据管道-失败重试配置项

IMG_263

 

 

详情:4.0.26更新日志- FineDataLink帮助文档 (fanruan.com) 

 

点击此处,直接体验

 

若有企业试用需求,请填写此申请表单,我们的工作人员会在3个工作日内联系您!

分享扩散:

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

0回帖数 1关注人数 3008浏览人数
最后回复于:2023-7-20 13:58

返回顶部 返回列表