FineDataLink文档月刊【2023年7月】

FineDataLink 产品月报汇集了每月的产品更新、最佳实践以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！

1、产品新功能

7月 FineDataLink 发布 4.0.24 版本和 4.0.26 版本。详情可参见：4.0.24更新日志、4.0.26更新日志

数据服务正式上线

数据服务提供数据共享能力，可以将加工、融合后的数据封装发布为规范化 API 接口数据，供外部系统调用，实现数据价值输出及共享开放。

Ø 详情请参见：数据服务概述

支持将数据输出为文件形式

数据同步节点中：数据去向中可选择 FTP/SFTP 和服务器本地目录，可将数据输出为文件形式。若数据不需要进行复杂处理加工，可在数据同步节点中实现。

数据转换节点中：「文件输出」算子可将处理后的数据输出到指定目标与路径的结构化文件中。

Ø 详情请参见：文件输出

文件输入优化

在使用文件输入读取和处理文件数据时，会出现如下问题：无法批量读取文件夹下的多个同格式文件；文件字段类型采样不准确时，无法校准输出字段类型；无法跳过CSV头部包含特定的文件信息读取后面的数据。无法读取 TXT 格式文件；无法忽略文件后缀名大小写。

优化后支持以下功能：

Ø 详情请参见：文件输入

• 支持批量读取同格式的Excel和CSV文件。可以批量读取文件夹下同格式的所有文件，提升读取文件的效率。

• 支持 Excel 和 CSV 文件自定义输出字段类型。当文件字段类型取数不准确时，用户可以校准输出字段类型，提升文件取数质量。

• 支持CSV文件跳过前N行取数。当使用 SAP 应用定时导出的CSV头部包含特定的文件信息，需要跳过后读取后面的数据时，可以选择此设置项读取文件。

• 支持TXT文件读取，选择 CSV 类型支持 TXT 文件读取。

• 支持忽略后缀名大小写读取，不需要手动修改文件后缀即可自动识别读取，更加便捷。

定时任务支持失败重跑和超时限制

定时任务「调度配置」中，新增「超时限制」和「失败重试」功能。

失败重试：由于当时的网络波动或者其他原因，导致任务运行中断，过段时间重新运行任务即可成功执行。针对此场景，可在「失败重试」中设置重跑次数和两次重跑之间的间隔，任务在失败之后会进行自动重试。

超时限制：当一个任务长时间运行，该任务可能属于非正常状态，且会导致资源的占用。针对此场景，可在「超时限制」中配置任务的超时时间，运行时间超过设置的时间后正在执行的任务会被强制杀死。

Ø 详情请参见：定时任务调度配置

管道任务支持失败重跑

若管道任务由于当时的网络波动或者其他原因，运行中断，过段时间网络即可恢复正常，希望管道任务可自动重新运行。可在「失败重试」中设置重跑次数和间隔时间。

Ø 详情请参见：设置管道控制

定时任务和数据服务支持复制

适用场景：

• 任务流程相似度高，通过复制任务更改部分配置项即可使用。

• 管理员建立标准模板，普通开发人员复用标准模板。

为便于用户进行任务开发，支持复制定时任务和 API 任务。

Ø 详情请参见：数据开发界面介绍、服务运维

支持在 WebSphere 和 Weblogic 中部署

为满足用户多种部署方式，FineDataLink 支持在 Weblogic 和 WebSphere 容器中部署。

Ø 详情请参见：FineDataLink部署概述

定时任务支持 MaxCompute  数据源

定时任务支持读取 MaxCompute 数据。

Ø 详情请参见：配置MaxCompute数据源

支持 StarRocks 数据源

• 支持使用 StarRocks 数据库作为「数据开发」定时任务的读写端；

• 支持使用 StarRocks 数据库作为「数据管道」管道任务的写入端；

Ø 详情请参见：配置StarRocks数据源

支持 TRANSWARP INCEPTOR 数据源

支持使用星环 TRANSWARP INCEPTOR 数据库作为「数据开发」定时任务的读写端；

Ø 详情请参见：配置TRANSWARP INCEPTOR数据源

2、最佳实践

SparkSQL构建日期序列取数

在 API 取数中有时需要日期序列作为 body 值输入（例如 body 中使用 date 值按照日期依次取出当月1号到任务运行当天中每天的数据）此时就需要构建自定义开始时间为当月1号，结束时间为任务运行当天的日期序列。

用户当然可以使用 SQL 语句构建日期序列，但 SQL 语句受数据库语法限制各有不同，不够通用，因此提供使用 SparkSQL 算子构建日期序列的通用方式。

Ø 详情请参见：使用SparkSQL构建日期列并循环取数

API取数-企业微信通讯录同步快速取出微信成员信息

API取数-获取企业微信人员信息 可以将自建应用的企业微信人员信息数据从接口中取出。

但如果用户只是想要将「通讯录同步」的企业微信人员 userid 和 department 信息从接口中取出，则可以有更简便的方式。

 

可以使用 获取成员ID列表 接口直接获取用户的 userid 和 department 数据。

Ø 详情请参见：API取数-使用通讯录同步获取企业微信userid和部门

3、文档活动

所有活动奖励都以 F币形式发放（1F 币=1 元），F币可在 帆软商城 兑换周边京东卡，也可以直接提现哦，积少成多大家积极参与呀~

文档满意度调研（3F币）

为了给您提供更便捷高效的帮助文档，我们诚邀您参与此次问卷调研，参与到帮助中心的建设中来

您的建议和意见将成为我们努力和改进的方向，问卷填写戳这里：FineDataLink文档内容调研

完成后可通过接取 社区任务 获得 3F币 奖励哦~

文档反馈活动

截止到 2023 年 5 月 1 日，FineDataLink 文档已有 18 万+的阅读量和 9000+ 的用户覆盖，帮助许多用户学习和解决问题。然而，我们也认识到文档内容仍需要不断补充和优化，以便更好地满足用户的需求和期望。

我们希望收集大家的建议，共同为创建更加细致、完备、实用的文档下一番努力，让更多人更快更好地了解 FineDataLink 产品，更好地解决问题。

参与方式：

• FineDataLink场景收集-最高150F币

• FineDataLink文档搜索反馈-最高10F币

• FineDataLink文档问题反馈-最高150F币