|
FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！
1、产品新功能
新增分组汇总算子
新增「分组汇总」算子，对原始数据根据条件将相同的数据先合并到一组，然后按照分组后的数据进行汇总计算。如下图所示：
Ø 详情请参见：分组汇总算子
新增字段拆行、字段拆列算子
用户可用可视化的配置方式实现按分隔符对数据的行列拆分，避免写大量 SQL ，提升数据处理效率。
1）新增「字段拆行」算子，字段值按照特定规则（分隔符）拆分，拆分后的结果形成新的一列字段和值。如下图所示：
Ø 详情请参见：字段拆行
2）新增「字段拆列」算子，字段值按照特定规则（分隔符或字符数）拆分，拆分后的结果形成新的多列字段和值。如下图所示：
Ø 详情请参见：字段拆列
定时任务支持调用数据库存储过程
数据源是 MySQL、Oracle、SQLServer ，定时任务的SQL脚本、数据同步、数据转换>DB表输入、参数赋值中支持调用数据库存储过程。如下图所示：
Ø 详情请参见：定时任务调用数据库存储过程
读取、创建、写入分区表
详情请参见：读取、创建、写入分区表
1）数据写入Hive、星环 TRANSWARP INCEPTOR数据库时，支持创建、写入分区表。如下图所示：
2）支持读取 PostgreSQL 数据库的分区表。
定时任务支持直接选表功能&并发读取功能
「数据源」中选择DB表输入类型时，支持直接选表功能，用户可在下拉框中选择某张数据库表读取数据，且能为这张表添加过滤条件。
使用直接选表功能，才可开启并发读取功能。在数据量很大时，开启「并行取数」，可提高读取数据的速度。
如下图所示：
Ø 详情请参见：数据同步功能说明
将BI公共数据作为数据连接
FineBI 和 FineDataLink 中支持新建「远程公共数据」数据连接。
配置需要远程访问的 FineBI 工程后，可在 FineDataLink 定时任务「数据同步」「参数赋值」「DB表输入」、数据服务（仅支持独立部署环境下）中作为数据源读取数据使用。如下图所示：
Ø 详情请参见：配置远程公共数据源
提供通用JDBC对接取数和执行SQL的能力
当用户想要使用FineDataLink支持的数据源以外的其他的 JDBC 类型数据库作为 FineDataLink 中的定时任务数据源进行SQL 取数和执行 SQL等操作，可以使用该插件。
Ø 详情请参见：通用JDBC取数插件
API输入自带分页取数功能
需要使用 FineDataLink 取出 API 数据时，由于数据量限制或者接口响应时间，有时需要分页取数。FineDataLink 提供了 API 分页功能。如下图所示：
Ø 详情请参见：API输入-分页取数
数据服务支持更多数据源
数据服务API支持发布Starrocks、GaussDB、MaxCompute数据源。
Doris、StarRocks 作为写入端，支持自动建表
管道任务&定时任务中，Doris、StarRocks 数据源作为写入端，支持自动建表。如下图所示：
Ø 详情请参见：配置管道任务-表字段映射、数据同步功能说明
更多功能
2、最佳实践
以起始行数作为参数的API接口取数
应用场景：
从 金蝶 k3Cloud 系统接口 进行分页报表取数时，接口中没有提供页码参数，因此不能使用API取数-按页数取数方案。
但是接口中会返回所取数据的总行数，且接口请求参数中有开始行索引参数（从哪一行开始取数）、返回行数限制参数。
参考文档：
Ø 详情请参见：API取数-以起始行数作为参数
API取数-钉钉获取部门用户信息
应用场景：
用户想要同步钉钉通信录中的用户信息。
API取数-获取部门通讯录数据 中获取钉钉用户信息的方案，只适用于部门下用户数量不超过 100 的场景；若某部门中用户数超过 100，可参考本文方案获取用户信息。
参考文档：
Ø 详情请参见：方案二
数仓拉链表（来源表数据大于10000）
应用场景：
数仓拉链表 文档中提供的方案，使用「参数赋值」节点将来源表中的 ID 字段输出为参数，但「参数赋值」节点要求输出的参数不能超过 10000 个，若来源表数据超过 10000 条，该方案将不适用。
本文提供数据量较大场景（来源表数据超过 10000）下拉链表的实现方案。
参考文档：
Ø 详情请参见：数仓拉链表（来源表数据大于10000）
| 
