FineDataLink文档月刊【2023年11月】

知识库

FineDataLink 产品月报汇集了每月的产品更新、客户案例以及文档活动，通过产品月报，您可以快速学习本月的新知识、新内容！

1、产品新功能

支持设置业务日志-诊断日志的级别

业务日志-诊断日志介绍：

记录各业务模块使用过程中产生的过程日志。

对于FDL，包括：

数据管道：读写过程日志\异常和错误日志。
定时任务：读写过程日志\异常和错误日志。

1）可为管道任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。如下图所示：

Ø 详情请参见：配置管道任务-管道控制

2）可为定时任务单独设置日志输出级别，满足用户按需查看日志、调试和排错的需求；可以在更细粒度的日志等级里，打印详细的日志，供用户查看。如下图所示：

Ø 详情请参见：定时任务调度配置

3）可统一为定时任务和管道任务设置日志输出级别。如下图所示：

4）日志输出内容优化：

增加：实例等待运行日志的打印。
增加：INFO级别，打印更加详细的日志，包括参数值、执行脚本、API请求、API分页取数。
优化：明确各条日志的等级，将日志级别打印到日志中。
读数类节点，统一增加删除数据的统计。

Ø 详情请参见：运行日志介绍

支持手动/自动清理任务运行记录

任务的运行记录在持续累加，大量的运行记录，导致任务运维界面打开时卡顿严重，并且一些无价值的数据干扰用户分析，期望支持清理。

操作日志和业务日志支持手动/自动统一清理。如下图所示：

本版本可清理管道任务的运行记录、数据服务的调用记录。Ø 详情请参见：日志简介

过滤/条件分支里的判断逻辑统一和优化

优化前：

1）各个功能内的判断逻辑不一致，且与 FineBI 里的过滤判断逻辑也不一致，包括：

「数据过滤」-添加条件 &「数据分发」-分发条件。
「条件分支」-添加条件 &「循环容器」-执行条件-配置条件。
「简道云输入」-筛选条件。
「MongoDB输入」-条件查询-配置条件。

2）存在一些逻辑偏离大众理解。

优化后：

1）统一产品内判断逻辑。

2）修正不合理的逻辑。

详情请参见：条件判断逻辑说明

定时任务API对接取数优化

优化前：

API 输出不支持 PATCH 方法。
postman 不可以添加自签名证书。
不支持设置调用 API 的时间间隔。
当一次循环执行抛错，整个循环都会停掉，但用户希望能够继续执行。

优化后：

1）完善 API 调用的能力，比如：

自签名证书
解析 header 信息
自定义编码等

2）优化循环调用场景下的问题，比如：

大数据量循环调用
访问 API 频率控制
分页读取 API

具体优化内容：

1）若用户有自签名证书，可开启自签名证书。并手动上传证书并输入密码。如下图所示：

Ø 详情请参见：数据同步-API、API输入、API输出逻辑说明

2）当用户设置当前API调用的频率限制时，可在一次执行实例中控制该API的调用频率。如下图所示：

3）API 输出支持 patch 请求方式。Ø 详情请参见：API输出逻辑说明

4）当数据源为 API 时，支持获取 API 响应的 header、body、http 状态码，便于后续将其设置为参数。如下图所示：

Ø 详情请参见：参数赋值节点

5）循环容器支持设置容错机制；当循环容器中有节点报错时（例如API循环取数时取出数据为空），支持继续执行循环。如下图所示：

Ø 详情请参见：循环容器逻辑说明

管道任务支持无主键表的同步

管道任务支持在源表无主键时，在目标表也不配置逻辑主键，实现实时同步。

1）Oracle、GP、SQLServer 数据源作为源表，支持无主键同步。如下图所示：

Ø 详情请参见：配置管道任务-选择数据去向

2）支持对要同步的来源端数据进行管理，筛选无主键或者表配置异常的表。如下图所示：

Ø 详情请参见：配置管道任务-表字段映射

2、场景方案

2.1 电商经营场景

业务背景：

电商经营由于通常涉及多个自营店铺和其他各种分销店铺，销售渠道链路长、各类数据繁杂零碎，数据监控和取用相对困难，因此对数据的管理和整合就显得非常重要。

x电商公司在数据的整合和管理方面，主要遇到两个问题：

1）通过旺店通取数，然后在 Excel 中整合，各部门根据自己的口径进行取数和即时分析，数据口径不统一，出现大量重复工作。

2）由于采用 Excel 做了大量的数据分析，但由于电商数据庞杂，遇到了性能瓶颈限制。

3）电商全平台的分析过程中除了销售额、利润等常见指标，还有一些难以量化和对比的因素，Excel 分析存在瓶颈，无法将货盘趋势整合进来，不能敏锐捕获市场变化，导致对电商数据监控不足，为业务服务不够，数据价值得不到充分的发挥。

解决思路：

要解决上述问题，更好的管理电商经营数据，让数据充分发挥价值，就必须：

将处理好的庞杂的数仓数据统一存储数据库，并提供高性能、能够即时分析的 BI 平台进行数据分析和展示，解决各部门 Excel 分析带来的数据不统一、分析无法溯源、数据无法共享、重复工作多等问题；避免大数据量 Excel 造成的性能问题。
根据数仓数据制作全平台销售库存货盘分析，监控全平台整体销售等情况，敏锐监控市场变化。

因此采取以下方案：

1）优化获取业务数据流程：利用 FineDataLink 数据集成工具，对接旺店通等电商经营数据平台并入库，结合填报的数据，建立数据仓库，助力形成数据分析架构线上化，实现数据口径的统一。

2）搭建数据仓库框架：使用FDL搭建数仓，将各业务系统数据统一梳理到数仓，整合维度表，并建设好DW、DM层的逻辑框架；

3）提供统一的分析平台：提供统一的 BI 分析平台，将数仓处理好的统一口径的数据对外提供，便于业务进行即时分析，避免使用 Excel 带来的性能问题和重复工作，同时可实现数据共享。

解决方案：

文档：电商经营场景

Demo：参见：案例体验

财务收入核算场景

业务背景：

财务是企业发展的关键命脉，企业只有盘算清楚家底，才能打牢经济发展基础。财务数据表现是衡量一个企业发展是否良好的关键指标。

通过有效利用财务数据能够帮助企业了解、控制费用、降低消耗，为企业目标的实现提供根本保证。

财务分析的第一步就是盘点企业的收入。

x原料销售公司财务部门虽然建立了以财务数据为核心的指标导向、以 Excel 为核心建立了一系列报表，完成了简单的数据利用，但由于：

正在使用的数仓搭建工具运维监控管理太差、经常出现财务收入规整数据出错、数仓不稳定的情况，数仓维护困难；
由于收入单据编制工作量大，数据更新不及时，且利用 Excel 进行透视分析，不但步骤繁杂、加载缓慢，耗时耗力；
Excel 、EAS 系统的数据无法溯源，不方便追踪分析问题；
缺乏智能化数据分析平台，数据无法共享。

等等问题，财务收入清算和梳理非常困难，为业务服务不够，数据价值得不到充分的发挥。