FineDataLink实战案例分享【2024-05-31周】

FDL近期上新一些最佳实践&问题排查&功能使用指导文档，快来看下吧!!!

若觉得FDL应该补充XX文档，可私聊告诉小编，若采纳有F币奖励哟

1、客户案例

JSON解析前过滤出不合法的数据

应用场景：

大数据量场景下的 json 数据解析，存在问题如下：

• 如果存在几条不合法的 json 格式数据，解析时会导致整个定时任务运行终止。

• json 解析是数据处理过程，定时任务的脏数据容忍没办法排除 json 不合法数据对任务的影响。

用户希望：

• 过滤出不合法的 json 格式数据，使其不影响定时任务的运行。

• 大数据量场景下，快速找出不合法的 json 格式数据。

参考文档：

详情请参见：JSON解析前过滤出不合法的数据

多个简道云子表单增删改输出

应用场景：

用户想要将数据库系统数据输出到简道云多个子表单中，实现子表单数据的新增、更新和删除。

简道云表单改动前后变化：

注：需要保证主表单数据是不重复唯一的，且子表单是单条的。

参考文档：

详情请参见：多个简道云子表单增删改输出

2、功能使用指导

分类	说明	文档
数据连接	★★★★★ 配置 星环 TRANSWARP INCEPTOR 数据源、Hive 数据源 时，存在设置项 HDFS 地址 本文将介绍确定 HDFS 地址中设置 IP 和端口的方法	确认HDFS地址中的IP和端口
工程运维	本文提供 Linux 系统中，关闭和重启 FDL 工程的方法	关闭或重启FineDataLink工程
	FDL 工程的端口默认为 8068，若部署 FDL 工程前，8068 端口被占用，将无法成功启动 FDL 工程，本文介绍如何查看端口是否被占用	端口占用查看
功能使用指导	定时任务、管道任务中，介绍物理删除、逻辑删除以及他俩的区别	物理删除和逻辑删除的区别
	★★★★★ 数据管道和数据开发的区别，便于用户快速理解这俩模块	数据管道与数据开发区别
	★★★★★ 介绍参数在FDL中的应用场景、定时任务中如何配置和使用参数	参数在FDL中的典型应用场景 如何配置并使用参数
	★★★ 管道任务运行后，用户常常有以下问题： 我的工程最多能同时运行多少个管道任务 管道任务手动暂停、异常终止后怎么处理 管道任务运行后，怎么新增/删除表 原任务无法运行，需要重新配置任务，进入编辑任务界面，发现某设置项不能修改怎么办 怎么处理脏数据 怎么查看管道任务日志 本文为您解答这些问题	数据管道运维指导
	★★★★ 数据服务、数据管道模块的简单示例，帮助用户快速了解这俩模块的使用及效果	数据服务示例 管道任务示例
	★★★★★   介绍数据管道功能的使用流程；数据管道中，不同场景下的同步逻辑	数据管道使用说明

3、问题排查

说明	文档
XML 解析相关的报错及解决方案	XML解析问题排查
JSON 解析相关的报错及解决方案	JSON解析问题排查
管理系统使用相关的报错及解决方案	管理系统问题排查
数据转换、数据服务的常见问题整理	数据转换FAQ 数据服务FAQ

4、历史方案

FineDataLink实战案例分享【2024-03-04周】

FineDataLink实战案例分享【2024-05-20周】