在2024年中国数据生产力大赛中，得益于诸多优秀企业客户的支持与分享，我们见证了一系列应用FineDataLink进行数据集成与治理的成功实践案例，真正感受到了FineDataLink为企业数字化带来的价值。   现在，我们很想听听你的数据集成、数据治理经验！   在使用FineDataLink的过程中，你面临过哪些挑战，学会了哪些技巧，解决过哪些实际问题？   分享你的FDL实践案例，赢取多重好礼！ 投稿方式 1、  投稿时间：2024.9.10-2024.11.30   2、  在社区发布符合内容要求帖子，标题开头加上【治数有方 FDL征文活动】标签。   3、  发布后在本文评论区留下文章名称及链接，然后扫描文末二维码加入FDL交流群，参与后续评审和奖励。   4、  同一作者可以投稿多篇文章。 奖项设置 1、  创作先锋奖：最早参与活动的三位用户可以获得帆软周边+额外60F币奖励！   2、  治数良方奖：内容发布后，好数连将从文章可读性、方案应用价值、技术难度等多维度进行评分，结合大众评审投票，选出10篇“治数良方”。优秀内容作者可以获得100F币奖励+DAMA数据治理知识体系课程80元优惠券。   3、  参与即有奖！只要是符合活动要求的文章，都会获得帆软精美周边一份   4、  所有的优秀内容将在帆软社区首页进行展示，开放给广大用户查阅学习。我们会把收到的优质内容汇编成册，并注明原作者，开放给数据开发者下载查阅。 参考示例 基于企业真实需求场景的产品应用案例，详细描述业务场景、问题、解决方案及实施过程。   1、投稿内容字数不少于500字，且必须是与FineDataLink相关的原创内容，抄袭、转载视为无效。   2、文章语句通顺、逻辑清晰、排版整洁，最好有图片或数据做支撑。   3、文章具备一定实用价值，可借鉴、可复用的案例经验会更受大家欢迎！   示例文章：【治数有方 FDL场景回收】示例文章——电商经营实战案例-我的帆软 (fanruan.com) 评选规则 官方评审投票：由好数连团队组成的评审团，将按照下列维度进行打分。   维度 详情 分值 文章可读性 表达通顺、结构清晰、图文并茂、内容详实、贴合主题。 25分 方案实用性 基于真实业务场景，具备借鉴学习价值。 25分 方案创新性 针对当前业务中的痛点，提出创新性的解决方案。 25分 技术难度 技术实现的难度。 25分   注：如果一位作者投稿多篇文章，最终总得分为所有文章得分之和。   扫描下方二维码，加入FDL学习交流群，参与「治数有方」FDL场景回收，和大家分享你的独到见解！ 如果您对本次征稿活动有疑问，欢迎在评论区或微信群留言。  

一、业务场景 电商经营由于通常涉及多个自营店铺和其他各种分销店铺，销售渠道链路长、各类数据繁杂零碎，数据监控和取用相对困难，因此对数据的管理和整合就显得非常重要。 x电商公司在数据的整合和管理方面，主要遇到以下问题： 1）通过旺店通取数，然后在 Excel 中整合，各部门根据自己的口径进行取数和即时分析，数据口径不统一，出现大量重复工作。 2）由于采用 Excel 做了大量的数据分析，但由于电商数据庞杂，遇到了性能瓶颈限制。 3）电商全平台的分析过程中除了销售额、利润等常见指标，还有一些难以量化和对比的因素，Excel 分析存在瓶颈，无法将货盘趋势整合进来，不能敏锐捕获市场变化，导致对电商数据监控不足，为业务服务不够，数据价值得不到充分的发挥。 二、解决方案 2.1 方案概述 针对上述问题，我们提出以下解决方案： 1）优化获取业务数据流程：利用 FineDataLink对接旺店通等电商经营数据平台并入库，结合填报的数据，建立数据仓库，助力形成数据分析架构线上化，实现数据口径的统一。 2）搭建数据仓库框架：使用FineDataLink搭建数仓，将各业务系统数据统一梳理到数仓，整合维度表，并建设好DW、DM层的逻辑框架； 3）提供统一的分析平台：提供统一的 BI 分析平台，将数仓处理好的统一口径的数据对外提供，便于业务进行即时分析，避免使用 Excel 带来的性能问题和重复工作，同时可实现数据共享。 2.2 关键步骤 （清晰易懂的表格和图片是加分项哦！） （1）使用 FineDataLink 搭建数仓 任务核心是对销售出库、退货入库、采购、库存等数据进行关联和计算，获取销售收入、净利润，然后再与货品档案和其他维表关联带上商品编码、店铺信息等形成宽表。   首先使用FineDataLink 和旺店通 ERP 系统对接，取出明细数据，同步至数据仓库形成 ODS 层；     然后将手工维护的维度数据导入库中，并使用 FineDataLink 对数据进行关联，并清洗、计算，得到衍生可应用的指标，装载入企业数据仓库，生成 DW 层明细数据。     最后根据仪表板展示需要对明细进行汇总、时间段处理生成前端可以直接使用的 DM 层数据，以便后续被 BI 用来制作分析看板。     搭建好的数据仓库数据表明细如下表所示：     （2）使用 FineBI 对宽表进行数据处理、展现、数据分析，制作全平台销售库存看板，实现即时分析和监控。 监控全平台整体销售达成情况，分析全年销售趋势，对平台、品牌销售的明细和分布进行探查，做到对平台-团队-店铺和品牌-品类项目的统筹管控。   按照品牌和单品分类分析库存情况，关注货盘结构、货盘明细，分析在库库存情况。     三、心得体会与建议 使用FDL过程中的心得与体会，以及对产品有哪些建议，你的反馈对我们很重要！    

由资深数据治理专家——杜绍森老师主讲的DAMA数据治理知识体系课程现已开放报名！   本课程以《DAMA 数据管理知识体系指南》（DAMA-DMBOK2）为蓝本，本教材也是DAMA CDMP认证指定核心教材。同时以杜老师20年数据治理、管理经验为背景，以理论结合实战解读如何更好的管理企业的数据资产。   如果你对数据治理感兴趣，希望在这一领域有所进步和提高，原价398元的系统课程，现在仅需98元！   98元可以换来： 数据治理专家的近百节亲授讲解 从理论进入实战，系统的掌握数据治理体系   适用人群 CDO 首席数据官      数据产品经理      数据架构师      大数据工程师      数据新兵 课程内容 详细课程内容请前往：DAMA数据治理知识体系解读 - 视频课 - 帆软学院 (fanruan.com)   心动就点击上方链接或下方海报二维码报名吧！欢迎你的加入！！

【技术分享】本文将针对实时ODS层数仓搭建的痛点，介绍FDL的毫秒级多表批量实时同步解决方案，并讲解FDL如何高效完成销售部门与财务部门数据同步的实战案例！快来关注好数连，获取更多关于数据同步、数据服务、数仓搭建的实用技巧！ FDL专题：FineDataLink&FineReport组合应用 实时ODS层数仓搭建的痛点 数据同步的实时性无法满足 批量数据同步计算处理效率低 没有稳定的数据传输管道 FineDataLink的解决方案   实战案例-销售部门与财务部门数据同步 设置ODS层实时同步任务 设置DW层增量数据同步 设置 DM 层任务汇总 关联销售财务数据 数仓任务运维调度   点击参与FCA-FineDataLink认证，获取帆软官方职业认证（产品最新版本：最新功能DEMO快速体验）     点击 FineDataLink学习路径 (qq.com)，一起成为技术达人！   「数据管道」毫秒级多表批量实时同步，可以用于数据库迁移、备份、搭建高时效数仓。 通过监控数据源的日志或时间戳来实现数据的实时同步、增量同步，技术原理复杂，但是使用FineDataLink后，只需要简单配置「数据管道」即可完成实时同步。 实时ODS层数仓搭建的痛点 数据仓库的调度配置是实际业务中必不可少的一环。通过调度配置，可以实现数据的更新同步，从而让数据持续的应用在业务中。 传统数据处理工具一般通过定时同步的方式，在构建 ODS 层数据时，需要将大量业务系统数据进行原表原样迁移；从 数仓的ODS 层到数仓的后续层级 DW、DM，再采用全量计算的方式进行更新。   但这种方式不仅无法满足零售消费行业促销大屏、制造行业生产看板等场景的数据需求，还存在隐患，主要原因是： 问题一：数据同步的实时性无法满足 直接从业务系统取数，业务库压力较大，导致数仓 ODS 层和业务系统间存在数据延迟，数据同步严重滞后；由于参与计算的数据比较多，导致 DW、DM也会产生数据延迟，数据时效性不足。 问题二：批量数据同步计算处理效率低 业务库表设计不规范，没有时间戳或者主键，数据量大时只能全量计算，计算效率非常低。另外，业务系统数据跨域同步以及网络带宽限制，导致计算过程耗时较长，影响大屏、看板展示，错失业务机会。 问题三：没有稳定的数据传输管道 数据传输没有稳定的数据管道，存在丢失、泄露、篡改等安全风险。如果系统不稳定或出现故障，还可能宕机，影响业务分析准确性。   FineDataLink的解决方案 针对上述问题，FineDataLink拥有强大的实时数据采集、批量数据同步能力，提供了完整的解决方案： 一、对于数据实时性需求，FineDataLink 通过日志增量技术，从业务系统实时读取数据，使用「数据管道」功能构建数仓实时 ODS 层； 二、数仓ODS层的后续层级采用增量更新，替代全量计算。利用时间戳标识技术，实现 DW 层增量更新，提升数据全链路时效性，为企业决策提供了更准确的数据依据。 三、FineDataLink的管道任务运维支持查看任务运行状态、数据同步性能、检查异常情况、以及对异常进行处理，提供了多方面的运维保障，实现智能化运维。   实战案例-销售部门与财务部门数据同步 例如，某销售公司当前情况如下：   当前有两个部门的数据：「销售」和「财务」，目前分别存储在不同业务系统对应数据库中；在数据仓库的ODS、DW、DM 3层中，ODS层是由业务系统直接拉取过来的原始数据；DW 层是基于 ODS 层进行汇总处理的中间层数据；DM 层是基于 DW 层，并且根据报表展示诉求而加工获得的结果层数据。   需要建设以下数仓任务：将两个部门的底层数据落库至指定数据库，形成实时 ODS 层数据， ODS 层定期（每周一次）同步更新的数据到 DW层，DW层定期（每周一次）同步更新的数据到 DM层，供给其他可视化报表展示工具使用。   设置ODS层实时同步任务   构建 ODS 层数据时，需要将大量业务系统数据进行原表原样迁移。   将来自不同数据库的「财务数据」和「销售数据」使用 FDL 的「数据管道」功能，只需要几步即可批量实时同步至数据仓库的 ODS层； 1）新建管道任务，将存放「销售数据」、「财务数据」对应的数据库中对应的原始选中，并同步至存放 ODS 层数据的「test_1」数据库中：     2）设置字段映射和异常通知，并保存和启动任务     设置DW层增量数据同步 当ODS 层有新数据生成，将定时同步增量数据，即根据最新的销售时间判断选取ODS 层中的新增数据同步至DW层，同时记录更新的开始时间和结束时间。操作参见：设置DW层任务   1）设置财务数据定时任务，添加「参数赋值」节点，设置 SQL 语句显示当前时间（任务开始时间），并将其设置为参数 time1；   2）取出DW层中最晚订单生成时间，并设置为参数 time；   3）新建「数据同步」节点，取出ODS层中的华北财务数据，并使用time参数比较「订单生成时间」，如果华北财务数据中「订单生成时间」晚于 DW 层中数据中最晚订单时间，则将这部分新增数据同步至DW层中；   4）和获取开始时间一样，新建「参数赋值」节点，以获取结束时间并设置时间参数；   5）新增消息通知节点，DW 层执行成功则发消息通知。   设置 DM 层任务汇总 关联销售财务数据 通过定时同步将 DW 层的销售数据和财务数据进行汇总关联，落库DM 层，为其他报表等可视化工具提供数据源。操作参见：设置DM层任务   1）创建任务后新增数据转换节点，通过「DB表输入」将 DW 层的销售数据和财务数据取出；   2）新增「数据关联」，将销售订单编号和财务订单编号关联，形成宽表；   3）新增消息通知节点，DM 层执行成功则发消息通知。   数仓任务运维调度 该步骤可实现数仓三个层级的统一调度触发，智能化运维，操作步骤参见：设置总调度任务   1）使用「数据开发」功能创建「调度总任务」，首先获取开始时间并设置为参数，与设置DW层任务中同理   2）使用调用任务的形式将ODS层任务、DW层任务和DM层任务创建的三个数仓调度任务进行调用；   3）记录调度任务执行结束的时间，并设置为参数；   4）最后设置消息通知，若执行成功则通知。   更多FineDataLink数仓搭建应用内容请前往：https://help.fanruan.com/finedatalink/doc-view-697.html   往期精彩： FDL专题：FineDataLink+FineReport组合应用分享（数据服务篇） FDL专题：FineDataLink&FineReport组合应用分享 FDL实践：企业微信API取数 FDL专题：定时任务自动化导出Excel/CSV，高效归档业务明细数据 FDL专题：详解DDL同步及其应用场景 FDL专题：CDC数据同步进行时遇到不可抗力（网络中断）中断了怎么办？ FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？ FDL专题：对接金蝶云API取数 「场景实战」金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！ 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！      

数据集成作为数字化转型的核心组成部分，正在经历前所未有的增长和创新。随着企业对数据驱动决策的需求日益增长，数据集成领域的人才在各行各业中都备受青睐。   而且随着大数据、云计算和人工智能技术的不断发展，数据集成领域的职业机会也在不断扩展，从数据分析师、数据工程师到数据科学家，职业路径多样且充满挑战。   未来，数据集成从业者将在企业中扮演越来越重要的角色。掌握一项ETL工具是数据集成从业者必不可少的技能。   FineDataLink作为一款低代码、高时效、易用性强的ETL工具，赢得了越来越多企业的认可，很多企业都将熟练使用FineDataLink作为任职资格和加分条件。   因此，系统学习FineDataLink对于从业者来说是提高职场竞争力的绝佳选择，而FCA FineDataLink认证正是你学习的成果体现。   本期FCA FineDataLink认证指南，我们为大家一一解答FCA认证中的常见问题。   01 FCA FineDataLink认证是什么？ FCA-FineDataLink是基于帆软FineDataLink产品，面向企业数据分析、数据开发人员进行的一项资格认证考试，旨在通过系统化的学习与考核，帮助学习者掌握FineDataLink的基本操作和理论。   报考入口：FCA-FineDataLink 帆软官方认证证书 02 通过FCA FineDataLink认证能带来什么？ 1、能力体现 FCA FineDataLink认证系统考察FineDataLink核心模块理论和实操，考试试题和实际工作内容息息相关，能够检验考试者对于产品的熟练程度和真实水平。通过认证的用户可以获得帆软官方认证证书，证明已初步掌握FineDataLink产品的基础操作与理论，具备使用FineDataLink处理数据任务的能力。   2、技能提升 想要通过FCA FineDataLink认证，学习者需要系统学习产品各功能模块的知识。在学习备考过程中，你会逐渐了解和熟悉产品的使用，在日积月累中收获进步。   3、业界认可 对企业来说，拥有通过帆软官方认证的工作人员，能够为业务决策提供及时、准确的数据支持。一张帆软官方认证证书，会给你带来新的职场可能性。 03 FCA-FineDataLink认证适合哪些人？ 负责企业数据采集、数据开发和数据分析需求的开发人员，需要应用FineDataLink产品进行数据集成的IT人员或者数据分析师都可以来考这门认证。毕竟技多不压身，多一项技能，就多一份选择。 04 FCA-FineDataLink认证都考什么？ 认证考试内容如下图： 认证考试题型如下： 题型 数量 分值 单选题（理论） 共13题 2分/题，共26分 单选题（实操） 共4题 8分/题，共32分 判断题（理论） 共9题 2分/题，共18分 多选题（理论） 共6题 4分/题，共24分 详细考试大纲请查阅：Docs (feishu.cn)   05 FCA-FineDataLink认证备考资料在哪找？ 为了帮助大家更好地学习FineDataLink，轻松通过FCA认证，我们为广大学习者准备了完整清晰的学习路径和FineDataLink 4.1版本的教学视频。跟紧学习路线，认认真真准备，相信大家都能通过FCA认证！   完整FineDataLink学习路径：FineDataLink学习路径 06 FCA-FineDataLink认证报名费用是多少？ 认证免费报考，不限制考试次数与时间，一次不过也没关系。 07 FCA-FineDataLink认证的考试形式？ 线上考试，限时40分钟。自动阅卷，考完立即展示考试结果与错题。 08 考试中途能退出吗？ 答卷内容会每15分钟保存一次，中断后将读取最近一次保存的记录，但到达考试结束时间之前且并未交卷时，系统会自动提交。   好了，以上就是本期的FCA FineDataLink认证指南的全部内容，如果你还想学习更多FineDataLink应用技巧，一起成为技术达人！可以点击：FineDataLink学习路径 (qq.com) 学完就可以通过帆软FCA认证考试哦！（产品最新版本：最新功能DEMO快速体验）往期精彩：【FCA FineDataLink认证指南】3分钟带你了解FCA FineDataLink  

【技术分享】本文将针对报表工具与业务系统直连带来的数据安全和规范性难题，介绍FDL的完整解决方案，并讲解FDL如何高效对接FineReport使用订单数据制作看板的实战案例！ 快来关注好数连，获取更多关于跨库关联、数据服务的实用技巧！ FDL专题：FineDataLink&FineReport组合应用 数据安全和规范性难题   FineDataLink的解决方案 敏捷开发 数据安全 应用管理 实战案例-FineReport使用FineDataLink发布的订单数据制作看板 数据服务发布数据 FineReport接收订单汇总表API中的数据并制作看板 如果你还想学习更多FineDataLink应用技巧，一起成为技术达人！可以点击：FineDataLink学习路径 (qq.com)学完就可以通过帆软FCA认证考试哦！（产品最新版本：最新功能DEMO快速体验） 数据安全和规范性难题 针对很多企业将报表工具与业务系统直连，造成报表加载缓慢、数据处理难度高、系统运维困难的问题，FineDataLink给出了完整的解决方案。切断报表工具和业务数据库的连接，把数据处理任务交给FineDataLink来做，帮助企业实现业务系统读写分离，不仅提高了工作效率，还降低了运维成本，走好了数据治理的第一步。 随着数据治理继续向前发展，企业的数据规范性和安全性又成为了一个亟待解决的问题。 数据仓库搭建完毕后，企业需要将数据共享给不同的业务系统，或是发布一部分数据给生态伙伴和分子公司。如果直接将数据仓库账号开发给第三方使用，会产生数据安全隐患，不利于数据安全管控。一种解决办法是IT人员使用代码开发接口来获取数据，但是这种方式效率比较低，而且容易出现错误。 同时，由于缺乏安全的数据共享机制，随着企业数据需求的多样性增加，如果多张报表需要对接同一数据接口，IT人员就要重复造轮子，增加了很多重复的工作量。开发好的接口没有一个统一平台进行管理，也会带来很多运维上的麻烦。此外，系统间数据格式的不一致也会严重影响使用效率。 综上所述，企业需要一个既能保证数据安全和规范性，又便于开发和管理接口的数据服务平台。 FineDataLink解决方案 针对上述问题，FineDataLink数据服务提供数据共享能力，可以将加工、融合后的数据封装发布为规范化API接口数据，供外部系统调用，实现数据价值输出及共享开放。 作为数据中台，FineDataLink能够实现零代码对接RestFul、WebService接口协议，同时支持SAP连接器，可以通过API统一分发数据给第三方使用。API接口中的数据经过解析、过滤、转换后得到可直接使用的结果数据，存储到数据库，所有报表都可以快速进行复用。 下面我们从三个方面具体谈谈FineDataLink数据服务的优点。 敏捷开发 在FineDataLink中，IT人员无需使用Java、Python等语言来编程，仅需编写SQL语句即可完成接口开发，同时支持可视化配置接口信息和在线测试，有效降低了开发门槛，大大减少开发耗时，5分钟即可完成API发布。此外，FineDataLink还支持自动生成接口文档，下载之后即可发布使用，不仅实现了接口标准化，还提高了人员配合效率。 数据安全 FineDataLink数据服务支持设置不同密级的认证方式，根据不同数据安全要求自定义认证方式；支持设置黑白名单，允许/限制指定IP访问；支持实时监控接口调用情况，数据调用可追溯。在企业需要数据共享时，FineDataLink提供的安全机制会规避数据泄漏的安全风险。 应用管理 面对多样化的数据需求，企业往往会发布很多不同的API接口，这些API如果不统一进行管理，会带来很多麻烦。FineDataLink 支持对发布的 API 进行任务管理、运行监控和任务监控，查看调用情况、批量上下线 API 等。通过API集中管理，开发人员可以快速响应API更新和维护需求，更好地进行任务管理，降低开发和维护成本。 FineDataLink数据服务+FineReport组合应用流程 实践案例-FineReport使用FineDataLink发布的订单数据制作看板 为保证数据安全，企业想使用FineDataLink的数据服务功能，将处理好的订单数据封装到API接口给第三方使用，同时想要使用 FineReport 接收订单数据制作看板。 一、数据服务发布数据 1）填写API信息 进入数据服务页面，新建一个API，在API信息页面填写好API名称、API描述、请求方式、请求body格式、路径、超时时间等信息，点击下一步即可。 2）填写发布内容以及参数 开发人员可选择指定的数据库，并在该数据库下搜索需要的数据表，FineDataLink会将查询语句写入右侧 SQL 输入框。也可以自行编写 SQL 语句从源数据库的表中查询取数，支持引用参数，也可进行数据过滤。 3）预览测试 填写好发布内容和参数后，开发人员可以进行在线测试，检验接口是否有问题。 4）绑定应用 API发布之前需要绑定一个应用，相同应用中的 API 拥有相同的鉴权和访问根路径，也就是通过应用来对发布的 API 进行批量的管理。 5）API上线 点击页面中的上线按钮，即可发布API。在任务运维->数据服务->API管理中可以查看所有API信息，选择指定的API ，可查看基本信息和API 的内容以及参数。 订单汇总表API 二、FineReport接收订单汇总表API中的数据并制作看板 此处有两种方案可供选择。 方案一 使用JSON 数据集插件，在报表设计器或决策平台安装插件，接收数据服务 API 数据并制作看板。 方案二 使用数据工厂数据集插件，在报表设计器或决策平台安装插件，接收数据服务 API 数据并制作看板。 具体操作请查阅：FineReport接收并使用数据服务发布的数据- FineDataLink帮助文档 (fanruan.com) 预期效果如下图所示。 预期效果   更多FineDataLink与FineReport组合应用内容请前往：FDL和FineReport组合应用示例- FineDataLink帮助文档 (fanruan.com)   往期精彩： FDL专题：FineDataLink&FineReport组合应用分享 FDL实践：企业微信API取数 FDL专题：定时任务自动化导出Excel/CSV，高效归档业务明细数据 FDL专题：详解DDL同步及其应用场景 FDL专题：CDC数据同步进行时遇到不可抗力（网络中断）中断了怎么办？ FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？ FDL专题：对接金蝶云API取数 「场景实战」金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！ 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！    

01 FCA FineDataLink概述 FCA-FineDataLink是基于帆软FineDataLink产品，面向企业数据分析、数据开发人员进行的一项资格认证考试，旨在通过系统化的学习与考核，帮助学习者掌握FineDataLink的基本操作和理论。   FCA-FineDataLink主要考察FineDataLink数据开发、数据管道、数据服务和系统运维等主要功能模块的理论和实践知识，满分100分，60分及以上即可通过。通过认证的用户可以获得帆软官方认证证书，证明已初步掌握FineDataLink产品的基础操作与理论，具备使用FineDataLink处理数据任务的能力。       02 为什么要考FCA FineDataLink认证 首先，关于FineDataLink。   近年来，FineDataLink以低代码、高时效、易用性的产品优势赢得了700+知名企业客户的信任，帮助企业开发了上百万个数据处理任务。帆软社区仅FineDataLink主题互动阅读量更是有10万+，FineDataLink技能被越来越多的企业所看重。   如今，已有不少企业将会使用FineDataLink工具作为任职资格和加分项：         其次，获得FCA认证证书会带来什么优势？   站在个人的角度来看，通过FCA-FineDataLink认证，表示你已经基本掌握了FineDataLink产品知识，能够独立使用产品进行数据同步、数据转换、日常运维等工作。在当今企业数字化转型的大趋势下，许多使用FineDataLink的企业和单位非常需要熟悉产品的专业人士来处理数据集成方面的问题，相比于没有参与认证的从业者，获得FCA认证的用户会更容易获得用人单位的认可，离机会更近一步。   站在企业的角度来看，拥有熟练掌握FineDataLink产品的数据处理团队，不仅会让工作效率显著提高，而且可以解决更多更复杂的数据处理任务，帮助企业打造可靠的数据底座，让数据治理变得简单，有助于企业降本增效。   最后，FCA-FineDataLink考试难不难？   FCA-FineDataLink主要考察的内容有：数据开发模块（占比40%）、数据管道模块（占比10%）、数据服务模块（占比20%）以及系统运维模块（占比30%）。其中包含28道理论题目和4道实操题目，满分100分，60分即可通过。   从难度上讲，FCA-FineDataLink认证不算太难，只要大家认真备考，通过的机会是很大的。而且报考不收取任何费用，不限制考试次数和时间，对数据小白也很友好。   为了帮助大家更好地学习FineDataLink，轻松通过FCA认证，我们为广大学习者准备了完整清晰的学习路径和FineDataLink 4.1版本的教学视频。跟紧学习路线，认认真真准备，相信大家都能通过FCA认证！       总结一下，FCA-FineDataLink认证难度不算高，考试0成本，既能学到实实在在的技能，又能有效提升职场竞争力，何乐而不为呢？   心动不如行动，点击下方链接开始学习吧！   认证报考入口：FCA-FineDataLink   完整FineDataLink学习路径：FineDataLink学习路径   FineDataLink 4.1教学视频：FineDataLink教学视频   完整考试大纲：FCA-FineDataLink考试大纲   FineDataLink Demo平台：FineDataLink Demo平台   FineDataLink帮助文档：FineDataLink帮助文档  

【技术分享】本文将针对FineReport报表开发过程中的困难，介绍FDL的完整解决方案，并讲解FDL如何高效开发FineReport完成销售数据落库的实战案例！ 快来关注好数连，获取更多关于跨库关联、列转行处理、复杂SQL处理的实用技巧！ FDL专题 FineReport报表开发的痛点 FineDataLink的解决方案 实战案例-销售系统数据处理和落库 跨库关联处理 数据列转行 复杂SQL处理 如果你还想学习更多FineDataLink应用技巧，一起成为技术达人！可以点击：FineDataLink学习路径 (qq.com)学完就可以通过帆软FCA认证考试哦！（产品最新版本：最新功能DEMO快速体验） FineReport报表开发的痛点 在工作中，很多业务人员会使用FineReport进行数据可视化和报表开发。通常情况下，业务人员会用报表工具直接连接业务系统数据库，在报表内的sql数据集进行数据清洗和加工，或者在报表单元格内写过滤条件实现跨库数据关联。遇到从API接口读取数据的情况，就用FineReport的程序数据集进行代码开发。数据处理完毕之后，再把报表样式设计好，测试通过就可以上线使用了。 这样做非常方便快捷，给业务人员节省了很多时间，但是这种模式存在不少问题： 问题一 长期使用报表工具直连业务库的形式，很容易造成性能问题，由于报表工具直连数据库，数据的读取请求完全依赖于业务库，当数据量增大、计算逻辑变得复杂时，业务系统和报表前端都会面临很大性能压力。遇到数据录入的高发期，系统的高负荷运转会造成严重的卡顿，甚至出现宕机的风险，大大影响工作效率。 问题二 FineReport不支持跨数据库取数，因此在面对跨库取数的场景时，业务人员需要编写复杂的程序代码来实现，开发成本高、取数速度慢。尤其是当企业内数据开发者逐渐增加，通过sql语法来还原业务加工过程，会产生大量难理解、难运维的sql语句；如果注释再不详细，新员工面对成山的代码真的毫无头绪，数据运维非常麻烦。 问题三 报表数据集无法被引用和关联，无法进行数据集的复用，大大降低了报表开发的效率。并且当某个业务指标需要更改时，业务人员需要修改指标涉及的所有报表内的数据集，徒增很多重复的工作量。 FineDataLink的解决方案 针对上述问题，FineDataLink提供了完整的解决方案： 切断报表和业务数据库的直接依赖，将报表里面的数据处理工作转交给FineDataLink来做，通过FineDataLink进行数据的提取、清洗和转换的步骤，将预处理好的数据落入中间库，前端从中间库直接获取结果表，实现业务系统读写分离，很大程度上缓解了性能压力，避免业务系统和报表互相影响，提高报表开发效率。 对于数据逻辑处理，FineDataLink提供了简易的画布开发模式和丰富的可视化算子，业务人员无需再花费大量时间去编写复杂的代码，使用可视化的操作就可以完成大部分的数据处理任务；对于一些复杂的数据处理场景，FineDataLink中的Spark SQL、Python算子以及SQL、Shell、Bat脚本也为业务人员提供了灵活的使用选择。 面对接口取数的情况时，FineDataLink中的JSON解析、XML解析算子仅需使用鼠标点击的方式就可以完成数据解析。另外，如果之前的数据任务都是使用Kettle来做的，业务人员可以使用FineDataLink提供的Kettle调用功能，将历史Kettle任务集成到FineDataLink统一进行管理。 关于运维的问题，FineDataLink清晰的开发流程让新人也能很快理解数据任务逻辑，非常容易上手。同时FineDataLink提供了智能的系统和任务运维机制，包括调度计划、失败重试、结果通知、负载管理、宕机处理等，大大减少了人工运维的成本，省力又省心。 FineDataLink & FineReport 组合应用流程 实战案例-销售系统数据处理和落库 下面我们用一个案例来说明FineDataLink与FineReport的组合应用。 销售系统数据库中存放着订单、销售明细和年度资产分类等信息。现在我们要对这些数据进行处理，并用处理好的数据进行报表展示。 数据处理要求如下： 数据表 要求 问题 FineDataLink方案 订单、订单明细 跨库关联 需要编写复杂代码实现 数据关联算子 销售明细 列转行处理 需要编写复杂代码实现 列转行算子 年度资产分类 复杂SQL处理 代码复杂、开发速度慢 数据同步加速处理流程 一、跨库关联处理 销售系统数据库中存放着订单表，应用库中存放着订单明细表，现在要将这两张表，通过「订单ID」主键关联后落库到应用库中。 1）新建任务，使用数据转换，拖入DB表输入算子将两个表的数据分别取出。 2）新增一个「数据关联」算子，将两个数据表输入连接至「数据关联」算子，点击连接方式和连接字段进行选择，即可进行跨库关联制作新的数据表，不需要编写任何代码。 跨库关联操作 3）对关联好的数据表进行字段设置，例如去掉重复字段。 4）使用DB表输出算子，将制作好的数据表并输出到应用库中即可。 二、数据列转行 销售明细表中包含了每个产品在不同省份的销售金额数据，我们希望对数据进行列转行，计算每个省份的销售总额后落入应用库中。 1）新建 ETL 任务，使用数据转换，拖入DB表输入将销售系统库中的「销售明细」取出。 2）使用「列转行」算子对「销售明细」数据进行转换，开发人员无需编写SQL，仅需输入字段名称，点击选择转换字段，即可将二维表地区销售数据转为一维表。 数据列转行操作 3）此时希望对已经列转行的数据继续进行处理，计算每个城市的总销售金额，可以使用「Spark SQL」算子，编写 SQL 语句进行操作。 4）数据处理完成后，使用DB表输出将数据输出到应用库中即可。 三、复杂SQL处理 使用数据同步将销售系统中的「年度资产分类表」进行复杂 SQL 处理后，输出到应用库中。 1）新建 ETL 任务，添加「数据同步」，在数据来源中编写SQL 语句进行取数。 2）在数据去向与映射中，将查询好的数据输出至应用库中即可。 使用数据同步可以大大提高取数速度，缓解数据加载缓慢问题。 数据同步-复杂SQL处理 四、任务调度管理 数据处理的任务设置好后，我们希望能够定时进行数据更新，可以在FineDataLink中设计调度周期，对任务进行管理。 1）新建 ETL 任务，添加「调用任务」。 2）新增「消息通知」，设置若三个任务执行失败，则通知某个任务执行失败。 3）使用连线将三个任务与失败执行的消息通知相连，设置在任务执行失败时，执行「消息通知-失败执行」。 4）同理，设置任务执行成功时的消息通知。 5）设置任务的执行频率，完成任务调度配置。 任务调度流程 任务调度计划   更多FineDataLink与FineReport组合应用内容请前往：FDL和FineReport组合应用示例- FineDataLink帮助文档 (fanruan.com)   往期精彩： FDL实践：企业微信API取数 FDL专题：定时任务自动化导出Excel/CSV，高效归档业务明细数据 FDL专题：详解DDL同步及其应用场景 FDL专题：CDC数据同步进行时遇到不可抗力（网络中断）中断了怎么办？ FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？ FDL专题：对接金蝶云API取数 「场景实战」金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！ 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

这段时间参与了一些市场活动，我们遇到了几位FineReport老客户，他们都用报表工具 4、5 年了，先后做了经营分析、财务分析、人事分析等多个模块，公司内报表应用效果很不错。 他们同时也提出了一些比较苦恼的问题，作为一名老 IT，实际上他们工作中80%以上时间是花在了需求分析和数据处理上，所以近2个月我们和超过100家客户进行了沟通 ，我们发现FineReport老客户对数据准备是有很多共性诉求的。大家的想法可以总结为先使用数据做出一定成果，再面向未来规划体系化的数据治理架构。 点击此处，报名直播分享 常见数据应用难题 1.  对业务系统的影响：月初月末是业务核算高发期，业务系统的数据录入、合同上传操作都会异常卡顿，IT 排查问题后，发现主要原因是FineReport直连业务数据库导致的； 2.  报表加载慢：经营分析报告等综合分析场景，报表涉及多系统数据联合分析，报表页面涉及复杂 sql、跨库关联计算，报表页面加载不出来，领导着急、业务吐槽，IT 部门压力还是蛮大的； 3.  数据源多且杂：企业内业务系统越来越多，不同系统的数据口径差异较大，数据隔离且分散、数据清洗加工难度很大。 如何解决？ 大力开发报表，对数据底层关注度有限，数据的“只用不治”是以上难题产生的根本原因。 帆软一站式数据集成平台FineDataLink的核心应用场景便是企业内数据底座开发，FineDataLink 可以对FineReport客户的数据底层完成全方面升级： 数据架构升级对比图 1.  对接更多类型的数据源 a.  FineDataLink支持对接 7 类数据源，接口协议类数据、文本类数据、消息队列、关系型数据库、大数据平台、国产化数据库、NoSQL数据库； b.  无门槛对接 RestFul、WebService等接口协议数据，增加报表应用开放性 2.  更直观灵活的数据处理过程 a.  开发透明化：画布式数据开发，开发过程变得直观清晰，摆脱复杂冗余 SQL； b.  运维透明化：所见即所得的处理流程还原业务场景，员工可快速进行运维交接。 3.  更快的报表加载速度 a.  庞大的数据量，复杂的计算逻辑，需要强大的计算能力支撑，以前20w 行报表加载需要 20s，跨系统等复杂数据场景通过 FineDataLink完成预处理，前台计算转为后端计算，报表加载速度大幅提升，仅需5s。 4.  更高的数据时效性 a.  FineDataLink通过日志增量技术，可构建数仓实时 ods 层；利用时间戳标识技术实现 dw 层增量更新，提升数据全链路时效性，支撑高时效性报表/大屏。 对此，我们准备了一场《「先用后治」FineReport 数据底座 升级方案分享》直播为大家介绍我们的方案和实践，为打算升级数据应用的底层、建立数仓的客户提供一些新思路。 点击此处，直接报名 报名福利： 1.  报名入群免费送《BI建设地图》 2.  报名即可免费试用数据集成平台FineDataLink

【技术分享】本文将介绍ETL过程中Excel/CSV文件输出的常见问题，并以合同订单数据文件输出为案例，讲解FDL如何为文件稳定输出保驾护航！快来关注好数连，获取更多关于API取数、数据清洗、数据同步的实用技巧！ FDL专题 定时任务自动化导出Excel/CSV，高效归档业务明细数据 Excel/CSV文件输出应用场景  Excel/CSV文件输出的常见问题 合同订单数据文件输出实战（输出Excel/CSV） 如果你还想学习更多FineDataLink应用技巧，一起成为技术达人！可以点击：FineDataLink学习路径 (qq.com) 学完就可以通过帆软FCA认证考试哦！（产品最新版本：最新功能DEMO快速体验） Excel/CSV文件输出应用场景 当数据需要在分享给业务人员查看使用或需要以文件形式备份时，通常为了操作简单、高效、易于兼容，会使用Excel或CSV这种文件格式导出数据，也方便直接进行数据分析处理。 随着业务数据量的指数级增长、数据安全性要求的提高，企业就需要将存储在Oracle、SQL Server、PostgreSQL等数据库的百万级明细数据（如销售订单数据），定时定期以Excel或CSV文件格式上传到FTP/SFTP服务器。 一方面，Excel或CSV文件格式应用广泛，易于共享，兼容性强； 另一方面，FTP/SFTP服务器提供了一个安全、可靠的环境来传输、存储和备份数据，同时支持安全的数据传输协议（特别是SFTP，它是基于SSH的FTP协议，提供了数据加密和认证功能）； 另外，在这个过程中，自动化工具（ETL工具）可以替代脚本很容易地将处理后的数据定期上传，人工干预少，提高了数据处理效率和准确性。 Excel/CSV文件输出的常见问题 很多业务库系统数据表部分导出存在限制； 系统 数据库 可导出EXCEL/CSV 用友、金蝶、浪潮 SQL Server, Oracle等等 可（若版本导出到Excel 2003格式，会受到65,536行的限制，与软件版本兼容性有关） SAP HANA 可（CSV无法导出超过 300 万个单元格或 60 个度量列；XLSX无法导出超过 50 万个单元格，不能导出超过 150 万行个单元格。 仅支持数据模型类型：SAC 获取数据、HANA 实时数据、BW 实时数据） 且手工操作只适用小数据量的文件转换，‌相对繁琐； 脚本编写此类任务时，也常常因为数据量大、数据格式不一致、业务库不许直连等，出现数据丢失（Excel单个sheet行数限制）、任务运行过慢、字段映射方面的报错。 如果数据需要清洗整理，想直接导出处理后的数据（如筛选某一季度即将逾期交付的大额订单），涉及多个字段的处理，想要“一步到位”，更是难上加难。   针对这样的情况，FineDataLink提供了低代码、高效、方便、稳定性强的解决方案。在定时任务中可以使用「文件输出」算子，将加工后的数据设置好字段映射关系、分隔符、编码后，以Excel或CSV文件形式给业务人员分享使用、以文件形式进行数据归档。 FineDataLink支持思维导图式拖拉拽开发，对非技术人员也很友好；丰富多样的「数据转换」算子，可以在直接导出“定制化”数据；配合数据同步的高性能计算引擎，保证定时传输任务高效运转。 合同订单数据文件输出实战 1）合同订单数据输出为 CSV 文件 将处理后的合同订单数据以 CSV 文件的形式，输出到「FTP/SFTP 服务器」中。 1、建立业务系统数据库、FTP/SFTP 服务器数据连接 确定业务系统的数据库，根据数据源配置数据连接。参见：支持的数据源范围- FineDataLink帮助文档 配置 FTP/SFTP 数据连接，并且有该数据连接的使用权限。具体请参见：配置FTP/SFTP数据连接- FineDataLink帮助文档 2、数据处理 新增定时任务，根据数据类型拖入数据输入相关算子，获取要输出的数据。 参考 新增计算列- FineDataLink帮助文档 文档的 2.1-2.4 节内容，在「数据转换」节点中对数据进行处理，若无处理需求可省略该步骤。 3、输出为文件 新增「文件输出」节点，与「新增计算列」算子相连。 将处理好的数据输出到「FTP/SFTP 服务器」中的「文档」文件夹中，文件名为「合同事实表」。 点击右上角「保存」按钮。 4、运行效果查看 点击「保存并运行」按钮，执行任务。执行成功后，可看到 「FTP/SFTP 服务器」的「文档」文件夹中「合同事实表」。 2）合同订单数据输出为 EXCEL文件 基本步骤与【合同订单数据输出为 CSV 文件】一致。 在第三步【输出为文件】中，考虑到数据行数较多时，Excel版本存在行数限制，FineDataLink的「文件输出」算子可以将处理后的数据按照行数拆分为多个文件，避免处理大数据量时出现的报错。（下图设置：每 100 行数据输出为一个 Excel 文件） 【技术文档参考】： 文件输出算子：https://help.fanruan.com/finedatalink/doc-view-420.html 文件拆分输出：https://help.fanruan.com/finedatalink/doc-view-667.html 更多文件输出案例请前往：Demo平台-FineDataLink   往期精彩： FDL实践：企业微信API取数 FDL专题：详解DDL同步及其应用场景 FDL专题：CDC数据同步进行时遇到不可抗力（网络中断）中断了怎么办？ FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？ FDL专题：对接金蝶云API取数 「场景实战」金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！ 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

【技术分享】本文将介绍实战案例，用FDL快速进行企微API取数，低代码、自动化，助力内部流程自动化、智能化！快来关注好数连，获取更多关于API取数、JSON解析、实时数据同步的实用技巧！   实战案例 企业微信API取数 企业微信API应用场景 企业微信API取数中的痛点 FineDataLink-企业微信API取数实战 如果你还想学习更多FineDataLink应用技巧，一起成为技术达人！可以点击：FineDataLink学习路径 (qq.com) 学完就可以通过帆软FCA认证考试哦！（产品最新版本：最新功能DEMO快速体验） FDL实践：企业微信API取数 在数字化时代，企业微信不仅是一个通讯工具，更是企业数字化转型的重要平台。通过企业微信，企业能够高效连接员工、客户与合作伙伴，实现内部流程的自动化和智能化。 企业微信API应用场景 企业微信API提供了一个全面的接口集合，允许企业访问和利用平台内的数据资源，企业能够从中获取包括员工信息、通讯记录、审批流程、考勤数据、日程安排以及任务进度在内的一系列关键数据，适用于多种实际应用场景： 人力资源管理：通过用户数据接口，企业可以管理员工的个人信息和组织结构，优化人力资源配置。 提高协作效率：企业微信中的通讯数据可以揭示团队的沟通模式和协作效率，为改进内部沟通机制提供依据。 流程自动化：审批和考勤数据自动化处理，极大提升了行政流程的效率，减少了纸质工作和人为错误。 日程管理：企业微信中日程与会议数据的整合，能够确保时间资源的高效分配和利用，提高跨部门协作的流畅性。 由此可见，利用好企业微信API提供的数据，能够大大优化工作流程，提升工作效率。 企业微信API取数中的痛点 使用企业微信API进行数据获取的过程中，对编程技能的高要求和手动操作的繁琐性增加了整个流程的复杂度，给业务人员带来了不小的麻烦。 首先，业务人员需要具备一定的技术背景和经验，能够使用如Python、Java等编程语言来编写调用API的脚本，包括处理API响应、数据解析和错误排查等等，以确保正确实现API调用和数据获取。 其次，从API获取的原始数据往往需要经过清洗、筛选和转换，以符合特定的使用要求。这个过程不仅耗时，而且容易出错，特别是当数据量庞大或格式复杂时，业务人员必须投入大量精力来确保数据的准确性和一致性。 针对这些问题，FineDataLink提供了低代码、高时效、易用性强的解决方案。图形化的节点直接拖拉拽，无需编写复杂的代码，非技术向的用户也能快速上手；丰富的功能算子，清晰的任务逻辑，大大加速数据处理流程。   FineDataLink-企业微信API取数实战 业务背景 公司内部使用企业微信，行政部门需要将公司所有在职人员的信息进行统计，以供其他企业业务系统作为基础信息使用。IT人员要从企业微信API中将在职人员的姓名、部门、职位、userid、手机号、性别、邮箱等信息取数至指定数据库中。 用到的API 获取部门列表-->获取部门 id 获取部门成员-->获取user id 读取成员-->获取企业人员信息 操作步骤 1、获取 access_token 获取 access_token 是调用企业微信 API 接口的第一步，相当于创建了一个登录凭证，其它的业务 API 接口，都需要依赖于 access_token 来鉴权调用者身份。 使用「参数赋值」节点，选择数据源类型为API，将企业微信接口 获取 access_token 的URL和参数写入对应位置，即可获取access_token。我们将其设置为参数，命名为「token」，便于后续其他接口使用获取到的 token 值。 2、获取部门 id 新增「参数赋值」节点，选择数据源类型为API，将企业微信 获取部门列表 接口的URL和参数写入对应位置，即可获取到的所有部门id、部门名称等数据，我们将获取到的所有部门 id作为参数输出，设置参数名为「id」。 接下来即可使用 获取部门成员 接口取出所有 user id 数据。 3、获取user id 由于接口返回的数据为JSON格式，为了便于取出数据后的数据解析，此处使用「数据转换」节点。 拖入「API输入」算子并输入获取部门成员 url和参数： https://qyapi.weixin.qq.com/cgi-bin/user/simplelist?access_token=${token}&department_id=${id}，获取包含user id的部门成员数据 由于取出的数据是JSON格式，我们可以使用「JSON解析」算子，选取 userid。 「JSON解析」算子中，无需编程，直接用点击的方式即可解析JSON 数据，如下图所示：   此时再将解析后的 userid 数据输出至指定的数据库，以供后续将 userid 作为参数使用接口取出企业人员信息。 最后，新建「参数赋值」节点，取出刚刚获取到的user id 数据，将其设置为参数，命名为「userid」。 4、获取所有成员信息 使用 读取成员 接口，在循环容器中遍历 userid ，依次取出所有的人员信息。 新建「循环容器」节点，设置循环次数，循环遍历参数「userid」。 将「数据转换」节点拖入循环容器中，新建「API 输入」，输入 读取成员 接口 URL和参数： https://qyapi.weixin.qq.com/cgi-bin/user/get?access_token=${token}&userid=${userid}，获取人员信息。 新增 「JSON 解析」算子，选择需要的字段，将人员信息进行解析，如下图所示： 5、信息入库 使用「DB表输出」将取出的人员信息输出至指定数据库中，取出的所有企业人员信息如下图所示： 更多企业微信API取数案例请前往：Demo平台-FineDataLink       往期精彩： FDL专题：详解DDL同步及其应用场景 FDL专题：CDC数据同步进行时遇到不可抗力（网络中断）中断了怎么办？ FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？ FDL专题：对接金蝶云API取数 「场景实战」金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！ 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

开发者在进行数据处理任务时，一旦源数据库的表结构发生变化，而目标数据库没有及时进行同步，就会导致任务执行失败。DDL同步就是用来解决这一问题，它会自动识别源表结构变化，并及时更新到目标数据库中，保障数据同步任务顺畅进行。   本文对比两款流行工具——FDL和Kettle在DDL同步方面的功能和用户体验。   点击FineDataLink学习路径 (qq.com)，学习更多FineDataLink应用技巧，一起成为技术达人！参加FCA-FineDataLink认证考试，获得帆软官方认证证书！ 对比分析   FDL Kettle 功能实现 FDL用高度自动化的方式，完成从监测变化到通知用户，再到自动生成DDL语句的全过程，高效实现DDL同步。 Kettle同样可以实现DDL同步，但更依赖于开发者的人工参与。 操作难度 无需手动编写代码，提供了更为自动化和用户友好的操作，开发人员可以很快上手。 需要更多的手动设置和程序编写，对开发人员技术能力要求更高，学习成本也更高。对于编程能力较强的开发者，Kettle的DDL同步提供了更强的灵活性。 消息通知 当监测到来源表结构发生变化时，FDL可以自动通知给开发人员，提醒开发人员查看结构变更并进行目标端的更改。 不支持自动监测源表结构变化，开发者需要花时间手动debug，运维上效率较低。    Kettle中进行DDL同步 1、监测DDL变化 开发者需要通过读取流字段来获取源表结构和目标表结构，并将这些信息分别写入两个文件。 之后，Kettle会通过比对这两个文件来获取字段之间的差异，开发者基于此进行自定义的后续处理。 2、DDL同步 Kettle监测到源端和目标端的结构差异后，如果目标库中没有相应的表，Kettle会生成创建表的SQL语句。 如果目标库中已有表，Kettle会检查字段是否存在差异，并在有差异的情况下生成ALTER语句来进行DDL同步；如果没有字段差异，Kettle会通过弹框告知开发者。 FDL中进行DDL同步 1、源表结构变化监测 FDL数据同步节点提供了「源表结构变化监测」选项，开发者只需要勾选此选项，节点在执行时就会自动获取源端表结构，并与当前配置的表结构进行比对。如果检测到表结构变化，FDL会通过「任务控制」中的「结果通知」功能自动通知指定用户，用户可以及时进行任务调整。 与此同时，开发人员在数据同步过程中，若来源段出现表结构变化，FDL会提示开发人员进行「更新字段映射」和「更新目标表」。 2、更新字段映射 若任务的数据来源是主流数据库SQLServer、Oracle、PostgreSQL和MySQL，用户可以直观地查看到增删改字段的变化情况，进入更新字段映射界面，点击确认即可根据来源表字段变化更新字段映射。 3、更新目标表 当数据同步任务的数据去向选择「已存在表」时，若来源表字段相较之前有变化，点击更新目标表按钮就可以对目标表进行调整，支持选择已有目标表字段，也可以手动输入新字段，确认对应映射关系变化后，即可自动生成目标表DDL语句并执行。 FDL技术文档：FineDataLink文档-定时任务DDL同步   往期精彩： FDL专题：详解DDL同步及其应用场景 FDL专题：CDC数据同步进行时遇到不可抗力（网络中断）中断了怎么办？ FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？ FDL专题：对接金蝶云API取数 「场景实战」金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！ 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！  

【技术补给】本文将深入探讨DDL同步的问题和解决方案，帮助读者更好地理解和应对这一技术领域的挑战。 快来关注好数连，获取更多关于API取数、JSON解析、DDL同步的实用技巧！ DDL同步及其应用场景 什么是DDL？ DDL同步的痛点 缺少自动DDL同步机制   缺少DDL变更监测预警     FineDataLink解决方案     知识库-定时任务DDL同步 应用场景案例     点击FineDataLink学习路径 (qq.com)，学习更多FineDataLink应用技巧，一起成为技术达人！ 参加FCA-FineDataLink认证考试，获取帆软官方认证证书！   在现代数据管理中，数据库的结构变更频繁且不可避免，特别是在复杂的数据处理任务中，如何有效地管理和同步DDL变更成为了重要挑战。DDL（Data Definition Language）作为定义和修改数据库架构的关键语言，影响着数据管理和应用系统的稳定性和效率。 什么是DDL？ 在数据库管理系统中，DDL（Data Definition Language）是一组用于定义和修改数据库架构的语言。 DDL的常见语句包括： CREATE：用于创建新的数据库对象。 ALTER：用于修改现有数据库对象的结构。 DROP：用于删除数据库对象。 TRUNCATE：用于快速删除表中的所有行，但保留表结构。 DDL是数据库管理员和开发者用来设计和维护数据库架构的关键工具。 什么是DDL同步？ 开发者在进行数据处理任务时，一旦源数据库的表结构发生变化（DDL变更），而目标数据库没有及时进行同步，就会导致任务执行失败。DDL同步就是用来解决这一问题，它会自动识别源表结构变化，并及时更新到目标数据库中，保障数据同步任务顺畅进行。 DDL同步的痛点 核心问题：数据来源端DDL发生变更，无法自动同步到目标端数据库。 定时任务中常见的DDL同步问题可以总结为以下几点。 1、缺少自动DDL同步机制 当源表结构发生变化时，开发人员需要手动将源表结构变更到目标系统，效率很低。 开发人员在搭建好数据同步任务之后，只要来源端的表结构发生变化，就不得不中断手头的工作，去目标表里手动更新这些变化，再重新对字段进行映射，否则任务就会一直停滞，费时费力。这不仅让人头疼，还特别耗时间。苦于没有DDL自动同步的工具，开发人员常常半夜被叫起来，熬夜修复任务，这不仅给开发人员带来极大负担，而且大大降低了任务效率。 因此开发人员迫切希望有一个自动化的DDL同步工具，这样一旦源表有更新，系统就能自动搞定目标表的同步，省去了手动操作的麻烦。 2、缺少DDL变更监测预警 目前的ETL工具缺乏对源表结构变化的监测和提醒，运维起来非常麻烦。 例如，IT人员在进行数据处理时，会从多个不同的部门获取数据，但是上游部门对表结构进行更改不会告知IT人员，业务系统的修改无法及时的传递到数仓侧，经常出现因数据无法正常更新而报错的情况。IT人员需要一个智能监测DDL变化的工具，在监测到源表结构变更时自动通知并预警，能够帮助IT人员从耗时的debug中解放出来，大大降低运维难度。 FineDataLink解决方案 为了解决上述问题，帮助开发人员提高工作效率，保证数据的一致性和完整性，FineDataLink 4.1.5版本起新增支持DDL同步 & 字段变更智能感知，能够在监测到源端结构变化后向用户发出提醒，帮助用户及时介入处理。同时用户可以直接在任务中用可视化的方式对目标表进行字段处理，更新目标表结构，减少了代码量。 功能详情请查阅：定时任务DDL同步 应用场景案例 案例一 业务场景：零售商和门店系统数据进行对接，每晚歇业后门店会上传当日数据到系统上，此时需要有专人来监控系统运行情况。一旦在夜里发现由于上游来源表结构变更导致全量数据更新卡住，就需要IT人员马上解决。企业希望基于来源表结构变更，能够自动停止数据更新任务，并进行预警。 解决方案：使用FineDataLink中的「源表结构变化监测」功能，节点每次执行时会自动获取来源端表结构，并与当前节点配置的表结构进行比对，判断出源表结构变化。当发现表字段变化时，FDL会自动发送通知，便于运维人员及时调整。 案例二 业务场景：业务人员在进行数据分析时，需要从不同的表里取其中部分构成中间表，然后用自动建表将中间表落库。最开始的业务诉求只需要其中部分字段，随着业务的发展，中间表需要的字段发生变化，可能需要再从其他表继续关联新增字段。如果每一次都手动调整，整个工作流程会非常繁琐，希望能有快速更新字段映射的机制。 解决方案：使用FineDataLink提供的「更新字段映射」功能。来源表结构变化时，FDL会提示用户更新字段映射。点击「更新字段映射」即可查看到增删改字段的变化情况，点击确认按钮即可根据来源表字段变化更新字段映射，无需再进行复杂的手动操作。 案例三 业务场景：业务人员在进行简道云数据下云，将数据同步到CRM的API时，使用到了过程转换算子和输出算子。当过程处理算子的输出流发生变化后，输出算子内的字段映射没有更新，此时会出现字段映射表不正确，需要重新获取字段映射的情况，业务人员希望在映射配置发生变动时能快速更新已存在目标表字段。 解决方案：使用FineDataLink提供的「更新目标表」功能。若来源表字段相较之前有变化，开发人员可以点击「更新目标表」对目标表进行调整，支持选择已有目标表字段或手动输入新字段，确认后即可自动生成相应的DDL语句并执行，操作方便的同时兼具拓展性。   在实际应用中，有效的DDL管理可以确保数据库结构与业务需求的紧密匹配，提高系统的响应速度和运行效率。业务场景中，FineDataLink体现出以下价值： 功能完善，能应对大部分DDL变更需求场景。 操作简单，无需大量代码操作，用户可以很快上手。 运维方便，自动监测和预警，大大降低维护成本。 FDL技术文档：FineDataLink文档-定时任务DDL同步   往期精彩： FDL专题：CDC数据同步进行时遇到不可抗力（网络中断）中断了怎么办？ FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？ FDL专题：对接金蝶云API取数 「场景实战」金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！ 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！      

面对数据量的高速增长和数据需求的日益复杂，为了更高效地处理和分析数据，给企业带来真正的价值——FineDataLink应运而生。 发布短短几年，FineDataLink已经积累了700+知名企业客户的信任，帮助企业开发了上百万个数据处理任务。 而在企业数字化的浪潮下，数据分析和数据开发人员是一线”作战“的主力军，亟需掌握先进技术，增强个人职业竞争力。 今天，FineDataLink践行 人才培养+能力认证（即FCA认证） 的模式。 FineDataLink4.1 教学视频全新上线——帮助从业者提升专业技能，获得职业成长，学到真本事，也为企业人才培养建设贡献一份力量。 01 课程价值 近年来，FineDataLink以低代码、高时效、易用性的产品优势赢得了越来越多企业的信任，帆软社区仅FineDataLink主题互动阅读量更是有10万+。   FineDataLink技能被众多企业所看重，已有不少企业将会使用FineDataLink工具作为任职资格和加分项：     通过学习FineDataLink 4.1教学视频，学习者可以:   提升数据处理和分析的能力，解决工作中遇到的具体问题，提升工作效率和质量。   提高个人简历的竞争力，有助于学习者在求职或职场晋升中脱颖而出。   不断更新知识，适应行业变化，获得持续进步与成长。   获得FCA-FineDataLink认证备考的重要资源，有助于系统地梳理和巩固知识点。   02 课程特色 FineDataLink 4.1教学视频面向负责企业数据采集、数据开发和数据分析需求的开发人员，系统讲解FDL数据开发、数据管道、数据服务、任务运维等核心功能，手把手从零开发实践案例，帮助学习者少走弯路，全面掌握FDL产品使用，灵活应对业务场景。   FineDataLink 4.1教学视频有哪些特色？   案例驱动式教学：丰富的实践案例教学，重视解决实际问题。   深入浅出的讲解：讲解+实操手把手教学，上手快容易懂。   清晰的学习路径：入门-->基础-->进阶，构建完整知识体系。   助力FCA认证：跟紧视频课程，通过FCA-FineDataLink认证更有把握。   03 课程内容 FineDataLink 4.1教学视频涵盖六大教学模块： 模块 内容 产品入门 初识FineDataLink产品核心能力、功能概述和价值场景，介绍FDL支持的部署方式、对应优劣势，以及具体的操作方法，帮助学习者快速入门。 数据开发 「数据开发」模块定时任务各个节点使用场景和使用方法，帮助学习者轻松构建离线数仓。 数据管道 「数据管道」模块中的Kafka配置、数据源准备和管道任务的示例操作，帮助学习者高效完成实时数据同步。 数据服务 「数据服务」模块发布和使用API的操作和应用，帮助学习者快速实现API发布。 任务运维 「任务运维」模块中的任务调度、异常监控、API管理等功能，帮助学习者摆脱复杂的运维。 最佳实践 通过大量FineDataLink实践案例，帮助学习者从理论走向实践，将功能点应用到具体场景中，真正掌握解决实际问题的能力，学以致用。       是时候让自己的能力更进一步了！   点击立即学习 FineDataLink 4.1教学视频，开启FineDataLink探索之旅。   这套课程将为你的 FCA-FineDataLink认证 之路提供坚实的基础，助力你的职业发展。      

为了帮助企业数据分析和数据开发人员更好地掌握FineDataLink产品，提高在数据集成领域的专业能力，FCA-FineDataLink 职业资格认证正式上线！ 01 认证概述 FCA-FineDataLink是基于帆软FineDataLink产品，面向企业数据分析、数据开发人员进行的一项资格认证考试，旨在通过系统化的学习与考核，帮助学习者掌握FineDataLink的基本操作和理论。   FCA-FineDataLink认证能带来什么？   对个人来说，通过FCA认证能够： 更好地理解和掌握FineDataLink的各项功能，提升自身专业技能。 获得帆软官方的职业资格认证证书，增强职场竞争力，获得更多高薪职位机会。   对企业来说，拥有通过FCA-FineDataLink的工作人员，能够： 提高数据处理能力，降低数据处理成本，为业务决策提供及时、准确的数据支持。 02 报考说明 报考入口：FCA-FineDataLink 报考要求: 通过实名认证 考试时长：40分钟 报考费用：免费 通过条件：60分及以上（满分100分） 03 考察内容 FCA-FineDataLink主要考察以下内容： 数据开发模块40%（数据转换、文件数据同步、API对接、定时调度配置、任务依赖等） 数据管道模块20%（基础理论知识，常规操作等） 数据服务10%（应用场景、接口发布等） 系统运维30%（任务运维、系统管理等） 完整考试大纲请查阅：FCA-FineDataLink考试大纲 04 学习资料 保姆级FineDataLink学习路径，涵盖快速入门-->夯实基础-->进阶实践三大部分，帮助学习者少走弯路，由浅入深系统掌握FineDataLink。     完整FineDataLink学习路径：FineDataLink学习路径 FineDataLink 4.1教学视频：FineDataLink教学视频 FineDataLink Demo平台：FineDataLink Demo平台 FineDataLink帮助文档：FineDataLink帮助文档  

【技术分享】本文将直击商管预算管理痛点，用FDL简化金蝶API取数、JSON解析等ETL过程，低代码、自动化，助力商管部门高效分析预算，开启管理新篇章。   快来关注好数连，获取更多关于API取数、JSON解析、跨业务库取数的实用技巧！   点击 FCA-FineDataLink认证 参与职业资格认证，获得帆软官方认证证书！   点击 FineDataLink学习路径 (qq.com) ，一起成为技术达人！   目录   一、企业介绍   二、挑战： 金蝶数据手工导出，跨库关联分析时效受限 金蝶API数据提取，技术实现复杂性且维护困难   三、解决方案： API取数+JSON解析，FineDataLink完美解决预算管理跨库分析难题   场景实战：金蝶API取数+JSON解析，FDL解决商管预算管理跨库分析问题 一、企业介绍 某专注于城市更新领域的地产公司，致力于成为国内领先的商用物业全价值链服务提供商，通过市场定位、设计改造、招商运营和物业管理，提升老旧和低效商用物业的价值，改善城市环境，挖掘建筑的历史文化内涵，促进文化创意产业的发展。公司的项目已覆盖多个一线城市和经济发达地区，并计划在这些地区进一步扩展和加快发展。   二、挑战 商管预算管理瓶颈凸显：金蝶数据手工导出，跨库关联分析时效受限   预算管理体系向来是企业运营过程中的重中之重，上承企业战略，下接业务策略，更直接影响到企业绩效评估、资源配置、成本控制的效果。   想要合理编制管理预算，为商管业务赋能，就需要将出租率、入住率等指标与财务的利润率做关联分析。   目前，商管部门管理预算采用的还是老一套线下人工EXCEL收集方式，耗时耗力还异常麻烦：   ● 财务人员从金蝶云星空手工导出财务系统，凭证、收入等信息 ● 业务人员从酒店管理业务管理系统中手工导出入住和订单等信息 ● 导出的数据再耗费大量人力、时间，完成一层层的数据映射和清洗，整合为一张宽表   而在经济飞速发展的数字化时代，该地产集团面对快速变化的外部环境和爆发式增长的海量数据，传统的线下预算管理越来越显得力不从心。   IT部门经理想亲自“操刀”，让集团商管业务的预算管理实现信息化、自动化。   金蝶API数据提取，技术实现复杂且维护困难   一上手，就发现了一块难啃的骨头：金蝶API接口调用取数   金蝶云系统数据输出提供了API接口方式（用户的登录验证API/表单数据查询API）   金蝶用户登录验证API的HTTP头部有两个定时更新的cookie字段，需要专门写脚本来定时获取更新后的字段值 金蝶API接口返回的数据不是标准的json格式，而是数组，所有的数据都挤在一行里面 数据量大时，数组长度会很长，不能直接输出到DB表，需要进行拆分和处理   所以IT不得不用Python、Java等语言编写复杂的脚本进行取数、清洗，技术开发要求高，维护还困难。   详情请查阅：金蝶云星空开放平台   三、解决方案 商管预算管理升级：API取数+JSON解析，FineDataLink助力高效数据处理   如何丝滑取数，还能保证支撑跨库关联分析、稳定运维呢？   正在IT经理一筹莫展之际，发现FineDataLink的API取数等功能正好可以解决这些问题，还无需复杂代码，非技术向的开发也能快速上手。     首先，确定类型是金蝶登录验证API后，获取KDSVCSessionId的值，作为下一步财务表单数据查询API的参数值。     「API输入」算子，登录验证接口。 「Json解析」算子，获取API返回的KDSVCSessionId的值。 「参数输出」算子，设置参数kdservice-sessionid。   然后，对返回的数据进行处理。   由于金蝶云API取数返回的数据不是标准的JSON格式，而是数组，在取到财务数据后使用「SparkSQL」算子对数据进行替换、拆分，将数据转换成行列表的形式。   最后，选择DB表或其他所需类型进行输出。     开发团队使用FineDataLink作为ETL工具，不仅解决了金蝶API数据采集难题，还依托FineDataLink对接多种数据源、开发任务支持定时调度的强大功能，让商管管理预算的数据采集、处理流程全部自动化、信息化。     低代码高时效，加上智能的运维系统，便捷的任务调度，再也不用担心跑脚本而不能关机了。   现在，商管部门的预算管理作业全部直接在FineDataLink中完成跨库取数、跨库关联，生成大宽表，可以快速形成预算报告。   数据准备的工作效率得到了明显提升，做到了预算管理的数字化革新！   【任务定时调度】可参考文档：「场景实战」300+数据同步任务层级化整合，一键定时调度让数据分钟级流转！-我的帆软   了解更多数据仓库与数据集成关干货内容请关注>>>FineDataLink官网   往期精彩： FDL专题：如何在工作中对Kettle任务进行迁移？可以直接调用吗？   FDL专题：对接金蝶云API取数   「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！   「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！    

本文将从以下要点带你了解如何处理CDC实时同步经常断连、任务中断的情况：   Change Data Capture（CDC）技术是一种用于数据库管理和数据集成的重要技术，其主要功能是实时捕获数据库中的变更，并记录这些变更，以便将其同步到其他系统或数据仓库中。CDC作为数据管道的一部分，通过捕获变更数据并将其传输到数据管道中，帮助确保管道中的数据能够及时更新和同步。数据管道可以进一步处理这些变更数据，进行转换、清洗、加工等操作，最终将数据推送到目标系统或存储中。但是CDC实时同步经常会因为网络波动或数据库暂时断连等情况，导致任务中断。 面对这种情况，如何确保管道任务在网络恢复后能自动重启，以减少人工干预，是运维团队必须面对的挑战。 ①「失败重试」功能：当CDC实时任务（数据管道）遇到短暂的网络故障或其他中断后能够迅速重试。可以为配置重跑次数和间隔时间，以适应不同的恢复需求。 「失败重试」功能详解： 默认状态下，系统将自动重试3次，每次间隔2分钟 用户可以根据需要调整这些参数，最大重试次数可达10次，间隔时间最长可设为60分钟 ② 默认的「断点续传」功能： 当全量同步未完成时，系统会从头开始全量同步； 若全量同步已完成，则会从上次的断点处开始断点续传，这样就节省了全量同步的时间。   另外，无论管道任务因何原因重新运行，FineDataLink都会将其视为新的任务，从第一次开始重新计算。这种设计保证了数据的一致性和准确性，避免了因重复运行而导致的混乱。 通过FineDataLink的「失败重试」功能，用户可以有效应对网络波动或其他原因导致的管道任务中断问题，确保任务的稳定运行，减少人工干预，提高工作效率。   了解更多数据仓库与数据集成关干货内容请关注>>>FineDataLink官网 往期精彩： 「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！-我的帆软 (fanruan.com) 「场景实战」300+数据同步任务层级化整合，一键定时调度让数据分钟级流转！-我的帆软 (fanruan.com) 「4.1.9更新速览」分区支持PostgreSQL、Greenplum、Gauss200, 定时任务支持Kettle...   FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界       若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！    

很多企业的ERP系统都在用金蝶云星空，金蝶云星空API是IT人员获取数据的重要来源， 常常用来生成定制化报表，进行数据分析，或是将金蝶云的数据与OA系统、BI工具集成。通常情况下，IT人员需要使用Python、Java等语言编写脚本来访问金蝶云API中的数据。这种方式一是技术门槛高，从接口访问、JSON解析到数据处理都需要编程实现；二是后期的代码更新和维护比较麻烦，对开发来说并不方便。   那么如何高效便捷进行金蝶API取数？ 一、金蝶云API的特点 金蝶云API取数需要通过两个接口：1、用户的登录验证API2、表单数据查询API。金蝶云API取数返回的数据不是标准的json格式，而是数组，所有的数据都挤在一行里面。在数据量大的情况下的话，数组长度会很长，不能直接输出到DB表，需要在FDL进行拆分和处理。 二、如何获取接口数据 对于登录验证API，用户需要获取KDSVCSessionId的值，作为下一步表单数据查询API的参数值。对于表单数据查询API，用户需要向header参数里添加参数kdservice-sessionid，参数的值就是上面获取的KDSVCSessionId。操作流程如下：「API输入」算子，登录验证接口。「Json解析」算子，获取API返回的KDSVCSessionId的值。「参数输出」算子，设置参数kdservice-sessionid。获取到参数后，利用「SparkSQL」算子从表单数据查询API取数。 三、对返回的数据进行处理 由于金蝶云API取数返回的数据不是标准的json格式，而是数组，用户在取到数据后可以使用「SparkSQL」算子对数据进行替换和拆分，将数据转换成行列表的形式再进行输出。 想要高效便捷地实现金蝶云API取数，可以使用FineDataLink的API取数功能，解决这些痛点，帮助IT团队简化对接API取数的流程。FineDataLink的API取数功能：1.支持分页、加密、循环等多种取数形式，可以满足各种API数据处理场景。2.通过图形化的节点直接拖拉拽，数据流程一目了然，还不用写那么多代码，非技术向的用户也能快速上手。3.智能的运维系统，便捷的任务调度，再也不用担心跑任务不能关机了。   功能体验连接 FDL技术帮助文档参考：分页取数-按偏移量取数 往期精彩：「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！-我的帆软 (fanruan.com)   希望本文所分享的技巧和方法能为您在实际工作中带来便利，丰富对FineDataLink的使用场景认知，助您在数据库领域更上一层楼！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！  

如何零代码实现kettle历史任务轻松调用？ 历史数据同步用的Kettle，但kettle维护成本较高，想要统一工具一步步迁移到FineDataLink，实现既可支持实时同步又能方便开发维护的效果。 FineDataLink 新增的Kettle调用功能，完全可以实现对单个 kettle 任务的便捷调用，还能展示 kettle 任务运行日志。 1、「kettle 任务-方便调用」： 在「数据开发-脚本」中选择「Kettle调用」拖入开发界面——选择需要执行 kettle 文件的服务器数据连接——输入 kettle 文件存放绝对路径——设置好需要用到的脚本参数——点击运行 2、「kettle 任务-运行日志监控」 ： kettle任务运行同时打印日志，实时查看；还能通过FDL统一平台进行管理，报错运维不再是难题！   功能体验连接 FDL技术帮助文档参考：Kettle调用插件- FineDataLink帮助文档 (fanruan.com) 往期精彩：「场景实战」关联分析性能差？试试数仓搭建，解决多源业务系统关联分析难题！-我的帆软 (fanruan.com) 希望本文所分享的技巧和方法能为您在实际工作中带来便利，丰富对FineDataLink的使用场景认知，助您在数据库领域更上一层楼！   点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界     若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！

本文将从以下要点带你了解4.1.9最新功能：（产品更新详情：4.1.9最新功能快速体验） 更新功能 数据源 分区读写支持 PostgreSQL、Greenplum、Gauss200 数据开发 定时任务支持调用Kettle、定时任务中SQL输入框支持联想显示参数 管理系统 定时任务和管道任务支持自定义字段映射规则   回收站 新增回收站功能 如果你还想学习更多FineDataLink应用技巧，可以点击：FineDataLink学习路径 (qq.com)   一、数据源 1、分区读写支持 PostgreSQL、Greenplum、Gauss200 用户面对大数据量的数据存储时，经常需要使用数据库的分区表功能来提高查询性能。 在Finedatalink 4.1.9版本中，定时任务和数据服务支持选择 PostgreSQL、Greenplum、Gauss200 的分区表作为数据来源或数据去向；定时任务和管道任务自动建表支持指定分区（PostgreSQL、Greenplum、Gauss200 ）和分布（Greenplum、Gauss200）逻辑，为用户提供更多选择。 分区读写支持 PostgreSQL、Greenplum、Gauss200 💠详情：读取、创建、写入分区表   二、数据开发 1、定时任务支持调用Kettle 用户的历史Kettle任务可能分散在不同系统，难以统一管理和监控。 FineDataLink 4.1.9版本支持对 kettle 任务进行调用以及展示Kettle任务运行日志，帮助用户实现Kettle任务的统一管理。 Kettle调用 💠详情：Kettle调用 2、定时任务中SQL输入框支持联想显示参数 用户在编写SQL语句时手动输入参数易出错，且效率不高。 为了帮助用户提高开发效率，从Finedatalink 4.1.9版本起，数据开发中的： SQL脚本、Python算子、Spark SQL算子、数据同步-API-body、API输入算子-body、DB输入算子-SQL输入框、参数赋值-DB输入SQL输入框、数据同步-DB输入SQL输入框支持自动联想参数。 SQL输入框支持联想显示参数 💠详情：SQL输入框支持联想显示参数 三、管理系统 1、定时任务和管道任务支持自定义字段映射规则 在管道任务、定时任务的同步任务配置过程中，有时会出现用户期望的字段映射关系与产品默认映射关系不符的情况。 在之前的FDL版本中，用户需要针对某个数据源下的多个任务或节点重复修改字段类型，操作非常繁琐。 为了解决这一问题，Finedatalink 4.1.9版本支持统一对多个使用同一数据连接的定时任务、管道任务自定义字段类型映射规则。 自定义字段映射规则 💠详情：通用配置-字段映射规则    四、回收站 1、新增回收站功能 用户在清理无效任务时，可能会误删掉重要任务，一旦删除难以恢复。 Finedatalink 4.1.9版本新增回收站功能，回收站支持对数据开发、数据管道、数据服务中已经删除的任务进行资源还原、彻底删除等。 回收站功能 💠详情：回收站 💠产品更新详情：4.1.9更新日志 FineDataLink是一款集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具，可在Windows或Linux环境上单机/集群部署，全程基于B/S浏览器端进行任务开发和任务运维，更多精彩功能，邀您体验，希望能帮您解决企业中数据从任意终端到任意终端的处理和传输问题，让流动的数据更有价值！ 更新详情：4.1.9更新日志 - FineDataLink帮助文档 (fanruan.com) 点击此处，直接体验 想要学习更多技术和功能，请点击FineDataLink文档   由0到1，带您进入FineDataLink的世界       若有企业试用需求，请填写此申请表单，我们的工作人员会在3个工作日内联系您！