|
帆软「应用数据源（云端）连接器」帮你解决云端数据采集痛点
旺店通、聚水潭、飞书表格、亚马逊等100+主流云端应用系统数据10min直接落库！
11月19日直播了连接器的实践操作和案例
👇扫描下方二维码可查看直播视频回放![]() ![]() ![]() ![]() ![]()
感谢大家对「应用数据源（云端）连接器」的关注，以下是直播过程中的问题清单，我们整理了文字版分享给大家，若大家还有其他疑问，欢迎大家联系我们，我们会为大家进行解答。
当前支持对接100+主流的云端应用系统，隔周迭代更新，未来将扩展至全范围的数据源域，满足多样化的业务需求。
👇扫描下方二维码可获取当前支持的平台/表/字段
当前测试下来不同数据源的平均同步速度大概在500r/s，同步性能也会受上游接口质量和同步时间段的影响，连接器针对报错、限流等问题都设计了优化机制，能够保障数据准确、高效地同步。
定时管道任务每次运行成功后，任务中的增量表会更新断点位置，下次运行直接从最新的断点位置开始同步；
下一次请求的时间分片略早于上一个时间分片5分钟，避免临界点上的数据缺失，根据接口特性会进行适当回溯；
从最大页数往前遍历到第1页，避免在分页查询期间数据发生变化导致遗漏，比如数据本来在第2页，但在请求第2页时第1页数据变少了，同等查询条件下原本第2页的部分数据前移到第1页，此时请求第2页就会缺少这部分前移数据。
由于网络波动或者其他原因，导致任务运行中断，过段时间重新运行任务即可成功执行。在此场景下，根据接口限流规则自适应重试间隔，贴近接口上限达到最大化速率
先按大时间分片获取数据，如果数据过大异常再动态缩小时间分片，最大化利用接口上限提高效率。
支持设置定时调度来实现每天自动、准时的数据同步，当天每天每张表的调用余量为30次，能够保证小时级的数据更新。
支持设置任务同步异常告警，当出现报错时可以通过邮件、短信等渠道主动通知；
运行记录中可以查看每次运行时清晰简洁的运行日志，报错的原因也会在这里写明。 | 
