FDL中数据比对中左表为DB表输入，右表为简道云输入（其中有6条重复数据），主键dw_id映射比对之

数据比对之后，还是输出简道云的186条数据（包含6条重复数据），并且使用spark SQL去重无反应

FineDataLink xiao-an 发布于 2024-11-15 17:51 （编辑于 2024-11-15 17:52）

回答问题关注问题

悬赏：0 F币 + 添加悬赏

提示：增加悬赏、完善问题、追问等操作，可使您的问题被置顶，并向所有关注者发送通知

共1回答

华莉星宸Lv7资深互助
发布于2024-11-15 18:27

举报收起评论(3)

xiao-an(提问者) 刚刚发现了是_id不一致造成的，那怎么样可以把这6条重复数据去除呢，_id删不掉啊

2024-11-15 18:40

华莉星宸回复 xiao-an(提问者) ID不一样？那你怎么确认唯一性呢。只能靠手动方式删

2024-11-15 18:42

xiao-an(提问者) 谢谢解答，没找到_id不一致的原因，最后清空表重新写入解决了

2024-11-18 10:26

2关注人数

77浏览人数

最后回答于：2024-11-15 18:27

活动推荐更多

热门课程更多

确定取消