SparkSQL对单表列数存在隐式限制(通常为100-200列),超过阈值时可能因元数据超载导致写入失败。这是Spark内核为防止宽表内存溢出设计的保护机制
-------
FineDataLink的优化约束
---执行计划拆分限制行转列操作会被拆分为多个LocalLimit和GlobalLimit任务,当列数超过150时可能导致DAG调度层崩溃
---文件格式兼容性问题输出到Parquet等列式存储时:超过150列易触发“递归深度超限”错误;ORC格式对宽表支持较差(需开启特殊配置)
可以尝试