插入提交会在乎数据库表有多大吗？

帆软从实时数据库取出1.7万个点，做成cpt，然后定时任务提交到关系数据库，每小时提交一次，每天就提交40万条数据，做17个定时任务，每个模板取1000个点，帆软取实时数据库本来就慢，用的插入提交，要不要分开建数据表？能不能都提交到同一个数据库表？用智能提交肯定不行，不到一个月就得1000万条数据

FineReport 张宇 发布于 2025-3-28 15:13 （编辑于 2025-3-28 15:15）

1min目标场景问卷

立即参与

回答问题关注问题

悬赏：3 F币 + 添加悬赏

提示：增加悬赏、完善问题、追问等操作，可使您的问题被置顶，并向所有关注者发送通知

共4回答

最佳回答

华莉星宸Lv7资深互助
发布于2025-3-28 15:46（编辑于 2025-3-28 16:30）

你的数据库表有没有建主键、索引？

如果有主键或是索引

直接的插入提交也是会跟数据库有关系的，数据库会建索引这些会导致插入变慢

---------------------

kettle连接方式

CD20160914Lv8专家互助
发布于2025-3-28 15:16

这个数据量，你还是换一个工具定时写入数据库吗，是感觉只有这个工具了吗？

举报收起评论(4)

张宇(提问者) 其他工具能连接PI实时数据库？kettle不可以把

2025-03-28 15:17

CD20160914 回复张宇(提问者) PI 是什么数据库

2025-03-28 15:20

张宇(提问者) 回复 CD20160914 OSI PI 实时数据库系统 (Plant Inhrmation System) 是由美国 OSI Software 公司开发的基于 C/S、B/S 结构的商品化软件应用平台，是工厂底层控制网络与上层管理信息系统连接的桥梁，PI 在工厂信息集成中扮演着特殊和重要的角色

2025-03-28 15:23

CD20160914 回复张宇(提问者) 没有这个数据库，也没有这个经验，无法判断。给老板提个意见，购买软件吧，当想马儿跑得快，就是不想给马吃草。这老板哎！！！

2025-03-28 15:31

snrtuemcLv8专家互助
发布于2025-3-28 15:23

推荐FDL，可以获取PI接口数据的

FineDataLink产品简介 https://help.fanruan.com/finedatalink/doc-view-2.html

FineDataLink与Kettle的区别 https://help.fanruan.com/finedatalink/doc-view-760.html

举报收起评论(6)

张宇(提问者) 没买FineDataLink，kettle不可以吗？

2025-03-28 15:26

snrtuemc 回复张宇(提问者) 也可以，只是读取接口数据文件吃力点

2025-03-28 15:28

张宇(提问者) 回复 snrtuemc 不是jdbc连接吗

2025-03-28 15:36

snrtuemc 回复张宇(提问者) 不是的

2025-03-28 15:45

张宇(提问者) 回复 snrtuemc 那怎么读取

2025-03-28 15:50

还有1条评论点击查看

FR-LeonLv4见习互助
发布于2025-3-28 15:35

上kettle

举报收起评论(4)

张宇(提问者) 怎么连接pi

2025-03-28 15:38

FR-Leon 回复张宇(提问者) 通过JDBC驱动连接‌
若PI数据库提供JDBC驱动：

‌驱动配置‌

下载PI数据库官方JDBC驱动包（如piclient.jar），将其复制到Kettle安装目录的lib文件夹下‌
重启Kettle确保驱动生效。
‌创建数据库连接‌

在转换或作业中，进入‌主对象树‌ → ‌DB连接‌ → 右键选择‌新建‌。
设置连接参数：
‌连接类型‌：选择“Other (JDBC)”或自定义类型。
‌连接方式‌：填写JDBC URL（例如：jdbc:pi://:/
‌用户名/密码‌：输入PI数据库的认证信息。
点击‌测试‌验证连接是否成功‌

2025-03-28 15:42