如果要频繁访问十几亿级别的数据查询,内存不能调大一点嘛,如果后台做了分页,30g能满足嘛?

image.png最大推荐就是30g嘛?如果频繁访问clickhouse的,几十亿数据量,分页查询的话,会很吃内存嘛?还是看report的性能

FineReport jutqgCvS 发布于 2025-6-4 13:31
1min目标场景问卷 立即参与
回答问题
悬赏:3 F币 + 添加悬赏
提示:增加悬赏、完善问题、追问等操作,可使您的问题被置顶,并向所有关注者发送通知
共3回答
最佳回答
0
snrtuemcLv8专家互助
发布于2025-6-4 13:34

这么大数据,肯定吃内存,一般8-32G,其他性能会变差

但是越大,处理数据越多,只是浪费内存性能

这个推荐直接数据库处理好,查询你需要的数据在FR处理

  • jutqgCvS jutqgCvS(提问者) 用作数据查询的工具,只是单纯写了分页sql,然后查询需要的数据,数据量比较大,不知道怎么配置
    2025-06-04 13:36 
  • snrtuemc snrtuemc 回复 jutqgCvS(提问者) 一般就是8-32G内存,你这个数据量大,分页查询不会查询全部数据,会批次加载,所以一般30G也可以了
    2025-06-04 13:38 
最佳回答
0
CD20160914Lv8专家互助
发布于2025-6-4 13:44

几十亿的数据??你要看报表也要限制条件,或者做etl数据同步呀,就算sql的分页,也不可能查询几十亿的数据出来呀

谁看这么多明细。你要做后面的数据同步,只弄要的数据呀,然后再按参数查询这样减少数据量

那么前端最终展示的数据会缩小了,同时内存设置最多48GB就行了,再多就性能下降了,这是由于受tomcat的影响 !!当然如果你不是这个中间件的话,其它的中间件,那么你可以去看看是否有限制,明细不可能导出几十亿的,都是按参数查询数据,而且这个查询的结果表肯定不要用业务的几十亿大表,要处理数据

最佳回答
0
机智的yyLv5初级互助
发布于2025-6-4 14:21(编辑于 2025-6-4 14:28)

分页查询只限制页面加载数量,关键是数据库查询本身也限数据查多了也慢,所以还是会报错的。方案一说服需求方不要一次性查询这么多数据(一劳永逸),方案二自己手动做按钮点击分页写js,传参到数据查询做加参数的数据库查询分页,给你参考一下image.png

  • 4关注人数
  • 48浏览人数
  • 最后回答于:2025-6-4 14:28
    请选择关闭问题的原因
    确定 取消
    返回顶部