bgcd.net
当前位置:首页 >> jAvA 导入大数据 >>

jAvA 导入大数据

对于数据规模太大的,做成任务。 用户点击导出,检查他的数据规模,超过50W的,提示其数据规模过大,可能需要 N 小时完成,请稍候再来查询和下载导出结果。如果用户点击确定,你就提示:“任务已进入队列,点击此连接查询导出进度。” 然后你要做...

记得有个属性, POI3.8的SXSSF包是XSSF的一个扩展版本,支持流处理,在生成大数据量的电子表格且堆空间有限时使用。SXSSF通过限制内存中可访问的记录行数来实现其低内存利用,当达到限定值时,新一行数据的加入会引起老一行的数据刷新到硬盘。 ...

Hadoop之类的去看一下,还有大数据只是个概念具体技术还是要分的

用一些好的框架工具 spring batch

这样每次去读取上百万条数据,不崩掉才怪, 我的想法是,你分批去查,然后分批导出, 类似于分页,每1000 或者更多为一批 按批次去执行,然后做一个进度条,按有多少批次为进度数进行导出 这样应该会好很多 还可以做个缓存机制,按批次进行存储...

dom4j可以试试,不知道你的数据量有多大,如果太大的话,我没试过 xml文件是有规律的,可以把要导出的数据构造一下, 我有个简单的代码,在这分享一下,希望对LZ有用 package com.test.xml; import java.io.FileWriter; import java.io.IOExcept...

首先学习好基础,然后学习算法和大数据的框架, 多接触一些大数据的项目

建议采用缓存处理按照说种数据量基于redis缓存完全满足存取速度10W+另外拟采用hashMap ConcurrentHashMap其页面展示增量查询直接所再查询socket数据接收用nettymina都需要经仔细斟酌考虑设计并发需求完全考虑做布式集群估计领导想要目标吧

会编程语言的人应该能简单的解决这个问题。 excel表格的行和列是有限制的,用office2013应该不会有内存溢出的问题了

这是设计问题,看你从哪倒到哪。一般会考虑缓存,甚至多线程

网站首页 | 网站地图
All rights reserved Powered by www.bgcd.net
copyright ©right 2010-2021。
内容来自网络,如有侵犯请联系客服。zhit325@qq.com