你可以先取出部分数据，处理完了保存，然后再取一部分，这不是提高计算速专度，而是提高属数据库读取效率，因为你每次从数据库读一条数据会很浪费时间。
不过你只有1000条数据不算太多的，而且你又不做排序，效率上不会差太多。
剩下的效率瓶颈就在你的公式或者方法里了。
⑵ Java 大数据统计 折线图
你可以试试chrome加来birt。其实jvm内存是有限自的，几百万个点很快就吃光你的内存了。
如果你用birt虽然后台画的时候慢一点，但是结果就是一个网页展示jpg图片，所以前端用户那里应该还是比较快的。
⑶ java 大数据 指多少条数据
我想你问的是在数据库中的表要有多少条才能算大数据。其实您清楚，如果表中的数据超过千万以上，再好索引也会导致查询变慢。现在的海量数据一般都是PT级的，数据存放也不仅限于传统的关系型数据库。
⑷ java数据库一次性取出大数据量的数据用arraylist还是linklist
取出大数据量的数据和用arraylist还是linklist没有任何关系！
看你的关注点在哪里，如果内数据量够大，你要考虑查询容时间会不会太长，你能不能接受
ArrayList和LinkList的区别是底层数据结构不一样。
ArrayList底层用得是数组，查询快。
LinkedList底层是自定义数据体，增删快。
所以你要如何处理这个数据，可以根据不同的特别来决定使用哪一个？
如果仅仅只是作为一个接收体，并不对数据做任何处理，那么两者都一样
⑸ java大数据量分批处理怎么实现
读取数据估计是没办法了，重点可以放在写入的操作上，粗略的认为，你使用框架进行数版据库写权入操作还不如用使用java原生的jdbc进行操作然后使用jdbc 的原生的批处理，我觉得肯定比框架快。我记得我当时插入10w条数据，只用了3秒，不过用的是oracle数据库。进行边读取边插入，这样占用的内存也相对小一些
⑹ 求Java poi 大数据量导出(五万行数据) 例子
我给你个办法，是要导出excel吗？别使用poi，使用xml来描述excel即可，就像流文件一样，多少都不会流出，给你个思路，你自己扩展，希望你能看明白。
/**
* @author J.W
* 2011-06-08
*/
import java.io.BufferedOutputStream;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
public class Test {
public static void main(String[] args) {
StringBuffer sb = new StringBuffer();
try {
DataOutputStream rafs = new DataOutputStream(
new BufferedOutputStream(new FileOutputStream(new File(
"d://test.xml"))));
sb.append("<?xml version=\"1.0\"?>");
sb.append("\n");
sb.append("<?mso-application progid=\"Excel.Sheet\"?>");
sb.append("\n");
sb.append("<Workbook xmlns=\"urn:schemas-microsoft-com:office:spreadsheet\"");
sb.append("\n");
sb.append(" xmlns:o=\"urn:schemas-microsoft-com:office:office\"");
sb.append("\n");
sb.append(" xmlns:x=\"urn:schemas-microsoft-com:office:excel\"");
sb.append("\n");
sb.append(" xmlns:ss=\"urn:schemas-microsoft-com:office:spreadsheet\"");
sb.append("\n");
sb.append(" xmlns:html=\"http://www.w3.org/TR/REC-html40\">");
sb.append("\n");
sb.append(" <Styles>\n");
sb.append(" <Style ss:ID=\"Default\" ss:Name=\"Normal\">\n");
sb.append(" <Alignment ss:Vertical=\"Center\"/>\n");
sb.append(" <Borders/>\n");
sb.append(" <Font ss:FontName=\"宋体\" x:CharSet=\"134\" ss:Size=\"12\"/>\n");
sb.append(" <Interior/>\n");
sb.append(" <NumberFormat/>\n");
sb.append(" <Protection/>\n");
sb.append(" </Style>\n");
sb.append(" </Styles>\n");
int sheetcount = 0;
int recordcount = 20;
int currentRecord = 0;
int total = 100;
int col = 20;
sb.append("<Worksheet ss:Name=\"Sheet0\">");
sb.append("\n");
sb.append("<Table ss:ExpandedColumnCount=\"" + col
+ "\" ss:ExpandedRowCount=\"" + total
+ "\" x:FullColumns=\"1\" x:FullRows=\"1\">");
sb.append("\n");
for (int i = 0; i < total; i++) {
if ((currentRecord == recordcount
|| currentRecord > recordcount || currentRecord == 0)
&& i != 0) {// 一个sheet写满
currentRecord = 0;
rafs.write(sb.toString().getBytes());
sb.setLength(0);
sb.append("</Table>");
sb.append("<WorksheetOptions xmlns=\"urn:schemas-microsoft-com:office:excel\">");
sb.append("\n");
sb.append("<ProtectObjects>False</ProtectObjects>");
sb.append("\n");
sb.append("<ProtectScenarios>False</ProtectScenarios>");
sb.append("\n");
sb.append("</WorksheetOptions>");
sb.append("\n");
sb.append("</Worksheet>");
sb.append("<Worksheet ss:Name=\"Sheet" + i / recordcount
+ "\">");
sb.append("\n");
sb.append("<Table ss:ExpandedColumnCount=\"" + col
+ "\" ss:ExpandedRowCount=\"" + recordcount
+ "\" x:FullColumns=\"1\" x:FullRows=\"1\">");
sb.append("\n");
}
sb.append("<Row>");
for (int j = 0; j < col; j++) {
System.out.println(i);
sb.append("<Cell><Data ss:Type=\"String\">10000000000000000123</Data></Cell>");
sb.append("\n");
}
sb.append("</Row>");
if (i % 5000 == 0) {
rafs.write(sb.toString().getBytes());
rafs.flush();
sb.setLength(0);
}
sb.append("\n");
currentRecord++;
}
rafs.write(sb.toString().getBytes());
sb.setLength(0);
sb.append("</Table>");
sb.append("<WorksheetOptions xmlns=\"urn:schemas-microsoft-com:office:excel\">");
sb.append("\n");
sb.append("<ProtectObjects>False</ProtectObjects>");
sb.append("\n");
sb.append("<ProtectScenarios>False</ProtectScenarios>");
sb.append("\n");
sb.append("</WorksheetOptions>");
sb.append("\n");
sb.append("</Worksheet>");
sb.append("</Workbook>");
sb.append("\n");
rafs.write(sb.toString().getBytes());
rafs.flush();
rafs.close();
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
可以直接执行，只是给你个思路。
⑺ java大数据量报表怎么处理
采用插件类报表工具会有更好的性能，如Grid++报表插件性能就很好，可以获得与桌面程序报表差不多的性能。
⑻ 有哪些 java 解决大数据量同步的优选方案
建议采用缓存处理，按照你说的这种数据量，基于redis的缓存完全可以专满足，存取速属度可以10W+的，另外，拟采用的hashMap 是ConcurrentHashMap还是其他，页面展示是增量查询还是直接所有的再查询一次，socket数据接收你是用的netty还是mina，这都需要经过仔细的斟酌考虑设计的。有这么大的并发的需求，完全可以考虑做分布式集群的，估计这只是领导想要的目标吧
⑼ java大数据的发展
Java发展前景：根据来IDC的统计数字，在所自有软件开发类人才的需求中，对Java工程师的需求达到全部需求量的60%~70%。同时，Java工程师 的薪水相对较高。Java软件工程师一般月薪范围在4000-10000元，远 远超过了应届毕业生2500元的平均水平。通常来说，有一年工作经验的Java高级软件工程师的薪酬，建议兄弟.连你问一下应该会给你想要的答案。
⑽ java遍历大数据量比较一个内容，怎样写效率会快点
我觉得比较靠谱的就是先对大数据量的数据进行索引，缩小比较的范围，比如原专来可能是:
1,2,3,4,5,6,7,8,9,10...
这是原属始数据，那么我们可以做索引（当然不同的数据索引方式要重新设计合理的索引方案）
比如
1-5: [1,2,3,4,5]
6-10: [6,7,8,9,10]
.....
此时需要比较2， 直接定位到了 1-5的索引，那么我们的比较次数就变少了，大概就是这个思想，缩小比较范围