你可以先取出部分數據，處理完了保存，然後再取一部分，這不是提高計算速專度，而是提高屬資料庫讀取效率，因為你每次從資料庫讀一條數據會很浪費時間。
不過你只有1000條數據不算太多的，而且你又不做排序，效率上不會差太多。
剩下的效率瓶頸就在你的公式或者方法里了。
⑵ Java 大數據統計 折線圖
你可以試試chrome加來birt。其實jvm內存是有限自的，幾百萬個點很快就吃光你的內存了。
如果你用birt雖然後台畫的時候慢一點，但是結果就是一個網頁展示jpg圖片，所以前端用戶那裡應該還是比較快的。
⑶ java 大數據 指多少條數據
我想你問的是在資料庫中的表要有多少條才能算大數據。其實您清楚，如果表中的數據超過千萬以上，再好索引也會導致查詢變慢。現在的海量數據一般都是PT級的，數據存放也不僅限於傳統的關系型資料庫。
⑷ java資料庫一次性取出大數據量的數據用arraylist還是linklist
取出大數據量的數據和用arraylist還是linklist沒有任何關系！
看你的關注點在哪裡，如果內數據量夠大，你要考慮查詢容時間會不會太長，你能不能接受
ArrayList和LinkList的區別是底層數據結構不一樣。
ArrayList底層用得是數組，查詢快。
LinkedList底層是自定義數據體，增刪快。
所以你要如何處理這個數據，可以根據不同的特別來決定使用哪一個？
如果僅僅只是作為一個接收體，並不對數據做任何處理，那麼兩者都一樣
⑸ java大數據量分批處理怎麼實現
讀取數據估計是沒辦法了，重點可以放在寫入的操作上，粗略的認為，你使用框架進行數版據庫寫權入操作還不如用使用java原生的jdbc進行操作然後使用jdbc 的原生的批處理，我覺得肯定比框架快。我記得我當時插入10w條數據，只用了3秒，不過用的是oracle資料庫。進行邊讀取邊插入，這樣佔用的內存也相對小一些
⑹ 求Java poi 大數據量導出(五萬行數據) 例子
我給你個辦法，是要導出excel嗎？別使用poi，使用xml來描述excel即可，就像流文件一樣，多少都不會流出，給你個思路，你自己擴展，希望你能看明白。
/**
* @author J.W
* 2011-06-08
*/
import java.io.BufferedOutputStream;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
public class Test {
public static void main(String[] args) {
StringBuffer sb = new StringBuffer();
try {
DataOutputStream rafs = new DataOutputStream(
new BufferedOutputStream(new FileOutputStream(new File(
"d://test.xml"))));
sb.append("<?xml version=\"1.0\"?>");
sb.append("\n");
sb.append("<?mso-application progid=\"Excel.Sheet\"?>");
sb.append("\n");
sb.append("<Workbook xmlns=\"urn:schemas-microsoft-com:office:spreadsheet\"");
sb.append("\n");
sb.append(" xmlns:o=\"urn:schemas-microsoft-com:office:office\"");
sb.append("\n");
sb.append(" xmlns:x=\"urn:schemas-microsoft-com:office:excel\"");
sb.append("\n");
sb.append(" xmlns:ss=\"urn:schemas-microsoft-com:office:spreadsheet\"");
sb.append("\n");
sb.append(" xmlns:html=\"http://www.w3.org/TR/REC-html40\">");
sb.append("\n");
sb.append(" <Styles>\n");
sb.append(" <Style ss:ID=\"Default\" ss:Name=\"Normal\">\n");
sb.append(" <Alignment ss:Vertical=\"Center\"/>\n");
sb.append(" <Borders/>\n");
sb.append(" <Font ss:FontName=\"宋體\" x:CharSet=\"134\" ss:Size=\"12\"/>\n");
sb.append(" <Interior/>\n");
sb.append(" <NumberFormat/>\n");
sb.append(" <Protection/>\n");
sb.append(" </Style>\n");
sb.append(" </Styles>\n");
int sheetcount = 0;
int recordcount = 20;
int currentRecord = 0;
int total = 100;
int col = 20;
sb.append("<Worksheet ss:Name=\"Sheet0\">");
sb.append("\n");
sb.append("<Table ss:ExpandedColumnCount=\"" + col
+ "\" ss:ExpandedRowCount=\"" + total
+ "\" x:FullColumns=\"1\" x:FullRows=\"1\">");
sb.append("\n");
for (int i = 0; i < total; i++) {
if ((currentRecord == recordcount
|| currentRecord > recordcount || currentRecord == 0)
&& i != 0) {// 一個sheet寫滿
currentRecord = 0;
rafs.write(sb.toString().getBytes());
sb.setLength(0);
sb.append("</Table>");
sb.append("<WorksheetOptions xmlns=\"urn:schemas-microsoft-com:office:excel\">");
sb.append("\n");
sb.append("<ProtectObjects>False</ProtectObjects>");
sb.append("\n");
sb.append("<ProtectScenarios>False</ProtectScenarios>");
sb.append("\n");
sb.append("</WorksheetOptions>");
sb.append("\n");
sb.append("</Worksheet>");
sb.append("<Worksheet ss:Name=\"Sheet" + i / recordcount
+ "\">");
sb.append("\n");
sb.append("<Table ss:ExpandedColumnCount=\"" + col
+ "\" ss:ExpandedRowCount=\"" + recordcount
+ "\" x:FullColumns=\"1\" x:FullRows=\"1\">");
sb.append("\n");
}
sb.append("<Row>");
for (int j = 0; j < col; j++) {
System.out.println(i);
sb.append("<Cell><Data ss:Type=\"String\">10000000000000000123</Data></Cell>");
sb.append("\n");
}
sb.append("</Row>");
if (i % 5000 == 0) {
rafs.write(sb.toString().getBytes());
rafs.flush();
sb.setLength(0);
}
sb.append("\n");
currentRecord++;
}
rafs.write(sb.toString().getBytes());
sb.setLength(0);
sb.append("</Table>");
sb.append("<WorksheetOptions xmlns=\"urn:schemas-microsoft-com:office:excel\">");
sb.append("\n");
sb.append("<ProtectObjects>False</ProtectObjects>");
sb.append("\n");
sb.append("<ProtectScenarios>False</ProtectScenarios>");
sb.append("\n");
sb.append("</WorksheetOptions>");
sb.append("\n");
sb.append("</Worksheet>");
sb.append("</Workbook>");
sb.append("\n");
rafs.write(sb.toString().getBytes());
rafs.flush();
rafs.close();
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
可以直接執行，只是給你個思路。
⑺ java大數據量報表怎麼處理
採用插件類報表工具會有更好的性能，如Grid++報表插件性能就很好，可以獲得與桌面程序報表差不多的性能。
⑻ 有哪些 java 解決大數據量同步的優選方案
建議採用緩存處理，按照你說的這種數據量，基於redis的緩存完全可以專滿足，存取速屬度可以10W+的，另外，擬採用的hashMap 是ConcurrentHashMap還是其他，頁面展示是增量查詢還是直接所有的再查詢一次，socket數據接收你是用的netty還是mina，這都需要經過仔細的斟酌考慮設計的。有這么大的並發的需求，完全可以考慮做分布式集群的，估計這只是領導想要的目標吧
⑼ java大數據的發展
Java發展前景：根據來IDC的統計數字，在所自有軟體開發類人才的需求中，對Java工程師的需求達到全部需求量的60%~70%。同時，Java工程師 的薪水相對較高。Java軟體工程師一般月薪范圍在4000-10000元，遠 遠超過了應屆畢業生2500元的平均水平。通常來說，有一年工作經驗的Java高級軟體工程師的薪酬，建議兄弟.連你問一下應該會給你想要的答案。
⑽ java遍歷大數據量比較一個內容，怎樣寫效率會快點
我覺得比較靠譜的就是先對大數據量的數據進行索引，縮小比較的范圍，比如原專來可能是:
1,2,3,4,5,6,7,8,9,10...
這是原屬始數據，那麼我們可以做索引（當然不同的數據索引方式要重新設計合理的索引方案）
比如
1-5: [1,2,3,4,5]
6-10: [6,7,8,9,10]
.....
此時需要比較2， 直接定位到了 1-5的索引，那麼我們的比較次數就變少了，大概就是這個思想，縮小比較范圍