導航:首頁 > 網路數據 > java大數據多線程處理

java大數據多線程處理

發布時間:2021-10-25 16:06:32

A. java多線程處理大批文件

線程數量一般是個估算值。這個要憑經驗來判定。
判定規則如下:
如果您能保證您的線程程序不會因為等待任何I/O事件產生等待(比如等待網路、等待資料庫、等待磁碟),那麼應創建CPU進程個數個線程數。
如果您的線程程序I/O等待時間和執行時間大致相等,應創建CPU進程數x2個線程數。

B. java多線程處理數據發送

1、可以在資料庫里加觸發器,實現a表到b表的數據過渡
2、寫代碼,循環監聽a表數據,與b表現有數據做比較,判斷是否需要調用數據過渡邏輯,從a表導數到b表

C. JAVA高並發問題,大數據,頻繁I/O操作。

建議採用緩存處理,按照你說的這種數據量,基於redis的緩存完全可以版滿足,存取速度可以10W+的,另外,擬采權用的hashMap 是ConcurrentHashMap還是其他,頁面展示是增量查詢還是直接所有的再查詢一次,socket數據接收你是用的netty還是mina,這都需要經過仔細的斟酌考慮設計的。有這么大的並發的需求,完全可以考慮做分布式集群的,估計這只是領導想要的目標吧

D. java如何快速處理大數據

文件讀取:首先是一個文件上傳,數據入庫,10-200萬條不等,這里主要考慮到一次性讀取,JVM分配出來的棧內存不一定會夠(個人對內存這一塊還是處於一知半解的狀態,所以比較謹慎,若諸位大神有好的認知,希望評論留下地址分享一下),是依行讀取數據,設定一個批量值,當讀取的數據達到一定量之後,執行批量入庫操作,清空集合,再接著讀取。
//讀取文件內容
while((s = br.readLine())!=null){
//判斷是否達到單次處理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//將讀取到的內容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
數據處理:這里的思路也是將數據小化然後處理,這里使用了多線程,設定單個線程處理量,然後開啟多個線程處理,這里需要考慮你的伺服器的承載能力,如果線程開得太多了,處理不過來,會出現蹦死的情況。例如200萬數據,我開了20個線程,單個線程處理600條。
//建立一個線程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//當正在執行的線程數達到最大執行線程數的時候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查詢一次
int c = threadPool.getActiveCount();//線程池中活動中的線程數量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代碼是我對線程池的一個控制,控制伺服器一直最大線程執行,Thread.sleep(1000);用while的時候,這個休眠最好不要去掉,去掉之後很影響執行效率

E. Java如何處理大數據的

文件讀取:首先是一個文件上傳,數據入庫,10-200萬條不等,這里主要考慮到一次性讀取,JVM分配出來的棧內存不一定會夠(個人對內存這一塊還是處於一知半解的狀態,所以比較謹慎,若諸位大神有好的認知,希望評論留下地址分享一下),是依行讀取數據,設定一個批量值,當讀取的數據達到一定量之後,執行批量入庫操作,清空集合,再接著讀取。
//讀取文件內容
while((s = br.readLine())!=null){
//判斷是否達到單次處理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//將讀取到的內容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
數據處理:這里的思路也是將數據小化然後處理,這里使用了多線程,設定單個線程處理量,然後開啟多個線程處理,這里需要考慮你的伺服器的承載能力,如果線程開得太多了,處理不過來,會出現蹦死的情況。例如200萬數據,我開了20個線程,單個線程處理600條。
//建立一個線程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//當正在執行的線程數達到最大執行線程數的時候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查詢一次
int c = threadPool.getActiveCount();//線程池中活動中的線程數量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代碼是我對線程池的一個控制,控制伺服器一直最大線程執行,Thread.sleep(1000);用while的時候,這個休眠最好不要去掉,去掉之後很影響執行效率

F. 處理大數據量時後台如何寫多線程一個線程直接返回前端,一個線程繼續處理業務邏輯求代碼謝謝

class out implements Runnable
{
private int ticket = 100;
public synchronized void run()
{
while (true)
{
if (ticket>o)
{
System.out.println(Thread.currentThread().getName()+"="+"sale..."+ticket--);//若改成抄this.getName();不行因為介面里沒有getName();
}
}
}
}
class RunnableDemo
{
public static void main(String[] args)
{
Ticket P = new Ticket();//先創造介面對象
Thread P1 = new Thread(P);//再把介面對象給Thread
Thread P2 = new Thread(P);
P1.start();
P2.start();
}

G. java 多線程 對集合數據的處理

因為多線程就不是為了增加速度存在的,而是為了優化用戶體驗,你要增快速度只有在硬體或者底層優化。

H. java 多線程如何處理並發性

類里保存一個沒用的Object對象,對需要並發的代碼都synchonized這個對象

I. java項目,高並發,後台是否該用線程處理

synchronized關鍵字主要解決多線程共享數據同步問題。
ThreadLocal使用場合主要解決多線程中數據因並發產生不一致問題。
ThreadLocal和Synchonized都用於解決多線程並發訪問。但是ThreadLocal與synchronized有本質的區別:
synchronized是利用鎖的機制,使變數或代碼塊在某一時該只能被一個線程訪問。而ThreadLocal為每一個線程都提供了變數的副本,使 得每個線程在某一時間訪問到的並不是同一個對象,這樣就隔離了多個線程對數據的數據共享。而Synchronized卻正好相反,它用於在多個線程間通信 時能夠獲得數據共享。
Synchronized用於線程間的數據共享,而ThreadLocal則用於線程間的數據隔離。當然ThreadLocal並不能替代synchronized,它們處理不同的問題域。Synchronized用於實現同步機制,比ThreadLocal更加復雜。
1、Java中synchronized用法
使用了synchronized關鍵字可以輕松地解決多線程共享數據同步問題。
synchronized關鍵字可以作為函數的修飾符,也可作為函數內的語句,也就是平時說的同步方法和同步語句塊。如果再細的分 類,synchronized可作用於instance變數、object reference(對象引用)、static函數和class literals(類名稱字面常量)身上。
synchronized取得的鎖都是對象;每個對象只有一個鎖(lock)與之相關聯;實現同步是要很大的系統開銷作為代價的,甚至可能造成死鎖,所以盡量避免無謂的同步控制。

閱讀全文

與java大數據多線程處理相關的資料

熱點內容
大學物理教程下冊 瀏覽:164
linux與uclinux 瀏覽:627
楊凌的美妻嬌綠帽篇 瀏覽:825
韓國日本電影在線 瀏覽:496
海綿寶寶劇場版有幾部 瀏覽:821
電影前度2 瀏覽:121
免費高清看電視的網站 瀏覽:906
html5開發工具有那些 瀏覽:27
(中文字幕)NSFS-411 露 瀏覽:165
蒙氏學五子棋視頻教程 瀏覽:293
你想看的電影網 瀏覽:350
編程貓作品播放出現問題怎麼辦 瀏覽:617
法國啄木鳥在哪裡可以看 瀏覽:146
最狂野的夢想電影英語觀後感120字 瀏覽:452
征途文件里哪個是背包文件 瀏覽:545
補習女老師電影韓國 瀏覽:495
食物鏈女主角叫什麼 瀏覽:746
樓上偷窺的電影叫啥 瀏覽:234
大數據理事會 瀏覽:161
eclipsejava可執行 瀏覽:102

友情鏈接