導航:首頁 > 編程語言 > celeryjava

celeryjava

發布時間:2021-12-07 11:35:19

『壹』 如何在多個機器上搭建celery的集群環境

1、torm集群中包含兩類節點:主控節點(Master Node)和工作節點(Work Node)。其分別對應的角色如下:
主控節點(Master Node)上運行一個被稱為Nimbus的後台程序,它負責在Storm集群內分發代碼,分配任務給工作機器,並且負責監控集群運行狀態。Nimbus的作用類似於Hadoop中JobTracker的角色。
每個工作節點(Work Node)上運行一個被稱為Supervisor的後台程序。Supervisor負責監聽從Nimbus分配給它執行的任務,據此啟動或停止執行任務的工作進程。每一個工作進程執行一個Topology的子集;一個運行中的Topology由分布在不同工作節點上的多個工作進程組成。
Nimbus和Supervisor節點之間所有的協調工作是通過Zookeeper集群來實現的。此外,Nimbus和Supervisor進程都是快速失敗(fail-fast)和無狀態(stateless)的;Storm集群所有的狀態要麼在Zookeeper集群中,要麼存儲在本地磁碟上。這意味著你可以用kill -9來殺死Nimbus和Supervisor進程,它們在重啟後可以繼續工作。這個設計使得Storm集群擁有不可思議的穩定性。
如何安裝部署Storm集群
這一章節將詳細描述如何搭建一個Storm集群。下面是接下來需要依次完成的安裝步驟:•搭建Zookeeper集群;•安裝Storm依賴庫;•下載並解壓Storm發布版本;•修改storm.yaml配置文件;•啟動Storm各個後台進程。
2.1 搭建Zookeeper集群
Storm使用Zookeeper協調集群,由於Zookeeper並不用於消息傳遞,所以Storm給Zookeeper帶來的壓力相當低。大多數情況下,單個節點的Zookeeper集群足夠勝任,不過為了確保故障恢復或者部署大規模Storm集群,可能需要更大規模節點的Zookeeper集群(對於Zookeeper集群的話,官方推薦的最小節點數為3個)。在Zookeeper集群的每台機器上完成以下安裝部署步驟:
1)下載安裝java JDK,官方下載鏈接為javasuncom/javase/downloads/indexjsp,JDK版本為JDK 6或以上。
2)根據Zookeeper集群的負載情況,合理設置Java堆大小,盡可能避免發生swap,導致Zookeeper性能下降。保守期間,4GB內存的機器可以為Zookeeper分配3GB最大堆空間。
3)下載後解壓安裝Zookeeper包,官方下載鏈接為hadoopapacheorg/zookeeper/releaseshtml。
4)根據Zookeeper集群節點情況,創建如下格式的Zookeeper配置文件zoo.cfg:tickTime=2000dataDir=/var/zookeeper/clientPort=2181initLimit=5syncLimit=2server.1=zoo1:2888:3888server.2=zoo2:2888:3888server.3=zoo3:2888:3888
其中,dataDir指定Zookeeper的數據文件目錄;其中server.id=host:port:port,id是為每個Zookeeper節點的編號,保存在dataDir目錄下的myid文件中,zoo1~zoo3表示各個Zookeeper節點的hostname,第一個port是用於連接leader的埠,第二個port是用於leader選舉的埠。
5)在dataDir目錄下創建myid文件,文件中只包含一行,且內容為該節點對應的server.id中的id編號。
6)啟動Zookeeper服務:
java -cp zookeeper.jar:lib/log4j-1.2.15.jar:conf \ org.apache.zookeeper.server.quorum.QuorumPeerMain zoo.cfg
也可以通過bin/zkServer.sh腳本啟動Zookeeper服務。
7)通過Zookeeper客戶端測試服務是否可用:•Java客戶端下,執行如下命令:
java -cp zookeeper.jar:src/java/lib/log4j-1.2.15.jar:conf:src/java/lib/jline-0.9.94.jar \ org.apache.zookeeper.ZooKeeperMain -server 127.0.0.1:2181
也可以通過bin/zkCli.sh腳本啟動Zookeeper Java客戶端。•C客戶端下,進入src/c目錄下,編譯單線程或多線程客戶端:
./configuremake cli_stmake cli_mt
運行進入C客戶端:
cli_st 127.0.0.1:2181cli_mt 127.0.0.1:2181
至此,完成了Zookeeper集群的部署與啟動。
3、向集群提交任務
1)啟動Storm Topology:
storm jar allmycode.jar org.me.MyTopology arg1 arg2 arg3
其中,allmycode.jar是包含Topology實現代碼的jar包,org.me.MyTopology的main方法是Topology的入口,arg1、arg2和arg3為org.me.MyTopology執行時需要傳入的參數。
2)停止Storm Topology:
storm kill {toponame}
其中,{toponame}為Topology提交到Storm集群時指定的Topology任務名稱。

『貳』 怎麼得到celery周期運行存儲在內存中的數據

不懂你的意思?java不能自己直接操作內存,而且平時的操作也是jvm的內存(雖然JVM的內存來自系統RAM)。你實例化一個類就是將數據寫入內存了

閱讀全文

與celeryjava相關的資料

熱點內容
appstore禁用銀行卡 瀏覽:369
ios支持文件夾導入的看書軟體 瀏覽:657
微信轉賬5000元圖片 瀏覽:703
桂林萬象城電影院今日影訊 瀏覽:58
note4文件管理移植 瀏覽:682
那種在線觀看網址鏈 瀏覽:321
資料庫中性別用什麼字元 瀏覽:672
易捷文件加密軟體注冊碼 瀏覽:312
一部關於偵探下馬和綉花鞋的老電影 瀏覽:19
山茶花之戀演員 瀏覽:750
周星馳全部電影在線免費觀看 瀏覽:613
vk網路中是什麼意思 瀏覽:489
win10UWP文件加密軟體 瀏覽:187
js怎麼判斷周六日 瀏覽:674
寄文件到香港多少運費 瀏覽:402
svn回到之前版本 瀏覽:342
!30e731Fzue! 瀏覽:697
重生山西抗戰軍閥 瀏覽:439
如下程序的輸出結果是 瀏覽:191
ipad怎麼保存微信上的視頻文件 瀏覽:279

友情鏈接