① 雲計算未來發展趨勢
一、虛擬化技術向軟硬協同方向發展
按照IDC的研究，2005年之前是虛擬化技術發展的第一階段，稱之為虛擬化1.0，從2005年到2010年時虛擬化發展的第二階段，稱之為虛擬化2.0，目前已經進入虛擬化2.5階段，虛擬化3.0階段在不久也將會到來。根據Gartner的預測，到2016年中國70%的X86企業伺服器將實現虛擬化。
ArsTechnica網站上刊出的一篇文章評論到，當前的虛擬化市場當中，VMware是老大，微軟Hyper-V老二，思傑Xen第三，紅帽和甲骨文在爭奪第四把交椅。隨著伺服器等硬體技術和相關軟體技術的進步、軟體應用環境的逐步發展成熟以及應用要求不斷提高，虛擬化由於具有提高資源利用率、節能環保、可進行大規模數據整合等特點成為一項具有戰略意義的新技術。
首先，隨著各大廠商紛紛進軍虛擬化領域，開源虛擬化將不斷成熟。
其次，隨著虛擬化技術的發展，軟硬協同的虛擬化將加快發展。在這方面，內存的虛擬化已初顯端倪。
第三，網路虛擬化發展迅速。網路虛擬化可以高效地利用網路資源，具有節能成本、簡化網路運維和管理、提升網路可靠性等優點。
二、數據中心向整合化和綠色節能方向發展
目前傳統數據中心的建設正面臨異構網路、靜態資源、管理復雜、能耗高等方面問題，雲計算數據中心與傳統數據中心有所不同，它既要解決如何在短時間內快速、高效完成企業級數據中心的擴容部署問題，同時要兼顧綠色節能和高可靠性要求。高利用率、一體化、低功耗、自動化管理成為雲計算數據中心建設的關注點，整合、綠色節能成為雲計算數據中心構建技術的發展特點。
數據中心的整合首先是物理環境的整合，包括供配電和精密製冷等，主要是解決數據中心基礎設施的可靠性和可用性問題。進一步的整合是構建針對基礎設施的管理系統，引入自動化和智能化管理軟體，提升管理運營效率。還有一種整合是存儲設備、伺服器等的優化、升級，以及推出更先進的伺服器和存儲設備。艾默生公司就提出，整合創新決勝雲計算數據中心。
兼顧高效和綠色節能的集裝箱數據中心出現。集裝箱數據中心是一種既吸收了雲計算的思想，又可以讓企業快速構建自有數據中心的產品。與傳統數據中心相比，集裝箱數據中心具有高密度、低PUE、模塊化、可移動、靈活快速部署、建設運維一體化等優點，成為發展熱點。國外企業如谷歌、微軟、英特爾等已經開始開發和部署大規模的綠色集裝箱數據中心。
通過伺服器虛擬化、網路設備智能化等技術可以實現數據中心的局部節能，但尚不能真正實現綠色數據中心的要求，因此，以數據中心為整體目標來實現節能降耗正成為重要的發展方向，圍繞數據中心節能降耗的技術將不斷創新並取得突破。數據中心高溫化是一個發展方向，低功耗伺服器和晶元產品也是一個方向。
三、大規模分布式存儲技術進入創新高峰期
在雲計算環境下，存儲技術將主要朝著從安全性、便攜性及數據訪問等方向發展。分布存儲的目標是利用多台伺服器的存儲資源來滿足單台伺服器不能滿足的存儲需求，它要求存儲資源能夠被抽象表示和統一管理，並且能夠保證數據讀寫操作的安全性、可靠性、性能等各方面要求。為保證高可靠性和經濟性，雲計算採用分布式存儲的方式來存儲數據，採用冗餘存儲的方式來保證存儲數據的可靠性，以高可靠軟體來彌補硬體的不可靠，從而提供廉價可靠的海量分布式存儲和計算系統。在大規模分布式存儲技術中，基於塊設備的分布式文件系統適用於大型的、海量數據的雲計算平台，它將客戶數據冗餘部署在大量廉價的普通存儲上，通過並行和分布式計算技術，可以提供優秀的數據冗餘功能。且由於採用了分布式並發數據處理技術，眾多存儲節點可以同時向用戶提供高性能的數據存取服務，也保證數據傳輸的高效性。目前國外很多大學、研究機構和公司已經或正在著手開發分布式文件系統，已經涌現出一批著名的分布式文件系統，如PVFS、GPFS、zFS、Google FS、Hadoop FS等，進一步更深入的研發也還在進行中。
除了大規模分布式存儲技術，P2P存儲、數據網格、智能海量存儲系統等方也是海量存儲發展的趨勢體現。其中，P2P存儲可以看做是分布式存儲的一種，是一個用於對等網路的數據存儲系統，旨在提供高效率、魯棒和負載均衡的文件存取。數據網格是有機的智能單元的組合，類似於計算網格。智能海量存儲系統包括主動的數據採集、數據分析、主動調整等。雲計算中存儲的海量數據應用將為雲計算提供新的價值高點，也必將成為雲計算發展的重點方向之一。
四、安全與隱私將獲得更多關注
雲計算作為一種新的應用模式，在形態上與傳統互聯網相比發生了一些變化，勢必帶來新的安全問題，例如數據高度集中使數據泄漏風險激增、多客戶端訪問增加了數據被截獲的風險等等。雲安全技術是保障雲計算服務安全性的有效手段，它要解決包括雲基礎設施安全、數據安全、認證和訪問管理安全以及審計合規性等諸多問題。雲計算本身的安全仍然要依賴於傳統信息安全領域的主要技術。不過另一方面，雲計算具有虛擬化、資源共享等特點，傳統信息安全技術需要適應其特點採取不同的模式，或者有新的技術創新。另外，由於在雲計算中用戶無法准確知道數據的位置，因此雲計算提供商和用戶的信任問題是雲計算安全要考慮的一個重點。總體來說，雲計算提供商要充分結合雲計算特點和用戶要求，提供整體的雲計算安全措施，這將驅動雲計算安全技術發展。適應雲計算的特點和安全需求，雲計算安全技術在加密技術、信任技術、安全解決方案、安全服務模式方面加快發展。
此外，未來的安全趨勢，勢必會涉及終端及移動終端各個層面，包括各類PC、手機在內的智能終端、可穿戴設備，都有可能會面臨攻擊者的挑戰，這樣的攻擊對多種設備會變得日益難以防護。解決終端安全，雲安全是首先需要解決的，即從雲端首先判斷安全的趨勢，而不是孤立的從一台終端來判斷。通過雲端安全的大數據分析，可以清晰發現其中存在的多種威脅趨勢，從而及時攔截新木馬以及防止網路入侵和攻擊。隱私權保護問題雖是雲計算普及過程中需要解決的一大難題，但隨著雲計算的發展及相關標準的成熟。相信隱私權會得到更好地保護，雲計算也將像互聯網上的其他應用環境一樣，深刻地影響我們的生活方式。
五、分布式計算技術不斷完善和提升
資源調度管理被認為是雲計算的核心，因為雲計算不僅是將資源集中，更重要的是資源的合理調度、運營、分配、管理。雲計算數據中心的突出特點，是具備大量的基礎軟硬體資源，實現了基礎資源的規模化。但如何合理有效調度管理這些資源，提高這些資源的利用率，降低單位資源的成本，是雲計算平台提供商面臨的難點和重點。業務/資源調度中心、副本管理技術、任務調度演算法、任務容錯機制等資源調度和管理技術的發展和優化，將為雲計算資源調度和管理提供技術支撐。不過，正成為業界關注重點的雲計算操作系統有可能使雲計算資源調度管理技術走向新的道路。雲計算操作系統是雲計算數據中心運營系統，是指架構於伺服器、存儲、網路等基礎硬體資源和單機操作系統、中間件、資料庫等基礎軟體管理海量的基礎硬體資源和軟體資源的雲平台綜合管理系統，可以實現極為簡化和更加高效的計算模型，以低成本實現指定服務級別、響應時間、安全策略、可用性等規范。
現在雲計算的商業環境對整個體系的可靠性提供了更高的需求，為了支持商業化的雲計算服務，分布式的系統協作和資源調度最重要的就是可靠性。未來成熟的分布式計算技術將能夠支持在線服務(SaaS)，自從2007年蘋果iPhone進入市場開始，事情發生很大的變化，智能手機時代的到來使得Web開始走進移動終端，SaaS的風暴席捲整個互聯網，在線應用成為一種時尚。分布式計算技術不斷完善和提升，將支持在跨越數據中心的大型集群上執行分布式應用的框架。
六、SLA細化服務質量監控實時化
要想讓用戶敢於將關鍵業務應用放在雲計算平台上，粗放的服務協議顯然無法讓人放心，用戶需要知道雲計算廠商能否快速地將數據傳遍全國、網路連接狀況又能好到何種程度。對於激增的商業需求而言，性能的拓展是不夠的，而雲計算提供商能夠多快地拓展性能也事關重要。用戶需要能夠讓他們高枕無憂的服務品質協議，細化服務品質是必然趨勢。雲計算對計算、存儲和網路的資源池化，使得對底層資源的管理越來越復雜，越來越重要，基於雲計算的高效工作負載監控要在性能發生問題之前就提前發現苗頭，從而防患於未然，實時的了解雲計算運行詳細信息將有助於交付一個更強大的雲計算使用體驗，也是未來發展的方向（關於更多可以關注微信公號漫步雲計算）謝謝。
② 想從事分布式系統，計算，hadoop等方面，需要哪些基礎，推薦哪些書籍
What are some good resources for learning about distributed computing? Why? 今天在quora上看到這個問題，感覺特別全面，質量也都A+級別的，貼在這里供大家參考。
課程：
MIT 6.824: Distributed Computer Systems Engineering——經典和詳細的介紹了分布式系統的技術和工程實現經驗，值得每個做分布式系統的人去看一遍，繼續錘煉和提高自己的眼界和技術。
補充三篇論文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，這篇論文是SOSP2007的Best Paper，闡述了一種構建分布式文件系統的範式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文。
2. The Chubby lock service for loosely-coupled distributed systems，http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/zh-CN//archive/chubby-osdi06.pdf，這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基於文件實現的分布式鎖，Google的Bigtable、Maprece和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現，但是根據在Google工作的朋友講，zookeeper跟Chubby在性能和功能上都還有差距。
3. Spanner: Google's Globally-Distributed Database，這個是第一個全球意義上的分布式資料庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還採用了原子鍾，同樣在分布式系統方面具有很強的借鑒意義。
另外，還有一本書:
剛出的，讀了一下樣章，感覺還不錯，一起推薦給大家——《大規模分布式存儲系統:原理解析與架構實戰》華章圖書 - 大規模分布式存儲系統:原理解析與架構實戰
③ 2019年有什麼科學家創造的偉大事跡嗎
一、嫦娥四號
月3日，實現人類探測器首次月背軟著陸，傳回世界首張近距離拍攝的月背影像圖像；
二、「東方紅」3號
5月31日，全球最大的靜音科考船「東方紅」3號交付，我國「透明海洋」觀測體系實現跨越式發展；
三、中國運載火箭首次海上發射
6月5日，長征十一號運載火箭在黃海發射，成功將7顆衛星送入預定軌道；
四、人造太陽
6月5日，新一代可控核聚變研究裝置「中國環流器2號」裝置總體安裝啟動，預計2020年投入運行，開展探索清潔能源相關科學實驗；
五、5G商用
6月6日，工信部正式向中國電信、中國移動、中國聯通、中國廣電發放了5G商用牌照。10月31日，5G套餐上線，5G商用時代拉開序幕；
六、人工心臟
7月，第三代人工心臟助兩位心衰患者重獲新生，標志中國人工輔助心臟裝置性能達到國際同類水平。9月，首批人工心臟產品在重慶獲批上市；
七、「雪龍2」號首航南極
7月11日，第一艘自主建造的極地科學考察破冰船「雪龍2」號順利交付。10月15日首航南極。11月20日進行首次陸緣冰破冰作業；
八、北京大興國際機場
9月25日，北京大興國際機場正式投入使用，被稱為「新世界七大奇跡」之首；
九、「高分七號」衛星
11月3日，「高分七號」衛星發射升空，它能在太快拍出媲美「阿凡達」的3D影像。12月10日，發布首批20餘幅亞米級立體影像圖；
十、發現最大恆星級黑洞
11月28日，國家天文台宣布，中國天文學家發現迄今最大恆星級黑洞。
④ 面對雲計算安全技術框架能提出什麼依據
一、虛擬化技術向軟硬協同方向發展按照IDC的研究，2005年之前是虛擬化技術發展的第一階段，稱之為虛擬化1.0，從2005年到2010年時虛擬化發展的第二階段，稱之為虛擬化2.0，目前已經進入虛擬化2.5階段，虛擬化3.0階段在不久也將會到來。根據Gartner的預測，到2016年中國70%的X86企業伺服器將實現虛擬化。ArsTechnica網站上刊出的一篇文章評論到，當前的虛擬化市場當中，VMware是老大，微軟Hyper-V老二，思傑Xen第三，紅帽和甲骨文在爭奪第四把交椅。隨著伺服器等硬體技術和相關軟體技術的進步、軟體應用環境的逐步發展成熟以及應用要求不斷提高，虛擬化由於具有提高資源利用率、節能環保、可進行大規模數據整合等特點成為一項具有戰略意義的新技術。首先，隨著各大廠商紛紛進軍虛擬化領域，開源虛擬化將不斷成熟。其次，隨著虛擬化技術的發展，軟硬協同的虛擬化將加快發展。在這方面，內存的虛擬化已初顯端倪。第三，網路虛擬化發展迅速。網路虛擬化可以高效地利用網路資源，具有節能成本、簡化網路運維和管理、提升網路可靠性等優點。二、數據中心向整合化和綠色節能方向發展目前傳統數據中心的建設正面臨異構網路、靜態資源、管理復雜、能耗高等方面問題，雲計算數據中心與傳統數據中心有所不同，它既要解決如何在短時間內快速、高效完成企業級數據中心的擴容部署問題，同時要兼顧綠色節能和高可靠性要求。高利用率、一體化、低功耗、自動化管理成為雲計算數據中心建設的關注點，整合、綠色節能成為雲計算數據中心構建技術的發展特點。數據中心的整合首先是物理環境的整合，包括供配電和精密製冷等，主要是解決數據中心基礎設施的可靠性和可用性問題。進一步的整合是構建針對基礎設施的管理系統，引入自動化和智能化管理軟體，提升管理運營效率。還有一種整合是存儲設備、伺服器等的優化、升級，以及推出更先進的伺服器和存儲設備。艾默生公司就提出，整合創新決勝雲計算數據中心。兼顧高效和綠色節能的集裝箱數據中心出現。集裝箱數據中心是一種既吸收了雲計算的思想，又可以讓企業快速構建自有數據中心的產品。與傳統數據中心相比，集裝箱數據中心具有高密度、低PUE、模塊化、可移動、靈活快速部署、建設運維一體化等優點，成為發展熱點。國外企業如谷歌、微軟、英特爾等已經開始開發和部署大規模的綠色集裝箱數據中心。通過伺服器虛擬化、網路設備智能化等技術可以實現數據中心的局部節能，但尚不能真正實現綠色數據中心的要求，因此，以數據中心為整體目標來實現節能降耗正成為重要的發展方向，圍繞數據中心節能降耗的技術將不斷創新並取得突破。數據中心高溫化是一個發展方向，低功耗伺服器和晶元產品也是一個方向。三、大規模分布式存儲技術進入創新高峰期在雲計算環境下，存儲技術將主要朝著從安全性、便攜性及數據訪問等方向發展。分布存儲的目標是利用多台伺服器的存儲資源來滿足單台伺服器不能滿足的存儲需求，它要求存儲資源能夠被抽象表示和統一管理，並且能夠保證數據讀寫操作的安全性、可靠性、性能等各方面要求。為保證高可靠性和經濟性，雲計算採用分布式存儲的方式來存儲數據，採用冗餘存儲的方式來保證存儲數據的可靠性，以高可靠軟體來彌補硬體的不可靠，從而提供廉價可靠的海量分布式存儲和計算系統。在大規模分布式存儲技術中，基於塊設備的分布式文件系統適用於大型的、海量數據的雲計算平台，它將客戶數據冗餘部署在大量廉價的普通存儲上，通過並行和分布式計算技術，可以提供優秀的數據冗餘功能。且由於採用了分布式並發數據處理技術，眾多存儲節點可以同時向用戶提供高性能的數據存取服務，也保證數據傳輸的高效性。目前國外很多大學、研究機構和公司已經或正在著手開發分布式文件系統，已經涌現出一批著名的分布式文件系統，如PVFS、GPFS、zFS、GoogleFS、HadoopFS等，進一步更深入的研發也還在進行中。除了大規模分布式存儲技術，P2P存儲、數據網格、智能海量存儲系統等方也是海量存儲發展的趨勢體現。其中，P2P存儲可以看做是分布式存儲的一種，是一個用於對等網路的數據存儲系統，旨在提供高效率、魯棒和負載均衡的文件存取。數據網格是有機的智能單元的組合，類似於計算網格。智能海量存儲系統包括主動的數據採集、數據分析、主動調整等。雲計算中存儲的海量數據應用將為雲計算提供新的價值高點，也必將成為雲計算發展的重點方向之一。四、安全與隱私將獲得關注雲計算作為一種新的應用模式，在形態上與傳統互聯網相比發生了一些變化，勢必帶來新的安全問題，例如數據高度集中使數據泄漏風險激增、多客戶端訪問增加了數據被截獲的風險等等。雲安全技術是保障雲計算服務安全性的有效手段，它要解決包括雲基礎設施安全、數據安全、認證和訪問管理安全以及審計合規性等諸多問題。雲計算本身的安全仍然要依賴於傳統信息安全領域的主要技術。不過另一方面，雲計算具有虛擬化、資源共享等特點，傳統信息安全技術需要適應其特點採取不同的模式，或者有新的技術創新。另外，由於在雲計算中用戶無法准確知道數據的位置，因此雲計算提供商和用戶的信任問題是雲計算安全要考慮的一個重點。總體來說，雲計算提供商要充分結合雲計算特點和用戶要求，提供整體的雲計算安全措施，這將驅動雲計算安全技術發展。適應雲計算的特點和安全需求，雲計算安全技術在加密技術、信任技術、安全解決方案、安全服務模式方面加快發展。此外，未來的安全趨勢，勢必會涉及終端及移動終端各個層面，包括各類PC、手機在內的智能終端、可穿戴設備，都有可能會面臨攻擊者的挑戰，這樣的攻擊對多種設備會變得日益難以防護。解決終端安全，雲安全是首先需要解決的，即從雲端首先判斷安全的趨勢，而不是孤立的從一台終端來判斷。通過雲端安全的大數據分析，可以清晰發現其中存在的多種威脅趨勢，從而及時攔截新木馬以及防止網路入侵和攻擊。隱私權保護問題雖是雲計算普及過程中需要解決的一大難題，但隨著雲計算的發展及相關標準的成熟。相信隱私權會得到更好地保護，雲計算也將像互聯網上的其他應用環境一樣，深刻地影響我們的生活方式。五、分布式計算技術不斷完善和提升資源調度管理被認為是雲計算的核心，因為雲計算不僅是將資源集中，更重要的是資源的合理調度、運營、分配、管理。雲計算數據中心的突出特點，是具備大量的基礎軟硬體資源，實現了基礎資源的規模化。但如何合理有效調度管理這些資源，提高這些資源的利用率，降低單位資源的成本，是雲計算平台提供商面臨的難點和重點。業務/資源調度中心、副本管理技術、任務調度演算法、任務容錯機制等資源調度和管理技術的發展和優化，將為雲計算資源調度和管理提供技術支撐。不過，正成為業界關注重點的雲計算操作系統有可能使雲計算資源調度管理技術走向新的道路。雲計算操作系統是雲計算數據中心運營系統，是指架構於伺服器、存儲、網路等基礎硬體資源和單機操作系統、中間件、資料庫等基礎軟體管理海量的基礎硬體資源和軟體資源的雲平台綜合管理系統，可以實現極為簡化和更加高效的計算模型，以低成本實現指定服務級別、響應時間、安全策略、可用性等規范。現在雲計算的商業環境對整個體系的可靠性提供了更高的需求，為了支持商業化的雲計算服務，分布式的系統協作和資源調度最重要的就是可靠性。未來成熟的分布式計算技術將能夠支持在線服務(SaaS)，自從2007年蘋果iPhone進入市場開始，事情發生很大的變化，智能手機時代的到來使得Web開始走進移動終端，SaaS的風暴席捲整個互聯網，在線應用成為一種時尚。分布式計算技術不斷完善和提升，將支持在跨越數據中心的大型集群上執行分布式應用的框架。六、SLA細化服務質量監控實時化要想讓用戶敢於將關鍵業務應用放在雲計算平台上，粗放的服務協議顯然無法讓人放心，用戶需要知道雲計算廠商能否快速地將數據傳遍全國、網路連接狀況又能好到何種程度。對於激增的商業需求而言，性能的拓展是不夠的，而雲計算提供商能夠多快地拓展性能也事關重要。用戶需要能夠讓他們高枕無憂的服務品質協議，細化服務品質是必然趨勢。雲計算對計算、存儲和網路的資源池化，使得對底層資源的管理越來越復雜，越來越重要，基於雲計算的高效工作負載監控要在性能發生問題之前就提前發現苗頭，從而防患於未然，實時的了解雲計算運行詳細信息將有助於交付一個更強大的雲計算使用體驗，也是未來發展的方向（關於可以關注 公號漫步雲計算）謝謝。
⑤ 求幫助寫一篇分布式計算雲計算論文
http://wenku..com/view/6ea1435d3b3567ec102d8ae8.html 這個鏈接你看是不是提綱式的
淺談雲計算
摘要
雲計算是當前計算機領域的一個熱點。它的出現宣告了低成本提供超級計算時代的到來。雲計算將改變人們獲取信息、分享內容和互相溝通的方式。此文闡述了雲計算的簡史、概念、特點、現狀、保護、應用和發展前景，並對雲計算的發展及前景進行了分析。
關鍵詞： 雲計算特點， 雲計算保護， 雲計算應用
．1雲計算簡史
著名的美國計算機科學家、 圖靈獎 (Turing Award) 得主麥卡錫 (John McCarthy,1927-) 在半個世紀前就曾思考過這個問題。 1961 年， 他在麻省理工學院 (MIT) 的百年紀念活動中做了一個演講。 在那次演講中， 他提出了象使用其它資源一樣使用計算資源的想法，這就是時下 IT 界的時髦術語 「雲計算」 (Cloud Computing) 的核心想法。雲計算中的這個 「雲」 字雖然是後人所用的詞彙， 但卻頗有歷史淵源。 早年的電信技術人員在畫電話網路的示意圖時， 一涉及到不必交待細節的部分， 就會畫一團 「雲」 來搪塞。 計算機網路的技術人員將這一偷懶的傳統發揚光大， 就成為了雲計算中的這個 「雲」 字， 它泛指互聯網上的某些 「雲深不知處」 的部分， 是雲計算中 「計算」 的實現場所。 而雲計算中的這個 「計算」 也是泛指， 它幾乎涵蓋了計算機所能提供的一切資源。麥卡錫的這種想法在提出之初曾經風靡過一陣， 但真正的實現卻是在互聯網日益普及的上世紀末。 這其中一傢具有先驅意義的公司是甲骨文 (Oracle) 前執行官貝尼奧夫 (Marc Benioff, 1964-) 創立的 Salesforce 公司。 1999 年， 這家公司開始將一種客戶關系管理軟體作為服務提供給用戶， 很多用戶在使用這項服務後提出了購買軟體的意向， 該公司卻死活不幹， 堅持只作為服務提供， 這是雲計算的一種典型模式， 叫做 「軟體即服務」 (Software as a Service， 簡稱 SaaS)。 這種模式的另一個例子， 是我們熟悉的網路電子郵箱 (因此讀者哪怕是第一次聽到 「雲計算」 這個術語， 也不必有陌生感， 因為您多半已是它的老客戶了)。 除了 「軟體即服務」 外， 雲計算還有其它幾種典型模式， 比如向用戶提供開發平台的 「平台即服務」 (Platform as a Service， 簡稱 PaaS)， 其典型例子是谷歌公司 (Google) 的應用程序引擎 (Google App Engine)， 它能讓用戶創建自己的網路程序。 還有一種模式更徹底， 乾脆向用戶提供虛擬硬體， 叫做 「基礎設施即服務」 (Infrastructure as a Service， 簡稱 IaaS)， 其典型例子是亞馬遜公司 (Amazon) 的彈性計算雲 (Amazon Elastic Compute Cloud， 簡稱 EC2)， 它向用戶提供虛擬主機， 用戶具有管理員許可權， 愛幹啥就幹啥， 跟使用自家機器一樣。
1．2雲計算的概念
狹義雲計算是指計算機基礎設施的交付和使用模式，指通過網路以按需、易擴展的方式獲得所需的資源（硬體、平台、軟體）。提供資源的網路被稱為「雲」。「雲」中的資源在使用者看來是可以無限擴展的，並且可以隨時獲取，按需使用，隨時擴展，按使用付費。
廣義雲計算是指服務的交付和使用模式，指通過網路以按需、易擴展的方式獲得所需的服務。這種服務可以是計算機和軟體、互聯網相關的，也可以是其他的服務。雲計算是並行計算(Parallel Computing)、分布式計算(Distributed Computing)和網格計算(Grid Computing)的發展，或者說是這些計算機科學概念的商業實現。雲計算是虛擬化(Virtualization)、效用計算(Utility Computing)、IaaS(基礎設施即服務)、PaaS(平台即服務)、SaaS(軟體即服務)等概念混合演進並躍升的結果。
1.3雲計算的特點和優勢
（一）超大規模性。「雲」具有相當的規模，Google雲計算已經擁有100多萬台伺服器，Amazon、IBM、微軟、Yahoo等的「雲」均擁有幾十萬台伺服器。企業私有雲一般擁有數百上千台伺服器。「雲」能賦予用戶前所未有的計算能力。
（二）虛擬化。雲計算支持用戶在任意位置、使用各種終端獲取應用服務。所請求的資源來自「雲」，而不是固定的有形的實體。應用在「雲」中某處運行，但實際上用戶無需了解、也不用擔心應用運行的具體位置。只需要一台筆記本或者一個手機，就可以通過網路服務來實現用戶需要的一切，甚至包括超級計算這樣的任務。[2]
（三）高可靠性。「雲」使用了數據多副本容錯、計算節點同構可互換等措施來保障服務的高可靠性，使用雲計算比使用本地計算機可靠。
（四）通用性。雲計算不針對特定的應用，在「雲」的支撐下可以構造出千變萬化的應用，同一個「雲」可以同時支撐不同的應用運行。
（五）高可擴展性。「雲」的規模可以動態伸縮，滿足應用和用戶規模增長的需要。
（六）價格合適。由於「雲」的特殊容錯措施可以採用具有經濟性的節點來構成「雲」，「雲」的自動化集中式管理使大量企業無需負擔日益高昂的數據中心管理成本，「雲」的通用性使資源的利用率較之傳統系統大幅提升，因此用戶可以充分享受「雲」的低成本優勢，經常只要花費幾百美元、幾天時間就能完成以前需要數萬美元、數月時間才能完成的任務。
雲計算作為一種技術，與其它一些依賴互聯網的技術——比如網格計算 (Grid Computing)——有一定的相似之處，但不可混為一談。拿網格計算來說， 科學愛好者比較熟悉的例子是 SETI@Home，那是一個利用互聯網上計算機的冗餘計算能力搜索地外文明的計算項目，目前約有來自兩百多個國家和地區的兩百多萬台計算機參與。它在 2009 年底的運算能力相當於當時全世界最快的超級計算機運算能力的三分之一。有些讀者可能還知道另外一個例子：ZetaGrid，那是一個研究黎曼 ζ 函數零點分布的計算項目， 曾有過一萬多台計算機參與 (但現在已經終止了，原因可參閱拙作 超越 ZetaGrid)。從這兩個著名例子中我們可以看到網格計算的特點，那就是計算性質單一，但運算量巨大 (甚至永無盡頭,比如 ZetaGrid)。而雲計算的特點恰好相反，是計算性質五花八門，但運算量不大[注三]，這是它們的本質區別，也是雲計算能夠面向大眾成為服務的根本原因。雲計算能夠流行，它到底有什麼優點呢？ 我們舉個例子來說明，設想你要開一家網路公司。按傳統方法，你得有一大筆啟動資金， 因為你要購買計算機和軟體，你要租用機房，你還要雇專人來管理和維護計算機。 當你的公司運作起來時，業務總難免會時好時壞，為了在業務好的時候也能正常運轉， 你的人力和硬體都要有一定的超前配置， 這也要花錢。 更要命的是， 無論硬體還是軟體廠商都會頻繁推出新版本， 你若不想被技術前沿拋棄， 就得花錢費力不斷更新 (當然， 也別怪人家， 你的公司運作起來後沒准也得這么賺別人的錢)。如果用雲計算， 情況就不一樣了： 計算機和軟體都可以用雲計算， 業務好的時候多用一點， 業務壞的時候少用一點， 費用就跟結算煤氣費一樣按實際用量來算， 無需任何超前配置[注四]。 一台虛擬伺服器只需滑鼠輕點幾下就能到位， 不象實體機器， 從下定單， 到進貨， 再到調試， 忙得四腳朝天不說， 起碼得好幾天的時間。虛擬伺服器一旦不需要了， 滑鼠一點就可以讓它從你眼前 (以及賬單里)消失。至於軟硬體的升級換代，伺服器的維護管理等，那都是雲計算服務商的事，跟你沒半毛錢的關系。更重要的是，開公司總是有風險的， 如果你試了一兩個月後發現行不通，在關門大吉的時候，假如你用的是雲計算，那你只需支付實際使用過的資源。假如你走的是傳統路子，買了硬體、軟體，雇了專人，那很多投資可就打水漂了。
1.4淺談雲計算的一個核心理念
大規模消息通信：雲計算的一個核心理念就是資源和軟體功能都是以服務的形式進行發布的，不同服務之間經常需要通過消息通信進行協助。由於同步消息通信的低效率，我們只考慮非同步通信。如java Message Service是J2EE平台上的一個消息通信標准，J2EE應用程序可以通過JMS來創建，發送，接收，閱讀消息。非同步消息通信已經成為面向服務架構中組件解耦合及業務集成的重要技術。
大規模分布式存儲：分布式存儲的目標是利用多台伺服器的存儲資源來滿足單台伺服器所不能滿足的存儲需求。分布式存儲要求存儲資源能夠被抽象表示和統一管理，並且能夠保證數據讀寫操作的安全性，可靠性，性能等各方面要求。下面是幾個典型的分布式文件系統：
◆Frangipani是一個可伸縮性很好的高興能分布式文件系統，採用兩層的服務體系架構：底層是一個分布式存儲服務，該服務能夠自動管理可伸縮，高可用的虛擬磁碟；上層運行著Frangipani分布式文件系統。
◆JetFile是一個基於P2P的主播技術，支持在Internet這樣的異構環境中分享文件的分布式文件系統。
◆Ceph是一個高性能並且可靠地分布式文件系統，它通過把數據和對數據的管理在最大程度上分開來獲取極佳的I/O性能。
◆Google File System（GFS）是Google公司設計的可伸縮的分布式文件系統。GFS能夠很好的支持大規模海量數據處理應用程序。
在雲計算環境中，數據的存儲和操作都是以服務的形式提供的；數據的類型多種多樣；必須滿足數據操作對性能，可靠性，安全性和簡單性的要求。在雲計算環境下的大規模分布式存儲方向，BigTable是Google公司設計的用來存儲海量結構化數據的分布式存儲系統；Dynamo是Amazon公司設計的一種基於鍵值對的分布式存儲系統，它能提供非常高的可用性；Amazon公司的Simple Storage Service（S3）是一個支持大規模存儲多媒體這樣的二進制文件的雲計算存儲服務；Amazon公司的SimpleDB是建立在S3和Amazon EC2之上的用來存儲結構化數據的雲計算服務。
許可證管理與計費：目前比較成熟的雲環境計費模型是Amazon公司提供的Elastic Compute Cloud（EC2）和Simple Storage Service（S3）的按量計費模型，用戶按佔用的虛擬機單元，IP地址，帶寬和存儲空間付費。
1.5雲計算的現狀
雲計算是個熱度很高的新名詞。由於它是多種技術混合演進的結果，其成熟度較高，又有大公司推動，發展極為迅速。Amazon、Google、IBM、微軟和Yahoo等大公司是雲計算的先行者。雲計算領域的眾多成功公司還包括Salesforce、Facebook、Youtube、Myspace等。Amazon使用彈性計算雲（EC2）和簡單存儲服務（S3）為企業提供計算和存儲服務。收費的服務項目包括存儲伺服器、帶寬、CPU資源以及月租費。月租費與電話月租費類似，存儲伺服器、帶寬按容量收費，CPU根據時長(小時)運算量收費。Amazon把雲計算做成一個大生意沒有花太長的時間：不到兩年時間，Amazon上的注冊開發人員達44萬人，還有為數眾多的企業級用戶。有第三方統計機構提供的數據顯示，Amazon與雲計算相關的業務收入已達1億美元。雲計算是Amazon增長最快的業務之一。Google當數最大的雲計算的使用者。Google搜索引擎就建立在分布在200多個地點、超過100萬台伺服器的支撐之上，這些設施的數量正在迅猛增長。Google地球、地圖、Gmail、Docs等也同樣使用了這些基礎設施。採用Google Docs之類的應用，用戶數據會保存在互聯網上的某個位置，可以通過任何一個與互聯網相連的系統十分便利地訪問這些數據。目前，Google已經允許第三方在Google的雲計算中通過Google App Engine運行大型並行應用程序。Google值得稱頌的是它不保守。它早已以發表學術論文的形式公開其雲計算三大法寶：GFS、MapRece和BigTable，並在美國、中國等高校開設如何進行雲計算編程的課程。IBM在2007年11月推出了「改變游戲規則」的「藍雲」計算平台，為客戶帶來即買即用的雲計算平台。它包括一系列的自動化、自我管理和自我修復的虛擬化雲計算軟體，使來自全球的應用可以訪問分布式的大型伺服器池。使得數據中心在類似於互聯網的環境下運行計算。IBM正在與17個歐洲組織合作開展雲計算項目。歐盟提供了1.7億歐元做為部分資金。該計劃名為RESERVOIR，以「無障礙的資源和服務虛擬化」為口號。2008年8月， IBM宣布將投資約4億美元用於其設在北卡羅來納州和日本東京的雲計算數據中心改造。IBM計劃在2009年在10個國家投資3億美元建13個雲計算中心。
微軟緊跟雲計算步伐，於2008年10月推出了Windows Azure操作系統。Azure(譯為「藍天」)是繼Windows取代DOS之後，微軟的又一次顛覆性轉型——通過在互聯網架構上打造新雲計算平台，讓Windows真正由PC延伸到「藍天」上。微軟擁有全世界數以億計的Windows用戶桌面和瀏覽器，現在它將它們連接到「藍天」上。Azure的底層是微軟全球基礎服務系統，由遍布全球的第四代數據中心構成。
雲計算的新穎之處在於它幾乎可以提供無限的廉價存儲和計算能力。紐約一家名為Animoto的創業企業已證明雲計算的強大能力（此案例引自和訊網維維編譯《紐約時報》2008年5月25日報道）。Animoto允許用戶上傳圖片和音樂，自動生成基於網路的視頻演講稿，並且能夠與好友分享。該網站目前向注冊用戶提供免費服務。2008年年初，網站每天用戶數約為5000人。4月中旬，由於Facebook用戶開始使用Animoto服務，該網站在三天內的用戶數大幅上升至75萬人。Animoto聯合創始人Stevie Clifton表示，為了滿足用戶需求的上升，該公司需要將伺服器能力提高100倍，但是該網站既沒有資金，也沒有能力建立規模如此巨大的計算能力。因此，該網站與雲計算服務公司RightScale合作，設計能夠在亞馬遜的網雲中使用的應用程序。通過這一舉措，該網站大大提高了計算能力，而費用只有每伺服器每小時10美分。這樣的方式也加強創業企業的靈活性。當需求下降時，Animoto只需減少所使用的伺服器數量就可以降低伺服器支出。
在我國，雲計算發展也非常迅猛。2008年5月10日，IBM在中國無錫太湖新城科教產業園建立的中國第一個雲計算中心投入運營。2008年6月24日，IBM在北京IBM中國創新中心成立了第二家中國的雲計算中心——IBM大中華區雲計算中心；2008年11月28日，廣東電子工業研究院與東莞松山湖科技產業園管委會簽約，廣東電子工業研究院將在東莞松山湖投資2億元建立雲計算平台；2008年12月30日，阿里巴巴集團旗下子公司阿里軟體與江蘇省南京市政府正式簽訂了2009年戰略合作框架協議，計劃於2009年初在南京建立國內首個「電子商務雲計算中心」，首期投資額將達上億元人民幣；世紀互聯推出了CloudEx產品線，包括完整的互聯網主機服務"CloudEx Computing Service", 基於在線存儲虛擬化的"CloudEx Storage Service"，供個人及企業進行互聯網雲端備份的數據保全服務等等系列互聯網雲計算服務；中國移動研究院做雲計算的探索起步較早，已經完成了雲計算中心試驗。中移動董事長兼CEO王建宙認為雲計算和互聯網的移動化是未來發展方向。
我國企業創造的「雲安全」概念，在國際雲計算領域獨樹一幟。雲安全通過網狀的大量客戶端對網路中軟體行為的異常監測，獲取互聯網中木馬、惡意程序的最新信息，推送到服務端進行自動分析和處理，再把病毒和木馬的解決方案分發到每一個客戶端。雲安全的策略構想是：使用者越多，每個使用者就越安全，因為如此龐大的用戶群，足以覆蓋互聯網的每個角落，只要某個網站被掛馬或某個新木馬病毒出現，就會立刻被截獲。雲安全的發展像一陣風，瑞星、趨勢、卡巴斯基、MCAFEE、SYMANTEC、江民科技、PANDA、金山、360安全衛士、卡卡上網安全助手等都推出了雲安全解決方案。瑞星基於雲安全策略開發的2009新品，每天攔截數百萬次木馬攻擊，其中1月8日更是達到了765萬余次。勢科技雲安全已經在全球建立了5大數據中心，幾萬部在線伺服器。據悉，雲安全可以支持平均每天55億條點擊查詢，每天收集分析2.5億個樣本，資料庫第一次命中率就可以達到99%。藉助雲安全，趨勢科技現在每天阻斷的病毒感染最高達1000萬次。
值得一提的是，雲安全的核心思想，與劉鵬早在2003年就提出的反垃圾郵件網格非常接近[1][2]。劉鵬當時認為，垃圾郵件泛濫而無法用技術手段很好地自動過濾，是因為所依賴的人工智慧方法不是成熟技術。垃圾郵件的最大的特徵是：它會將相同的內容發送給數以百萬計的接收者。為此，可以建立一個分布式統計和學習平台，以大規模用戶的協同計算來過濾垃圾郵件：首先，用戶安裝客戶端，為收到的每一封郵件計算出一個唯一的「指紋」，通過比對「指紋」可以統計相似郵件的副本數，當副本數達到一定數量，就可以判定郵件是垃圾郵件；其次，由於互聯網上多台計算機比一台計算機掌握的信息更多，因而可以採用分布式貝葉斯學習演算法，在成百上千的客戶端機器上實現協同學習過程，收集、分析並共享最新的信息。反垃圾郵件網格體現了真正的網格思想，每個加入系統的用戶既是服務的對象，也是完成分布式統計功能的一個信息節點，隨著系統規模的不斷擴大，系統過濾垃圾郵件的准確性也會隨之提高。用大規模統計方法來過濾垃圾郵件的做法比用人工智慧的方法更成熟，不容易出現誤判假陽性的情況，實用性很強。反垃圾郵件網格就是利用分布互聯網里的千百萬台主機的協同工作，來構建一道攔截垃圾郵件的「天網」。反垃圾郵件網格思想提出後，被IEEE Cluster 2003國際會議選為傑出網格項目在香港作了現場演示，在2004年網格計算國際研討會上作了專題報告和現場演示，引起較為廣泛的關注，受到了中國最大郵件服務提供商網易公司創辦人丁磊等的重視。既然垃圾郵件可以如此處理，病毒、木馬等亦然，這與雲安全的思想就相去不遠了。
2008年11月25日，中國電子學會專門成立了雲計算專家委員會，聘任中國工程院院士李德毅為主任委員，聘任IBM大中華區首席技術總裁葉天正、中國電子科技集團公司第十五研究所所長劉愛民、中國工程院院士張堯學、Google全球副總裁/中國區總裁李開復、中國工程院院士倪光南、中國移動通信研究院院長黃曉慶六位專家為副主任委員，聘任國內外30多位知名專家學者為專家委員會委員。2009年5月22日，中國電子學會將於在北京中國大飯店隆重舉辦首屆中國雲計算大會。
http://wenku..com/view/6ea1435d3b3567ec102d8ae8.html
⑥ 廣州恆工達信息科技有限公司怎麼樣
簡介：廣州恆工達信息科技有限公司，成立於2012年8月，是一家專注於大數據、雲計算行業高效能解決方案的科技公司。屬於北京龍存科技有限責任公司的成員企業。 廣州恆工達信息科技有限公司作為北京龍存科技有限責任公司的主要銷售平台及生產基地，負責華南區域高性能雲存儲平台、企業私有雲平台的生產與銷售工作，自主研發與生產超融合私有雲伺服器平台，並取得了市場的認可。廣州恆工達信息科技有限公司為政府、廣電、能源、運營商、雲計算中心、行業客戶等提供業界領先的數據存儲產品，包括：大規模分布式存儲系統、存儲一體化設備、企業私有雲、虛擬化服務、以及數據同步產品等。主要產品包括：1、分布式大規模集群雲存儲產品。採用元數據+存儲節點的分布式架構，可根據需要橫向擴容。適用於政府項目、大型企業應用，可廣泛應用在電子政務雲、高性能計算雲、工業雲平台、渲染雲等。2、超融合企業私有雲平台。通過自主研發的超融合伺服器，可以為廣大中小型企業提供高性能存儲、企業私有雲盤、虛擬化應用、企業第三方應用整合等融合服務。可以有效的提高企業數據的安全性、集中性、可管理性、降低企業IT投資成本以及人力維護成本。適用於生產企業、勘查設計企業、專業事務所等。3、高性能家庭娛樂雲平台。可以為家庭成員提供家庭電腦、娛樂應用、數據管理等功能。
法定代表人：梁迪銘
成立時間：2012-08-15
注冊資本：300萬人民幣
工商注冊號：440105000282670
企業類型：有限責任公司(自然人投資或控股)
公司地址：廣州市海珠區昌崗中路166號之三1801房（僅作辦公功能使用）
⑦ 系統架構 分布式 哪本書比較好
Distributed
Computer
Systems
Engineering——經典和詳細的介紹了分布式系統的技術和工程實現經驗，值得每個做分布式系統的人去看一遍，繼續錘煉和提高自己的眼界和技術。
補充三篇論文:
1.
Sinfonia:
A
New
Paradigm
for
Building
Scalable
Distributed
Systems，這篇論文是SOSP2007的Best
Paper，闡述了一種構建分布式文件系統的範式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文。
2.
The
Chubby
lock
service
for
loosely-coupled
distributed
systems，這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基於文件實現的分布式鎖，Google的Bigtable、Maprece和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現，但是根據在Google工作的朋友講，zookeeper跟Chubby在性能和功能上都還有差距。
3.
Spanner:
Google's
Globally-Distributed
Database，這個是第一個全球意義上的分布式資料庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還採用了原子鍾，同樣在分布式系統方面具有很強的借鑒意義。
另外，還有一本書:
剛出的，讀了一下樣章，感覺還不錯，一起推薦給大家——《大規模分布式存儲系統:原理解析與架構實戰》
⑧ Hadoop與分布式數據處理 Spark VS Hadoop有哪些異同點
Spark是一個開源的通用並行分布式計算框架，由加州大學伯克利分校的AMP實驗室開發，支持內存計算、多迭代批量處理、即席查詢、流處理和圖計算等多
種範式。Spark內存計算框架適合各種迭代演算法和互動式數據分析，能夠提升大數據處理的實時性和准確性，現已逐漸獲得很多企業的支持，如阿里巴巴、百
度、網易、英特爾等公司。
針對以下幾個問題來深入的學習
1、 Spark VSHadoop有哪些異同點？
Hadoop:分布式批處理計算，強調批處理，常用於數據挖掘、分析
Spark:是一個基於內存計算的開源的集群計算系統，目的是讓數據分析更加快速, Spark 是一種與 Hadoop
相似的開源集群計算環境，但是兩者之間還存在一些不同之處，這些有用的不同之處使 Spark 在某些工作負載方面表現得更加優越，換句話說，Spark
啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。
Spark 是在 Scala 語言中實現的，它將 Scala 用作其應用程序框架。與 Hadoop 不同，Spark 和 Scala 能夠緊密集成，其中的 Scala 可以像操作本地集合對象一樣輕松地操作分布式數據集。
盡管創建 Spark 是為了支持分布式數據集上的迭代作業，但是實際上它是對 Hadoop 的補充，可以在 Hadoop
文件系統中並行運行。通過名為Mesos的第三方集群框架可以支持此行為。Spark 由加州大學伯克利分校 AMP 實驗室
(Algorithms,Machines,and People Lab) 開發，可用來構建大型的、低延遲的數據分析應用程序。
雖然 Spark 與 Hadoop 有相似之處，但它提供了具有有用差異的一個新的集群計算框架。首先，Spark
是為集群計算中的特定類型的工作負載而設計，即那些在並行操作之間重用工作數據集（比如機器學習演算法）的工作負載。為了優化這些類型的工作負
載，Spark 引進了內存集群計算的概念，可在內存集群計算中將數據集緩存在內存中，以縮短訪問延遲.
在大數據處理方面相信大家對hadoop已經耳熟能詳，基於GoogleMap/Rece來實現的Hadoop為開發者提供了map、rece原
語，使並行批處理程序變得非常地簡單和優美。Spark提供的數據集操作類型有很多種，不像Hadoop只提供了Map和Rece兩種操作。比如
map,filter, flatMap,sample, groupByKey, receByKey, union,join,
cogroup,mapValues,
sort,partionBy等多種操作類型，他們把這些操作稱為Transformations。同時還提供Count,collect,
rece, lookup,
save等多種actions。這些多種多樣的數據集操作類型，給上層應用者提供了方便。各個處理節點之間的通信模型不再像Hadoop那樣就是唯一的
Data Shuffle一種模式。用戶可以命名，物化，控制中間結果的分區等。可以說編程模型比Hadoop更靈活.
2、Spark在容錯性方面是否比其他工具更有優越性？
從Spark的論文《Resilient Distributed Datasets:
AFault-TolerantAbstraction for In-Memory Cluster
Computing》中沒看出容錯性做的有多好。倒是提到了分布式數據集計算，做checkpoint的兩種方式，一個是checkpoint
data，一個是loggingthe
updates。貌似Spark採用了後者。但是文中後來又提到，雖然後者看似節省存儲空間。但是由於數據處理模型是類似DAG的操作過程，由於圖中的某
個節點出錯，由於lineage
chains的依賴復雜性，可能會引起全部計算節點的重新計算，這樣成本也不低。他們後來說，是存數據，還是存更新日誌，做checkpoint還是由用
戶說了算吧。相當於什麼都沒說，又把這個皮球踢給了用戶。所以我看就是由用戶根據業務類型，衡量是存儲數據IO和磁碟空間的代價和重新計算的代價，選擇代
價較小的一種策略。取代給中間結果進行持久化或建立檢查點，Spark會記住產生某些數據集的操作序列。因此，當一個節點出現故障時，Spark會根據存
儲信息重新構造數據集。他們認為這樣也不錯，因為其他節點將會幫助重建。
3、Spark對於數據處理能力和效率有哪些特色？
Spark提供了高的性能和大數據處理能力，使得用戶可以快速得到反饋體驗更好。另一類應用是做數據挖掘，因為Spark充分利用內存進行緩存，利用
DAG消除不必要的步驟，所以比較合適做迭代式的運算。而有相當一部分機器學習演算法是通過多次迭代收斂的演算法，所以適合用Spark來實現。我們把一些常
用的演算法並行化用Spark實現，可以從R語言中方便地調用，降低了用戶進行數據挖掘的學習成本。
Spark配有一個流數據處理模型，與Twitter的
Storm框架相比，Spark採用了一種有趣而且獨特的辦法。Storm基本上是像是放入獨立事務的管道，在其中事務會得到分布式的處理。相
反，Spark採用一個模型收集事務，然後在短時間內（我們假設是5秒）以批處理的方式處理事件。所收集的數據成為他們自己的RDD，然後使用Spark
應用程序中常用的一組進行處理。作者聲稱這種模式是在緩慢節點和故障情況下會更加穩健，而且5秒的時間間隔通常對於大多數應用已經足夠快了。這種方法也很
好地統一了流式處理與非流式處理部分。
總結
這幾天在看Hadoop權威指南、hbase權威指南、hive權威指南、大規模分布式存儲系統、zoopkeeper、大數據互聯網大規模數據挖掘與分布式處理等書同時補充，能靜下心來好好的完整的看完一本書，是相當不錯的。
⑨ 大家有什麼java面試的有關的書籍推薦
書的話我不知道，不過應該是沒有的，面試知識點可以自己去網上找一找，有很多面試過的人分享的面試題。而且面試難易看公司和應聘崗位的，有的公司水平低或者崗位專業性要求不高，面試就容易，有的公司水平高專業要求高，那就面試難。我貼一下我找的一些面試知識點。
3.1.1 Java基礎
此時一般會問到一些Java的基礎知識，比如
l synchronized static修飾類和方法有什麼區別
l HashMap的原理，底層數據結構，rehash的過程，指針碰撞問題
l HashMap的線程安全問題，為什麼會產生這樣的線程安全問題
l ConcurrentHashMap的數據結構，底層原理，put和get是否線程安全
l Java IO的一些內容，包括NIO，BIO等
3.1.2 Java高級特性
此時問到的問題一般包含JVM，多線程的一些內容，這塊建議大家多看看源碼，大致如下：
l Java線程池的構造方法，裡面參數的含義，以及原理
l volatile和ThreadLocal解決了什麼問題
l CAS在Java中的具體實現
l Java虛擬機的構成，以及一個Java對象的生命周期，還有堆棧和方法區中存儲的內容
l JVM的GC過程，包括一些實際問題的分析，比如說明一個現象，讓你分析可能是什麼原因會導致這樣的問題，應該如何對JVM參數進行調優
l synchronized和Lock的區別，以及底層實現原理
l Full GC和Minor GC觸發的條件
l GC Roots的選擇
l jmap，jstat，jstack等的使用場景，MAT等
l ClassLoader的載入過程
l CountDownLatch、CyclicBarrier和Semaphore等
l Java 8 的新特性等
3.1.3 資料庫
這里的資料庫包含兩種，一種一般是MySQL，另外是NoSql資料庫，包括Redis、MongoDB等。一般會問的問題有：
l inner join和left join等的區別
l SQL調優，explain，profile等
l InnoDB和Myisam的區別
l ACID
l 資料庫的事務隔離級別，以及他們分別能解決什麼問題
l Redis的幾種數據結構
l Redis是單線程還是多線程
l Redis的持久化
l 悲觀鎖和樂觀鎖的含義
l 最左前綴索引，索引的數據結構，聚簇索引等（這塊還沒搞明白）
3.1.4 框架
3.1.4.1 Spring
因為spring是我們常用的框架，所以這塊的內容會問的比較多，也會比較細。
l Spring的兩大特性（IoC和AOP）
l Spring的bean的生命周期
l Spring是如何解決Bean的循環引用問題的
l AOP的兩種實現方式，以及兩者的區別（這里其實使用了動態代理，具體動態代理分為兩種，一種是JDK的動態代理，主要使用的是JDK的反射，還有一種是CGLib，兩者區別可以自己搜索，文章比較多）
l AOP一般的使用場景
l Spring的事務原理
3.1.4.2 MyBatis
這塊問到的比較簡單些：
l $和#的區別
l MyBatis和Hibernate的區別
l 源碼，一般問的比較少
3.1.4.3 Dubbo
因為平時自己用到了Dubbo，所以這塊會有問到：
l RPC的原理
l Dubbo是如何完成遠程調用的
l Dubbo如何進行調優
l Dubbo的通信協議
l Dubbo是如何實現負載均衡的
3.1.4.4 ZooKeeper
l ZK的使用場景
l ZK的選舉機制
l ZK的節點類型
l 一致性Hash原理
3.1.5 數據結構和演算法
這塊的內容是基礎，如果面試官懷疑你的能力，一般一會問到這部分內容，比如樹的遍歷、快速排序等。
3.1.6 linux
一般會問一些命令的使用，然後會舉一個實際的場景，讓你用命令去排查問題，這塊自己不是很熟，需要盡快加強。
3.1.7 綜合題
這塊的題目，面試官一般會問的比較深入。比如如何設計一個搶購系統，String轉Integer等，這部分需要考驗的就是一個人的臨場應變能力，以及在平時工作中系統設計能力的積累，以及考慮問題是否周到等。也有可能會對你簡歷上面寫的系統的設計進行詳細的詢問，所以在你寫簡歷的時候，千萬不能把自己不熟悉的內容寫上去，而且自己又講不清，這樣一般會被直接pass掉。
當然也會問一些常用的maven的命令，設計模式的題目（這部分問的比較多的就是單例模式）。
⑩ 系統架構 分布式 哪本書比較好
Distributed Computer Systems Engineering——經典和詳細的介紹了分布式系統的技術和工程實現經驗，值得每個做分布式系統的人去看一遍，繼續錘煉和提高自己的眼界和技術。
補充三篇論文:
1. Sinfonia: A New Paradigm for Building Scalable Distributed Systems，這篇論文是SOSP2007的Best Paper，闡述了一種構建分布式文件系統的範式方法，個人感覺非常有用。淘寶在構建TFS、OceanBase和Tair這些系統時都充分參考了這篇論文。
2. The Chubby lock service for loosely-coupled distributed systems，這篇論文詳細介紹了Google的分布式鎖實現機制Chubby。Chubby是一個基於文件實現的分布式鎖，Google的Bigtable、Maprece和Spanner服務都是在這個基礎上構建的，所以Chubby實際上是Google分布式事務的基礎，具有非常高的參考價值。另外，著名的zookeeper就是基於Chubby的開源實現，但是根據在Google工作的朋友講，zookeeper跟Chubby在性能和功能上都還有差距。
3. Spanner: Google's Globally-Distributed Database，這個是第一個全球意義上的分布式資料庫，也是Google的作品。其中介紹了很多一致性方面的設計考慮，為了簡單的邏輯設計，還採用了原子鍾，同樣在分布式系統方面具有很強的借鑒意義。
另外，還有一本書:
剛出的，讀了一下樣章，感覺還不錯，一起推薦給大家——《大規模分布式存儲系統:原理解析與架構實戰》