地學大數據

A. 請問學大數據哪裡好！大數據包括哪幾項學習呢能舉例嗎

"大數據"是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化版能力的海量、高權增長率和多樣化的信息資產。從數據的類別上看，"大數據"指的是無法使用傳統流程或工具處理或分析的信息。它定義了那些超出正常處理范圍和大小、迫使用戶採用非傳統處理方法的數據集。 大數據科學家JohnRauser提到一個簡單的定義：大數據就是任何超過了一台計算機處理能力的龐大數據量。" Kelly說："大數據是可能不包含所有的信息，但我覺得大部分是正確的。對大數據的一部分認知在於，它是如此之大，分析它需要多個工作負載，這是AWS的定義。當你的技術達到極限時，也就是數據的極限"。你可以去ITjob網上了解更具體的資料。

大數據不是關於如何定義，最重要的是如何使用。最大的挑戰在於哪些技術能更好的使用數據以及大數據的應用情況如何。這與傳統的資料庫相比，開源的大數據分析工具的如Hadoop的崛起，這些非結構化的數據服務的價值在哪裡。

B. 該如何精細地學大數據開發 會遇到哪些難點

大數據開發怎麼學習？由於大數據技術涉及內容太龐雜，大數據應用領域廣泛，而且各領域和方向採用的關鍵技術差異性也會較大，難以三言兩語說清楚。

附上大數據工程師技能圖：

零基礎學習大數據一般有以下幾步：

了解大數據理論；計算機編程語言學習；大數據相關課程學習；實戰項目

（1）了解大數據理論

要學習大數據你至少應該知道什麼是大數據，大數據一般運用在什麼領域。對大數據有一個大概的了解，你才能清楚自己對大數據究竟是否有興趣，如果對大數據一無所知就開始學習，有可能學著學著發現自己其實不喜歡，這樣浪費了時間精力，可能還浪費了金錢。所以想要學習大數據，需要先對大數據有一個大概的了解。

（2）計算機編程語言的學習

對於零基礎的朋友，一開始入門可能不會太簡單，大數據開發的學習是需要java基礎的，而對於從來沒有接觸過編程的朋友來說，要從零開始學習，是需要一定的時間和耐心的。

（3）大數據相關課程的學習

學完了編程語言之後，一般就可以進行大數據部分的課程學習了。大數據課程，包括大數據技術入門，海量數據高級分析語言，海量數據存儲分布式存儲，以及海量數據分析分布式計算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等專業課程。如果要完整的學習大數據的話，這些課程都是必不可少的。

（4）實戰項目

學習完任何一門技術，最後的實戰訓練是最重要的，進行一些實際項目的操作練手，可以幫助我們更好的理解所學的內容，同時對於相關知識也能加強記憶，在今後的運用中，也可以更快的上手，對於相關知識該怎麼用也有了經驗。

C. 現在學大數據有前途嗎

大數據開發是IT職業中的「大熊貓」，大數據工程師的收入可達到了同類內的頂級。容在一二線城市，大數據開發的薪資基本上是10K+；擁有3-5年技術經驗的人才可達到40K+。
大數據分析也是高收入技術崗位，擁有3-5年技術經驗的人才薪資可達到30K。


從薪酬上看，一般情況下，開發類的薪酬會略高於與數據分析類的，這是由於崗位成本造成的。其實，任何領域的高端人才都是值錢的。
最重要的，是修煉好自己的技術！

D. 學大數據需要什麼條件嗎

如 果 是 想 去高 端 班的話， 好 程序員 他 們 是 需 要 大 專 及 以 上 學歷 的，還 需要有 一 定 基礎， 通過考核才能 學 習的 。

E. 大數據哪裡學習比較好

好的大數據培訓機構首先是口碑很不錯，除了口碑還有課程、師資、就業、費用等等這些也還可以，多對比幾家機構，條件允許的話就去實地考察，希望你能找到好的大數據學校。

F. 去哪裡學大數據

你如果是大學，就是中國人民大學，電子科技大學，北京信息科技大學，中北大學，上海工程技術大學
如果是初中畢業，推薦你上完高中去學院學習，
高中畢業就是藍歐 還有北大青鳥（培訓機構，最起碼有點基礎去學），

G. 如何開始學習大數據

首先我們要了解Java語言和操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

H. 學大數據需要具備什麼基礎

第一階段Java基礎的學習：主要知識點有：Java基礎語法、面向對象編程、常用類和工內具類 集合框架體系、容異常處理機制、文件和IO流、移動開戶管理系統、多線程、枚舉和垃圾回收 、反射、JDK新特性、通訊錄系統等
第二階段JavaEE核心的學習：主要學習知識點：前端技術、資料庫、JDBC技術、伺服器端技術、Maven Spring、SpringBoot Git等。學習了這些你可以製作精美的網頁和動態JavaScript效果完成項目前端頁面的製作。
第三階段Hadoop生態體系的學習：主要學習知識點：Linux、Hadoop、ZooKeeper、Hive、 HBase、Phoenix、Impala、Kylin、Flume、Sqoop&DataX、Kafka、 Oozie&Azkaban、Hue等。學習了這些你可以製作智慧農業數倉分析平台

I. 哪地方能學大數據

可以到網站上了解下大數據開發分析的課程內容和就業前景，多考慮下選擇適合自己的學習方式。