大數據基礎及應用

A. 大數據專業主要學什麼

大數據專業一般指大數據採集與管理專業。 大數據採集與管理專業是從大數據應用的數據管理、系統開發、海量數據分析與挖掘等層面系統地幫助企業掌握大數據應用中的各種典型問題的解決辦法的專業。

B. 大數據技術與應用是學什麼的

這里介紹一下大數據要學習和掌握的知識與技能：

①java：一門面向對象的計算機編程語言，具有功能強大和簡單易用兩個特徵。

②spark：專為大規模數據處理而設計的快速通用的計算引擎。

③SSM：常作為數據源較簡單的web項目的框架。

④Hadoop：分布式計算和存儲的框架，需要有java語言基礎。

⑤spring cloud：一系列框架的有序集合，他巧妙地簡化了分布式系統基礎設施的開發。

⑤python：一個高層次的結合了解釋性、編譯性、互動性和面向對象的腳本語言。

互聯網行業目前還是最熱門的行業之一，學習IT技能之後足夠優秀是有機會進入騰訊、阿里、網易等互聯網大廠高薪就業的，發展前景非常好，普通人也可以學習。

想要系統學習，你可以考察對比一下開設有相關專業的熱門學校，好的學校擁有根據當下企業需求自主研發課程的能力，建議實地考察對比一下。

祝你學有所成，望採納。

北大青鳥學生課堂實錄

C. 大數據技術與應用是學什麼的

大數據技術與應用專業學資料庫基礎、軟體測試、信息處理技術、JAVA高級程序設計、雲計算概論、數據結構。大數據技術與應用專業培養學生挖掘數據、分析數據以及開發軟體的能力。

大數據技術與應用研究方向是將大數據分析挖掘與處理、移動開發與架構、軟體開發、雲計算等前沿技術相結合的「互聯網＋」前沿科技專業。

大數據技術與應用的應用領域：

零售業：主要集中在客戶營銷分析上，通過大數據技術可以對客戶的消費信息進行分析。獲知客戶的消費習慣、消費方向等，以便商場做好更合理商品、貨架擺放，規劃市場營銷方案、產品推薦手段等。

金融業：在金融行業里頭，數據即是生命，其信息系統中積累了大量客戶的交易數據。通過大數據可以對客戶的行為進行分析、防堵詐騙、金融風險分析等。

醫療業：通過大數據可以輔助分析疫情信息，對應做出相應的防控措施。對人體健康的趨勢分析在電子病歷、醫學研發和臨床試驗中，可提高診斷准確性和葯物有效性等。

以上內容參考：網路-大數據技術與應用

D. 大數據可以應用在哪些方面

可以應用在雲計算方面。

大數據具體的應用：

1、洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。

2、google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。

3、統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。

4、麻省理工學院利用手機定位數據和交通數據建立城市規劃。

5、梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。

6、醫療行業早就遇到了海量數據和非結構化數據的挑戰，而近年來很多國家都在積極推進醫療信息化發展，這使得很多醫療機構有資金來做大數據分析。

7、及時解析故障、問題和缺陷的根源，每年可能為企業節省數十億美元。

8、為成千上萬的快遞車輛規劃實時交通路線，躲避擁堵。

9、分析所有SKU，以利潤最大化為目標來定價和清理庫存。

10、根據客戶的購買習慣，為其推送他可能感興趣的優惠信息。

(4)大數據基礎及應用擴展閱讀：

大數據的用處：

1、與雲計算的深度結合。大數據離不開雲處理，雲處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平台之一。

自2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

2、科學理論的突破。隨著大數據的快速發展，就像計算機和互聯網一樣，大數據很有可能是新一輪的技術革命。可能會改變數據世界裡的很多演算法和基礎理論，實現科學技術上的突破。

參考資料：

網路--大數據

E. 想要學習大數據，應該怎麼入門

記住學到這里可以作為你學大數據的一個節點。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

F. 大數據技術及應用

大數據技術及應用
半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度。21世紀是數據信息大發展的時代，移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹並變大。互聯網（社交、搜索、電商）、移動互聯網（微博）、物聯網（感測器，智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、簡訊）都在瘋狂產生著數據。2011年5 月，在「雲計算相遇大數據」 為主題的EMC World 2011 會議中，EMC 拋出了Big Data概念。正如《紐約時報》2012年2月的一篇專欄中所稱，「大數據」時代已經降臨，在商業、經濟及其他領域中，決策將日益基於數據和分析而作出，而並非基於經驗和直覺。哈佛大學社會學教授加里？金說：「這是一場革命，龐大的數據資源使得各個領域開始了量化進程，無論學術界、商界還是政府，所有領域都將開始這種進程。」
二、什麼是大數據
大數據（Big Data）是指那些超過傳統資料庫系統處理能力的數據。它的數據規模和轉輸速度要求很高，或者其結構不適合原本的資料庫系統。為了獲取大數據中的價值，我們必須選擇另一種方式來處理它。數據中隱藏著有價值的模式和信息，在以往需要相當的時間和成本才能提取這些信息。如沃爾瑪或谷歌這類領先企業都要付高昂的代價才能從大數據中挖掘信息。而當今的各種資源，如硬體、雲架構和開源軟體使得大數據的處理更為方便和廉價。即使是在車庫中創業的公司也可以用較低的價格租用雲服務時間了。對於企業組織來講，大數據的價值體現在兩個方面：分析使用和二次開發。對大數據進行分析能揭示隱藏其中的信息。例如零售業中對門店銷售、地理和社會信息的分析能提升對客戶的理解。對大數據的二次開發則是那些成功的網路公司的長項。例如Facebook通過結合大量用戶信息，定製出高度個性化的用戶體驗，並創造出一種新的廣告模式。這種通過大數據創造出新產品和服務的商業行為並非巧合，谷歌、雅虎、亞馬遜和Facebook它們都是大數據時代的創新者。
（一）大數據的4V特徵
大量化（Volume）：企業面臨著數據量的大規模增長。例如，IDC最近的報告預測稱，到2020年，全球數據量將擴大50倍。目前，大數據的規模尚是一個不斷變化的指標，單一數據集的規模範圍從幾十TB到數PB不等。簡而言之，存儲1PB數據將需要兩萬台配備50GB硬碟的個人電腦。此外，各種意想不到的來源都能產生數據。
多樣化（Variety）：一個普遍觀點認為，人們使用互聯網搜索是形成數據多樣性的主要原因，這一看法部分正確。然而，數據多樣性的增加主要是由於新型多結構數據，以及包括網路日誌、社交媒體、互聯網搜索、手機通話記錄及感測器網路等數據類型造成。其中，部分感測器安裝在火車、汽車和飛機上，每個感測器都增加了數據的多樣性。
快速化（Velocity）：高速描述的是數據被創建和移動的速度。在高速網路時代，通過基於實現軟體性能優化的高速電腦處理器和伺服器，創建實時數據流已成為流行趨勢。企業不僅需要了解如何快速創建數據，還必須知道如何快速處理、分析並返回給用戶，以滿足他們的實時需求。根據IMS Research關於數據創建速度的調查，據預測，到2020年全球將擁有220億部互聯網連接設備。
價值（Value）：大量的不相關信息，浪里淘沙卻又彌足珍貴。對未來趨勢與模式的可預測分析，深度復雜分析（機器學習、人工智慧Vs傳統商務智能（咨詢、報告等）
三、大數據時代對生活、工作的影響
大數據，其影響除了經濟方面的，它同時也能在政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循「數」管理的模式，也是我們當下「大社會」的集中體現，三分技術，七分數據，得數據者得天下。
「大數據」的影響，增加了對信息管理專家的需求。事實上，大數據的影響並不僅僅限於信息通信產業，而是正在「吞噬」和重構很多傳統行業，廣泛運用數據分析手段管理和優化運營的公司其實質都是一個數據公司。麥當勞、肯德基以及蘋果公司等旗艦專賣店的位置都是建立在數據分析基礎之上的精準選址。而在零售業中，數據分析的技術與手段更是得到廣泛的應用，傳統企業如沃爾瑪通過數據挖掘重塑並優化供應鏈，新崛起的電商如卓越亞馬遜、淘寶等則通過對海量數據的掌握和分析，為用戶提供更加專業化和個性化的服務。
大數據在個人隱私的方面，大量數據經常含有一些詳細的潛在的能夠展示有關我們的信息，逐漸引起了我們對個人隱私的擔憂。一些處理大數據公司需要認真的對待這個問題。例如美國天睿資訊給人留下比較深刻印象的是他的一個科學家提出，我們不應該簡單地服從法律方面的隱私保護問題，這些遠遠不夠的，公司都應該遵從谷歌不作惡的原則，甚至更應該做出更積極的努力。
四、大數據時代的發展方向、趨勢
根據ESM國際電子商情針對2013年大數據應用現狀和趨勢的調查顯示：被調查者最關注的大數據技術中，排在前五位的分別是大數據分析（12.91%）、雲資料庫（11.82%）、Hadoop（11.73%）、內存資料庫（11.64%）以及數據安全（9.21%）。Hadoop已不再是人們心目中僅有的大數據技術，而大數據分析成為最被關注的技術。從中可以看出，人們對大數據的了解已經逐漸深入，關注的技術點也越來越多。既然大數據分析是最被關注的技術趨勢，那麼大數據分析中的哪項功能是最重要的呢？從下圖可以看出，排在前三位的功能分別是實時分析（21.32%）、豐富的挖掘模型（17.97%）和可視化界面（15.91%）。2012年也曾做過類似的調查，當時選擇豐富的挖掘模型（27.22%）比實時分析（19.88%）多7.34%。短短一年時間內，企業對實時分析的需求激增，成就了很多以實時分析為創新技術的大數據廠商。從調查結果可以看出：企業在未來一兩年中有迫切部署大數據的需求，並且已經從一開始的基礎設施建設，逐漸發展為對大數據分析和整體大數據解決方案的需求。與此同時，大數據還面臨人才的缺乏的挑戰，需要企業和高校聯合起來，培養數據領域的復合型人才，幫助企業打贏這場「數據戰」。
五、大數據的應用
（一）行業拓展者，打造大數據行業基石
IBM：IBM大數據提供的服務包括數據分析，文本分析，藍色雲杉（混搭供電合作的網路平台）；業務事件處理；IBM Mashup Center的計量，監測，和商業化服務（MMMS）。 IBM的大數據產品組合中的最新系列產品的InfoSphere bigInsights，基於Apache Hadoop。
該產品組合包括：打包的Apache Hadoop的軟體和服務，代號是bigInsights核心，用於開始大數據分析。軟體被稱為bigsheet，軟體目的是幫助從大量數據中輕松、簡單、直觀的提取、批註相關信息為金融，風險管理，媒體和娛樂等行業量身定做的行業解決方案。
微軟：2011年1月與惠普（具體而言是HP資料庫綜合應用部門） 合作目標是開發了一系列能夠提升生產力和提高決策速度的設備。
EMC：EMC 斬獲了紐交所和Nasdaq；大數據解決方案已包括40多個產品。
Oracle：Oracle大數據機與Oracle Exalogic中間件雲伺服器、Oracle Exadata資料庫雲伺服器以及Oracle Exalytics商務智能雲伺服器一起組成了甲骨文最廣泛、高度集成化系統產品組合。
（二）大數據促進了政府職能變革
重視應用大數據技術，盤活各地雲計算中心資產：把原來大規模投資產業園、物聯網產業園從政績工程，改造成智慧工程；在安防領域，應用大數據技術，提高應急處置能力和安全防範能力；在民生領域，應用大數據技術，提升服務能力和運作效率，以及個性化的服務，比如醫療、衛生、教育等部門；解決在金融，電信領域等中數據分析的問題：一直得到得極大的重視，但受困於存儲能力和計算能力的限制，只局限在交易數型數據的統計分析。一方面大數據的應用促進了政府職能變革，另一方面政府投入將形成示範效應，大大推動大數據的發展。
（三）打造「智慧城市」
美國奧巴馬政府在白宮網站發布《大數據研究和發展倡議》，提出「通過收集、處理龐大而復雜的數據信息，從中獲得知識和洞見，提升能力，加快科學、工程領域的創新步伐，強化美國國土安全，轉變教育和學習模式」 ；中國工程院院士鄔賀銓說道，「智慧城市是使用智能計算技術使得城市的關鍵基礎設施的組成和服務更智能、互聯和有效，隨著智慧城市的建設，社會將步入「大數據」時代。」
（四）未來，改變一切
未來，企業會依靠洞悉數據中的信息更加了解自己，也更加了解客戶。
數據的再利用：由於在信息價值鏈中的特殊位置，有些公司可能會收集到大量的數據，但他們並不急需使用也不擅長再次利用這些數據。例如，行動電話運營商手機用戶的位置信息來傳輸電話信號，這對以他們來說，數據只有狹窄的技術用途。但當它被一些發布個性化位置廣告服務和促銷活動的公司再次利用時，則變得更有價值。
六、機遇和挑戰
大數據賦予了我們洞察未來的能力，但同時諸多領域的問題亟待解決，最重要的是每個人的信息都被互聯網所記錄和保留了下來，並且進行加工和利用，為人所用，而這正是我們所擔憂的信息安全隱患！更多的隱私、安全性問題：我們的隱私被二次利用了。多少密碼和賬號是因為「社交網路」流出去的？
眼下中國互聯網熱門的話題之一就是互聯網實名制問題，我願意相信這是個好事。畢竟我們如果明著亮出自己的身份，互聯網才能對我們的隱私給予更好保護

G. 大數據都能應用在哪些方面

很多方面都可以呀，比如大數據可以分析往年顧客的消費習慣，顧客的消費年齡段，結合以前預估未來的發展趨勢等等。

H. 大數據應用主要是應用在哪些方面

很多方面，最復典型是分析垃圾制郵件內容，過濾垃圾信息。另外還有搜索引擎，圖像識別，語音識別等。一般平民很難接觸到大數據，需要很龐大的數據量得出的結果才有意義，所以大數據是有門檻的。但是大數據仍然在不知不覺間幫助我們。

I. 大數據分析和應用的基礎是什麼

大數據分析和應用的基礎是分布式原理
因為數據量大，因此單機不能處理，因此用到版分布式存儲和計算
如何在此權基礎上獲得更佳的性能 那就是要掌握分布式相關的原理，比如分布式計算Maprece知道數據流式怎麼走的，
分布式分析基本都是基於這個範式，雖然用起來和單機一樣，但是能不能寫出高效的演算法 你必須懂原理

J. 大數據技術與應用學習內容有哪些

大數據技術與應用需要學習Hadoop實用技術、數據挖掘、機器學習、數據統計分析、高等數學等內容。在“大數據”背景之下，精通“大數據”的專業人才將成為企業最重要的業務角色，“大數據”從業人員薪酬持續增長，人才缺口巨大，就業前景十分可觀。

大數據技術專業屬於交叉學科：以統計學、數學、計算機為三大支撐性學科;生物、醫學、環境科學、經濟學、社會學、管理學為應用拓展性學科。此外還需學習數據採集、分析、處理軟體，學習數學建模軟體及計算機編程語言等，知識結構是二專多能復合的跨界人才(有專業知識、有數據思維)。

以中國人民大學為例：

基礎課程：數學分析、高等代數、普通物理數學與信息科學概論、數據結構、數據科學導論、程序設計導論、程序設計實踐。

必修課：離散數學、概率與統計、演算法分析與設計、數據計算智能、資料庫系統概論、計算機系統基礎、並行體系結構與編程、非結構化大數據分析。

選修課：數據科學演算法導論、數據科學專題、數據科學實踐、互聯網實用開發技術、抽樣技術、統計學習、回歸分析、隨機過程。