大數據項目總監

❶ 如何成為一名大數據工程師

大數據是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大數據處理相關的職業，通過對數據的挖掘分析來影響企業的商業決策。

這群人在國外被叫做數據科學家（Data Scientist），這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出，他們後來分別成為了領英（LinkedIn）和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業里開始創造價值。

不過在國內，大數據的應用才剛剛萌芽，人才市場還不那麼成熟，「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板，招聘能和現有團隊互補的人才。」領英（LinkedIn）中國商務分析及戰略總監王昱堯對《第一財經周刊》說。

數據工程師是做什麼的？於是每家公司對大數據工作的要求不盡相同：有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業務類型和團隊分工，給這群與大數據打交道的人一些新的頭銜和定義：數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title，我們將其統稱為「大數據工程師」。

由於國內的大數據工作還處在一個有待開發的階段，因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架，包括要有計算機編碼能力、數學及統計學相關背景，當然如果能對一些特定領域或行業有比較深入的了解，對於其快速判斷並抓准關鍵因素則更有幫助。

雖然對於一些大公司來說，擁有碩博學歷的公司人是比較好的選擇，不過阿里巴巴集團研究員薛貴榮強調，學歷並不是最主要的因素，能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。

除此之外，一個優秀的大數據工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的，哪個是重要的，使用什麼樣的數據是最有價值的，如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目，並在短時間內成為這個領域的數據專家；溝通能力則能讓他們的工作開展地更順利，因為大數據工程師的工作主要分為兩種方式：由市場部驅動和由數據分析部門驅動，前者需要常常向產品經理了解開發需求，後者則需要找運營部了解數據模型實際轉化的情況。

你可以將以上這些要求看做是成為大數據工程師的努力方向，因為根據萬寶瑞華管理合夥人顏莉萍（Nicole Yan）的觀察，這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域，有超過56%的企業在籌備發展大數據研究，「未來5年，94%的公司都會需要數據科學家。」顏莉萍（Nicole Yan）說。因此她也建議一些原本從事與數據工作相關的公司人可以考慮轉型。

用阿里巴巴集團研究員薛貴榮的話來說，大數據工程師就是一群「玩數據」的人，玩出數據的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此「會玩」這些數據的人就很重要。

沈志勇認為如果把大數據想像成一座不停累積的礦山，那麼大數據工程師的工作就是，「第一步，定位並抽取信息所在的數據集，相當於探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當於冶煉。最後是應用，把數據可視化等。」

因此分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。

1.找出過去事件的特徵

大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。比如，騰訊的數據團隊正在搭建一個數據倉庫，把公司所有網路平台上數量龐大、不規整的數據信息進行梳理，總結出可供查詢的特徵，來支持公司各類業務對數據的需求，包括廣告投放、游戲開發、社交網路等。

找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。「你可以知道他是什麼樣的人、他的年紀、興趣愛好，是不是互聯網付費用戶、喜歡玩什麼類型的游戲，平常喜歡在網上做什麼事情。」騰訊雲計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面，就可以針對各類人群推薦相關服務，比如手游，或是基於不同特徵和需求衍生出新的業務模式，比如微信的電影票業務。

2.預測未來可能發生的事情

通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上，工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。「比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。」薛貴榮說。

在網路，沈志勇支持「網路預測」部分產品的模型研發，試圖用大數據為更廣泛的人群服務。已經上線的包括世界盃預測、高考預測、景點預測等。以網路景點預測為例，大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測，並為全國各個景點未來的擁擠度分級—在接下來的若干天時間里，它究竟是暢通、擁擠，還是一般擁擠？

3.找出最優化的結果

根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

以騰訊來說，鄭立峰認為能反映大數據工程師工作的最簡單直接的例子就是選項測試（AB Test），即幫助產品經理在A、B兩個備選方案中做出選擇。在過去，決策者只能依據經驗進行判斷，但如今大數據工程師可以通過大范圍地實時測試—比如，在社交網路產品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統計一段時間內的點擊率和轉化率，以此幫助市場部做出最終選擇。

作為電商的阿里巴巴，則希望通過大數據鎖定精準的人群，幫助賣家做更好的營銷。「我們更期待的是你能找到這樣一批人，比起現有的用戶，這些人對產品更感興趣。」薛貴榮說。一個淘寶的實例是，某人參賣家原來推廣的目標人群是產婦，但工程師通過挖掘數據之間的關聯性後發現，針對孕婦群體投放的營銷轉化率更高。

需要具備的能力

1.數學及統計學相關的背景

就我們采訪過的BAT三家互聯網大公司來說，對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。沈志勇認為，缺乏理論背景的數據工作者，更容易進入一個技能上的危險區域（Danger Zone）—一堆數字，按照不同的數據模型和演算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。「只有具備一定的理論知識，才能理解模型、復用模型甚至創新模型，來解決實際問題。」沈志勇說。

2.計算機編碼能力

實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。「因為許多數據的價值來自於挖掘的過程，你必須親自動手才能發現金子的價值。」鄭立峰說。

舉例來說，現在人們在社交網路上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中，大數據工程師的職責以商業分析為主，但也要熟悉計算機處理大數據的方式。

3.對特定應用領域或行業的知識

在顏莉萍（Nicole Yan）看來，大數據工程師這個角色很重要的一點是，不能脫離市場，因為大數據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大數據工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。

「他不能只是懂得數據，還要有商業頭腦，不論對零售、醫葯、游戲還是旅遊等行業，能就其中某些領域有一定的理解，最好還是與公司的業務方向一致的，」就此薛貴榮還打了個比方，「過去我們說一些奢侈品店員勢利，看人一眼就知道買得起買不起，但這群人恰恰是有敏銳度的，我們認為他們是這個行業的專家。又比如對醫療行業了解的人，他在考慮醫療保險業務時，不僅會和人們醫院看病的記錄相關，也會考慮飲食數據，這些都是基於對該領域的了解。」

職業發展1.如何成為大數據工程師

由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。

2014年8月，阿里巴巴舉辦了一個大數據競賽，把天貓平台上的數據拿出來，去除敏感問題後，放到雲計算平台上交予7000多支隊伍進行比賽，比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工，同時也發現外部人才，讓各行業的大數據工程師涌現出來。」

顏莉萍（Nicole Yan）建議，目前長期從事資料庫管理、挖掘、編程工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成為大數據工程師。

2.薪酬待遇

作為IT類職業中的「大熊貓」，大數據工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍（Nicole Yan）的觀察，國內IT、通訊、行業招聘中，有10%都是和大數據相關的，且比例還在上升。顏莉萍（Nicole Yan）表示，「大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。」在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%，且頗受企業重視。

3.職業發展路徑

由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。「這個職位的大部分人會往研究方向發展，成為重要數據戰略人才。」顏莉萍（Nicole Yan）說。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

❷ 大數據工程師未來職業規劃

想了解數據分析工程師的職業規劃或學習計劃，由此來提升自己的技能和專業知識，我覺得最准確最有針對性一個方法就是查閱招聘崗位的工作要求，這樣我們就可以有的放矢地好好專研自己的學習。我們看一下以下這條招聘要求：
1.負責大數據平台的規劃、分析、設計工作，把握整體架構，進行相關技術方案文檔的撰寫；
2.負責大數據平台的部署、開發、維護工作；
3.與BI分析人員協作，完成面向業務目標的數據分析模型定義和演算法實施工作；
4.承擔相關技術領域的探索與儲備。
任職要求：
1.大學本科以上學歷，熟練掌握C/C++或者java；
2.熟悉各種常用數據結構及演算法，對linux下的網路資料庫開發有足夠經驗；
3.有2年以上C++實戰經驗者優先；
4.有大數據挖據方面經驗和技能者優先；如hadoop、hbase、hive等；
5.善於與其他部門的成員溝通、協作。
還有一個招聘要求是：
崗位職責：
1、理解並挖掘用戶需求，進行數據建模；
2、利用專業統計、分析工具從海量數據中總結規律、挖掘潛在價值，提供決策依據。
任職要求：
1、數學類、統計類、計算機類、人工智慧類相關專業本科及以上學歷，2年左右專職數據分析、挖掘經驗，優秀的應屆碩士也可；
2、良好的數據敏感性，善於從海量數據中提取有效信息進行分析挖掘和建模；
3、熟練掌握任一種分析工具，例SPSS、SAS、R語言、MatLab；
4、熟悉資料庫技術，如oracle、SQL、MongoDB；
5、對於數學建模、數據挖掘、Hadoop大數據有經驗者優先。
我想，你看到這，應該是對數據分析工程師有了非常明晰的看法，好好加油ba !

❸ 做大數據開發工程師有前途嗎

1.如何成為大數據工程師
由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
2014年8月，阿里巴巴舉辦了一個大數據競賽，把天貓平台上的數據拿出來，去除敏感問題後，放到雲計算平台上交予7000多支隊伍進行比賽，比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工，同時也發現外部人才，讓各行業的大數據工程師涌現出來。」
目前長期從事資料庫管理、挖掘、編程工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成為大數據工程師。
2.薪酬待遇
作為IT類職業中的「大熊貓」，大數據工程師的收入待遇可以說達到了同類的頂級。國內IT、通訊、行業招聘中，有10%都是和大數據相關的，且比例還在上升。大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20%至30%，且頗受企業重視。
3.職業發展路徑
由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。這個職位的大部分人會往研究方向發展，成為重要數據戰略人才。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

❹ 大數據工程師的職業發展前景如何

我們都知道，大數據現在是非常火熱的，基本上是人盡皆知，很多人也都非常想加入這個行業，成為一名優秀合格的大數據工程師。從目前的情況來看，由於現今大市場環境下大數據人才匱乏，對於公司來說，很難招聘到合適的人才（既要有高學歷，同時最好還有大規模數據處理經驗），這也就為那些正在成為大數據工程師的朋友提供了一個很好的職業稀缺環境。那麼大數據工程師的職業發展前景具體如何呢？
大數據工程師的前途還是很明朗的，成為大數據工程師如果有相關方面的經驗的話還是比較簡單的。目前長期從事資料庫管理、挖掘、編程工作的人，包括傳統的量化分析師方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成為大數據工程師。
大數據工程師在薪酬待遇也是很有優勢的，可以說，大數據工程師在IT類職業中比較稀缺的，大數據工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍的觀察，國內IT、通訊、行業招聘中，有10％都是和大數據相關的，且比例還在上升。大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高很多。
在職業發展路徑上，由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。這個職位的大部分人會往研究方向發展，成為重要數據戰略人才。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。
關於大數據工程師的職業發展問題小編就為大家介紹這么多。可以看到，大數據工程師未來的發展前景還是非常美好的，並且薪資待遇也非常的好，這也是為什麼這么多人爭相加入到這一行業中的重要原因之一。如果大家心存志遠的話，可以選擇大數據工程師作為自己職業生涯的長遠規劃哦。

❺ 2021年大數據工程師好不好找工作

1、一線城市就業機會多
據報告顯示，985、211高校在內的重點高校大學畢業生去往一線城市的比例很高，非重點大學畢業的大學生也有大部分畢業後去往一線城市。一線城市在科技產業、金融領域、互聯網領域處於國家前端的優勢。一線城市是國內優秀企業的集聚地，有非常多的大企業對人才的需求量大，就業機會多。
2、大數據工程師人才缺少
大數據人才稀少，大數據開發面臨巨大人才缺口，目前各個領域都需要大數據技術來支持，而大數據人才缺口達130萬，很多企業對大數據工程師求之不得。人才的培養需要理論教學和實踐練習相結合，也就是需要時間，大數據培訓機構應用而生。國內IT、通訊、行業招聘中，有10%都是和大數據相關的，且比例還在上升。大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。
3、一線城市是高新科技的集聚地
科技的優勢改變了世界，一線城市是高新科技的集聚地，集中了中國最頂尖的科研機構，高等院校，以及資深高科技企業，引領了中國科技發展的潮流，引領中國企業的發展潮流。由於大數據人才數量較少，因此一線城市大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

❻ 大數據工程師要掌握什麼

已經身處這個行業的專家給出了一些人才需求的大體框架，包括要有計算版機編碼能力、數學權及統計學相關背景；學歷並不是最主要的因素，能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。

此外，一個優秀的大數據工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。

大數據必備技能：

❼ 大數據的就業前景怎麼樣

未來十年大數據的發展前景都非常好，目前行業需求大，人才十分缺乏

1、市場需版求大

隨著信息產業權的迅猛發展，行業人才需求量也在逐年擴大。據國內權威數據統計，未來五年，我國信息化人才總需求量高達1500萬— 2000萬人。以大數據分析為例，我國大數據人才需求以每年遞增20%的速度增長，每年新增需求近百萬。

2、人才緊缺

大數據人才需要一定的技術性，然而高校培養出來的人才和企業所需的人才嚴重不符，導致大數據人才奇缺，因此一個熟練的大數據技術工程師，特別受用人單位的重視。

3、待遇好

市場經濟高速發展的今天，大數據行業以其超強的發展勢頭，成為目前最具前景的高薪行業之一，大數據分析、大叔就開發等大數據人才必將成為市場緊缺型人才，發展前景好，薪資水平也水漲船高。

❽ 學完大數據能找什麼樣的工作

我們知道大數據的火爆，知道大數據的就業前景好，但學習大數據能找什麼工作呢？這個是很多學生的困惑。為學生提供了以下幾個就業方向。

當前醫療行業、能源行業、通信行業、零售業、金融行業、體育行業等各行業都可以從其數據的採集、傳輸、存儲、分析等各個環節產生巨大的經濟價值，而提供大數據基礎設施的企業、大數據軟體技術服務的企業、行業大數據內容咨詢服務的企業都將從大數據的廣泛應用而得到迅速發展。
學習大數據可以從事很多工作，比如說：hadoop 研發工程師、大數據研發工程師、大數據分析工程師、資料庫工程師、hadoop運維工程師、大數據運維工程師、java大數據工程師、spark工程師等等都是我們可以從事的工作崗位！不同的崗位，所具備的技術知識也是不一樣的，需要從各個方向學習，逐個擊破！
比如說：Hadoop開發工程師
你需要具備一下技術：
a. 基於hadoop、hive等構建數據分析平台，進行數據平台架構設計、開發分布式計算業務;
b. 應用大數據、數據挖掘、分析建模等技術，對海量數據進行挖掘，發現其潛在的關聯規則;
c. 對hadoop、hive、hbase、Map/Rece相關產品進行預研、開發;
d. 通過Hadoop相關技術解決海量數據處理問題、大數據量的分析。
e. Hadoop相關業務腳本的性能優化與提升，不斷提高系統運行效率;
數據工程師
職責：
a. 分析各類用戶不斷變化的行為;
b. 預測各類營銷對用戶的影響，定位精準市場投放;
c. 幫助實現自動化監控平台。
Hadoop運維工程師
你需要具備以下技術知識：
a. 平台大數據環境的部署維護和技術支持;
b. 應用故障的處理跟蹤及統計匯總分析;
c. 應用安全，數據的日常備份和應急恢復;
數據挖掘分析師
你需要具備以下技術：
a.對優先考慮的賬戶進行統計分析，從而更大限度的成功化。
b.與主管或客戶端溝通行動計劃，並找出需要改進的地方。
c.執行戰略數據分析和研究，以支持業務需求。
d.找准機會從而用復雜的統計建模提高生產率。
e.瀏覽數據來認准機會並提高業務成效。
f.指定業務流程，目標和戰略的理解，以提供分析和解釋。
g. 針對內部討論的理解，在適當情況下獲得業務需求和必要的分析。
正所謂，術業有專攻，即使同為大數據技術，也是有不一樣的，主要還是看自己感興趣的方向！

❾ 大數據工程師到底是什麼

用阿里巴巴集團研究員薛貴榮的話來說，大數據工程師就是一群「玩數據」的人，內玩出數據容的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此「會玩」這些數據的人就很重要。

沈志勇認為如果把大數據想像成一座不停累積的礦山，那麼大數據工程師的工作就是，「第一步，定位並抽取信息所在的數據集，相當於探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當於冶煉。最後是應用，把數據可視化等。」

因此分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。