數據工程師是做什麼的

㈠ 大數據工程師做什麼

大數據工程師做什麼？需要具備什麼能力？
大數據是眼下非常時髦的技術名詞，與此同時自然也催生出了一些與大數據處理相關的職業，通過對數據的挖掘分析來影響企業的商業決策。
這群人在國外被叫做數據科學家（Data Scientist），這個頭銜最早由D.J.Pati和Jeff Hammerbacher於2008年提出，他們後來分別成為了領英（LinkedIn）和Facebook數據科學團隊的負責人。而數據科學家這個職位目前也已經在美國傳統的電信、零售、金融、製造、物流、醫療、教育等行業里開始創造價值。
不過在國內，大數據的應用才剛剛萌芽，人才市場還不那麼成熟，「你很難期望有一個全才來完成整個鏈條上的所有環節。更多公司會根據自己已有的資源和短板，招聘能和現有團隊互補的人才。」領英（LinkedIn）中國商務分析及戰略總監王昱堯對《第一財經周刊》說。
於是每家公司對大數據工作的要求不盡相同：有的強調資料庫編程、有的突出應用數學和統計學知識、有的則要求有咨詢公司或投行相關的經驗、有些是希望能找到懂得產品和市場的應用型人才。正因為如此，很多公司會針對自己的業務類型和團隊分工，給這群與大數據打交道的人一些新的頭銜和定義：數據挖掘工程師、大數據專家、數據研究員、用戶分析專家等都是經常在國內公司里出現的Title，我們將其統稱為「大數據工程師」。
王昱堯認為，在一個成熟的數據驅動型公司，「大數據工程師」往往是一個團隊，它意味著從數據的收集、整理展現、分析和商業洞察、以至於市場轉化的全過程。這個團隊中可能包括數據工程師、分析師、產品專員、市場專員和商業決策者等角色，共同完成從原始數據到商業價值的轉換—概括來講，這是一個支持企業做出商業決策、發掘商業模式的重要群體。
由於國內的大數據工作還處在一個有待開發的階段，因此能從其中挖掘出多少價值完全取決於工程師的個人能力。已經身處這個行業的專家給出了一些人才需求的大體框架，包括要有計算機編碼能力、數學及統計學相關背景，當然如果能對一些特定領域或行業有比較深入的了解，對於其快速判斷並抓准關鍵因素則更有幫助。
雖然對於一些大公司來說，擁有碩博學歷的公司人是比較好的選擇，不過阿里巴巴集團研究員薛貴榮強調，學歷並不是最主要的因素，能有大規模處理數據的經驗並且有喜歡在數據海洋中尋寶的好奇心會更適合這個工作。
除此之外，一個優秀的大數據工程師要具備一定的邏輯分析能力，並能迅速定位某個商業問題的關鍵屬性和決定因素。「他得知道什麼是相關的，哪個是重要的，使用什麼樣的數據是最有價值的，如何快速找到每個業務最核心的需求。」聯合國網路大數據聯合實驗室數據科學家沈志勇說。學習能力能幫助大數據工程師快速適應不同的項目，並在短時間內成為這個領域的數據專家；溝通能力則能讓他們的工作開展地更順利，因為大數據工程師的工作主要分為兩種方式：由市場部驅動和由數據分析部門驅動，前者需要常常向產品經理了解開發需求，後者則需要找運營部了解數據模型實際轉化的情況。
你可以將以上這些要求看做是成為大數據工程師的努力方向，因為根據萬寶瑞華管理合夥人顏莉萍的觀察，這是一個很大的人才缺口。目前國內的大數據應用多集中在互聯網領域，有超過56%的企業在籌備發展大數據研究，「未來5年，94%的公司都會需要數據科學家。」顏莉萍說。因此她也建議一些原本從事與數據工作相關的公司人可以考慮轉型。
本期《第一財經周刊》采訪了BAT這3家國內互聯網公司，以及相關領域的人力資源專家，他們從職場角度為我們解讀如何成為大數據工程師以及這類崗位的職場現狀。
A 大數據工程師做什麼？
用阿里巴巴集團研究員薛貴榮的話來說，大數據工程師就是一群「玩數據」的人，玩出數據的商業價值，讓數據變成生產力。大數據和傳統數據的最大區別在於，它是在線的、實時的，規模海量且形式不規整，無章法可循，因此「會玩」這些數據的人就很重要。
沈志勇認為如果把大數據想像成一座不停累積的礦山，那麼大數據工程師的工作就是，「第一步，定位並抽取信息所在的數據集，相當於探礦和采礦。第二步，把它變成直接可以做判斷的信息，相當於冶煉。最後是應用，把數據可視化等。」
因此分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。
找出過去事件的特徵
大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。比如，騰訊的數據團隊正在搭建一個數據倉庫，把公司所有網路平台上數量龐大、不規整的數據信息進行梳理，總結出可供查詢的特徵，來支持公司各類業務對數據的需求，包括廣告投放、游戲開發、社交網路等。
找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。「你可以知道他是什麼樣的人、他的年紀、興趣愛好，是不是互聯網付費用戶、喜歡玩什麼類型的游戲，平常喜歡在網上做什麼事情。」騰訊雲計算有限公司北京研發中心總經理鄭立峰對《第一財經周刊》說。下一步到了業務層面，就可以針對各類人群推薦相關服務，比如手游，或是基於不同特徵和需求衍生出新的業務模式，比如微信的電影票業務。
預測未來可能發生的事情
通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上，工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。「比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。」薛貴榮說。
在網路，沈志勇支持「網路預測」部分產品的模型研發，試圖用大數據為更廣泛的人群服務。已經上線的包括世界盃預測、高考預測、景點預測等。以網路景點預測為例，大數據工程師需要收集所有可能影響一段時間內景點人流量的關鍵因素進行預測，並為全國各個景點未來的擁擠度分級—在接下來的若干天時間里，它究竟是暢通、擁擠，還是一般擁擠？
找出最優化的結果
根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。
以騰訊來說，鄭立峰認為能反映大數據工程師工作的最簡單直接的例子就是選項測試（AB Test），即幫助產品經理在A、B兩個備選方案中做出選擇。在過去，決策者只能依據經驗進行判斷，但如今大數據工程師可以通過大范圍地實時測試—比如，在社交網路產品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統計一段時間內的點擊率和轉化率，以此幫助市場部做出最終選擇。
作為電商的阿里巴巴，則希望通過大數據鎖定精準的人群，幫助賣家做更好的營銷。「我們更期待的是你能找到這樣一批人，比起現有的用戶，這些人對產品更感興趣。」薛貴榮說。一個淘寶的實例是，某人參賣家原來推廣的目標人群是產婦，但工程師通過挖掘數據之間的關聯性後發現，針對孕婦群體投放的營銷轉化率更高。
B 需要具備的能力
數學及統計學相關的背景
就我們采訪過的BAT三家互聯網大公司來說，對於大數據工程師的要求都是希望是統計學和數學背景的碩士或博士學歷。沈志勇認為，缺乏理論背景的數據工作者，更容易進入一個技能上的危險區域（Danger Zone）—一堆數字，按照不同的數據模型和演算法總能捯飭出一些結果來，但如果你不知道那代表什麼，就並不是真正有意義的結果，並且那樣的結果還容易誤導你。「只有具備一定的理論知識，才能理解模型、復用模型甚至創新模型，來解決實際問題。」沈志勇說。
計算機編碼能力
實際開發能力和大規模的數據處理能力是作為大數據工程師的一些必備要素。「因為許多數據的價值來自於挖掘的過程，你必須親自動手才能發現金子的價值。」鄭立峰說。
舉例來說，現在人們在社交網路上所產生的許多記錄都是非結構化的數據，如何從這些毫無頭緒的文字、語音、圖像甚至視頻中攫取有意義的信息就需要大數據工程師親自挖掘。即使在某些團隊中，大數據工程師的職責以商業分析為主，但也要熟悉計算機處理大數據的方式。
對特定應用領域或行業的知識
在顏莉萍看來，大數據工程師這個角色很重要的一點是，不能脫離市場，因為大數據只有和特定領域的應用結合起來才能產生價值。所以，在某個或多個垂直行業的經歷能為應聘者積累對行業的認知，對於之後成為大數據工程師有很大幫助，因此這也是應聘這個崗位時較有說服力的加分項。
「他不能只是懂得數據，還要有商業頭腦，不論對零售、醫葯、游戲還是旅遊等行業，能就其中某些領域有一定的理解，最好還是與公司的業務方向一致的，」就此薛貴榮還打了個比方，「過去我們說一些奢侈品店員勢利，看人一眼就知道買得起買不起，但這群人恰恰是有敏銳度的，我們認為他們是這個行業的專家。又比如對醫療行業了解的人，他在考慮醫療保險業務時，不僅會和人們醫院看病的記錄相關，也會考慮飲食數據，這些都是基於對該領域的了解。」
C 大數據工程師的職業發展
如何成為大數據工程師
由於目前大數據人才匱乏，對於公司來說，很難招聘到合適的人才—既要有高學歷，同時最好還有大規模數據處理經驗。因此很多企業會通過內部挖掘。
今年8月，阿里巴巴舉辦了一個大數據競賽，把天貓平台上的數據拿出來，去除敏感問題後，放到雲計算平台上交予7000多支隊伍進行比賽，比賽分為內部賽和外部賽。「通過這個方式來激勵內部員工，同時也發現外部人才，讓各行業的大數據工程師涌現出來。」
顏莉萍建議，目前長期從事資料庫管理、挖掘、編程工作的人，包括傳統的量化分析師、Hadoop方面的工程師，以及任何在工作中需要通過數據來進行判斷決策的管理者，比如某些領域的運營經理等，都可以嘗試該職位，而各個領域的達人只要學會運用數據，也可以成為大數據工程師。
薪酬待遇
作為IT類職業中的「大熊貓」，大數據工程師的收入待遇可以說達到了同類的頂級。根據顏莉萍的觀察，國內IT、通訊、行業招聘中，有10％都是和大數據相關的，且比例還在上升。顏莉萍表示，「大數據時代的到來很突然，在國內發展勢頭激進，而人才卻非常有限，現在完全是供不應求的狀況。」在美國，大數據工程師平均每年薪酬高達17.5萬美元，而據了解，在國內頂尖互聯網類公司，同一個級別大數據工程師的薪酬可能要比其他職位高20％至30％，且頗受企業重視。
職業發展路徑
由於大數據人才數量較少，因此大多數公司的數據部門一般都是扁平化的層級模式，大致分為數據分析師、資深研究員、部門總監3個級別。大公司可能按照應用領域的維度來劃分不同團隊，而在小公司則需要身兼數職。有些特別強調大數據戰略的互聯網公司則會另設最高職位—如阿里巴巴的首席數據官。「這個職位的大部分人會往研究方向發展，成為重要數據戰略人才。」顏莉萍說。另一方面，大數據工程師對商業和產品的理解，並不亞於業務部門員工，因此也可轉向產品部或市場部，乃至上升為公司的高級管理層。

㈡ 大數據工程師是做什麼的

大數據工程師抄主要是，分析歷史、預測未來、優化選擇，這是大數據工程師在「玩數據」時最重要的三大任務：

找出過去事件的特徵：大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。

預測未來可能發生的事情：通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。

找出最優化的結果：根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。

(2)數據工程師是做什麼的擴展閱讀

大數據工程師需要學習的知識

1、linux

大數據集群主要建立在linux操作系統上，Linux是一套免費使用和自由傳播的類Unix操作系統。而這部分的內容是大家在學習大數據中必須要學習的，只有學好Linux才能在工作中更加的得心應手。

2、Hadoop

我覺的大家聽過大數據就一定會聽過hadoop。Hadoop是一個能夠對大量數據進行離線分布式處理的軟體框架，運算時利用maprece對數據進行處理。

㈢ 數據工程師日常工作體系包括幾方面

1、梳理基礎指標體系
數據分析師需要根據業務的理解梳理指標體系以及對業務進行數據語言化，這項對於一個新業務來說尤其重要，基礎指標體系的口徑、規范、以及如何業務如何通過數據語言描述出來，是一項比較基礎的工作。
該項工作要求分析師具備搭建數據指標體系和梳理基礎數據的能力，該能力項重點考察分析師對業務的理解以及基於對業務的理解按照合理邏輯拆解指標的能力，它要求分析師具備很好的業務理解和邏輯框架能力。
2、利用SQL語句完成數據收集工作
數據分析師的數據大部分是從資料庫提取而來的，sql不僅能提取到所敘述句，還可以極大程度的提高工作效率。
對於一些需要深度分析用戶行為的數據，使用sql提取數據的時間可能會占整個數據分析過程的50%。如果對sql足夠熟悉時，就可以使用sql自動化或半自動化實現日常數據收集，這會使你的工作效率提高一個檔次。
3、製作報表
數據分析師把指標框架和分析體系搭建起來，需要把一些常規日報、周報、月報啊等一些分析內容沉澱下來，1來節省自己的精力做更有價值的業務分析，2來可以覆蓋業務絕大部分的看數需求。
編寫報告並不是將數字匯總發送給領導那麼簡單。數據分析師需要了解如何用數據創建敘述，為了保持價值，數據分析報告要一目瞭然，簡單易懂的方式展現答案和見解，因為決策者或者上級領導不一定也是數據分析師。

㈣ 數據工程師的工作職責有哪些

分析歷史、預測未來、優化選擇，這是大數據工程師在“玩數據”時最重要的三大任務。通過這三個工作方向，他們幫助企業做出更好的商業決策。

大數據工程師一個很重要的工作，就是通過分析數據來找出過去事件的特徵。比如，騰訊的數據團隊正在搭建一個數據倉庫，把公司所有網路平台上數量龐大、不規整的數據信息進行梳理，總結出可供查詢的特徵，來支持公司各類業務對數據的需求，包括廣告投放、游戲開發、社交網路等。

找出過去事件的特徵，最大的作用是可以幫助企業更好地認識消費者。通過分析用戶以往的行為軌跡，就能夠了解這個人，並預測他的行為。

通過引入關鍵因素，大數據工程師可以預測未來的消費趨勢。在阿里媽媽的營銷平台上，工程師正試圖通過引入氣象數據來幫助淘寶賣家做生意。比如今年夏天不熱，很可能某些產品就沒有去年暢銷，除了空調、電扇，背心、游泳衣等都可能會受其影響。那麼我們就會建立氣象數據和銷售數據之間的關系，找到與之相關的品類，提前警示賣家周轉庫存。

根據不同企業的業務性質，大數據工程師可以通過數據分析來達到不同的目的。以騰訊來說，能反映大數據工程師工作的最簡單直接的例子就是選項測試(AB Test)，即幫助產品經理在A、B兩個備選方案中做出選擇。在過去，決策者只能依據經驗進行判斷，但如今大數據工程師可以通過大范圍地實時測試—比如，在社交網路產品的例子中，讓一半用戶看到A界面，另一半使用B界面，觀察統計一段時間內的點擊率和轉化率，以此幫助市場部做出最終選擇。

關於數據工程師的工作職責有哪些，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

以上是小編為大家分享的關於數據工程師的工作職責有哪些?的相關內容，更多信息可以關注環球青藤分享更多干貨

㈤ 數據處理工程師是做什麼的

數據處理（data processing）是對數據的採集、存儲、檢索、加工、變換和傳輸。數據是對事實、概念或指令的一種表達形式，可由人工或自動化裝置進行處理。數據的形式可以是數字、文字、圖形或聲音等。數據經過解釋並賦予一定的意義之後，便成為信息。數據處理的基本目的是從大量的、可能是雜亂無章的、難以理解的數據中抽取並推導出對於某些特定的人們來說是有價值、有意義的數據。數據處理是系統工程和自動控制的基本環節。數據處理貫穿於社會生產和社會生活的各個領域。數據處理技術的發展及其應用的廣度和深度，極大地影響著人類社會發展的進程。數據處理離不開軟體的支持，數據處理軟體包括：用以書寫處理程序的各種程序設計語言及其編譯程序，管理數據的文件系統和資料庫系統，以及各種數據處理方法的應用軟體包。為了保證數據安全可靠，還有一整套數據安全保密的技術。
根據處理設備的結構方式、工作方式，以及數據的時間空間分布方式的不同，數據處理有不同的方式。不同的處理方式要求不同的硬體和軟體支持。每種處理方式都有自己的特點，應當根據應用問題的實際環境選擇合適的處理方式。數據處理主要有四種分類方式①根據處理設備的結構方式區分，有聯機處理方式和離線處理方式。②根據數據處理時間的分配方式區分，有批處理方式、分時處理方式和實時處理方式。③根據數據處理空間的分布方式區分，有集中式處理方式和分布處理方式。④根據計算機中央處理器的工作方式區分，有單道作業處理方式、多道作業處理方式和互動式處理方式。

㈥ 什麼是大數據應用工程師

定義
大數據工程技術人員是指從事大數據採集、清洗、分析、治理、挖掘等技術內研究，並加以利容用、管理、維護和服務的工程技術人員。
主要工作任務
大數據採集（爬蟲）、大數據清洗（ETL工程師）、大數據建模（演算法工程師）與大數據分析（數據分析員）；
管理、分析展現及應用等技術（大數據開發工程師）；
研究、應用大數據平台體系架構、技術和標准；
設計、開發、集成、測試大數據軟硬體系統；
管理、維護並保障大數據系統穩定運行；
監控、管理和保障大數據安全；
提供大數據的技術咨詢和技術服務。

㈦ 數據挖掘工程師一般都做什麼

數據挖掘工程師一般是指從大量的數據中通過演算法搜索隱藏於其中知識的工程技術專業人員。簡單的就是說通過大數據分析來獲得一個有用的結果。比如使企業決策智能化、自動化，從而提高企業的工作效率，讓錯誤決策更少出現。比較常見的就是通過一些分析挖掘工具來實現，如Hadoop、 HBase、 Hive、 Kafka、 Storm、 Spark工具等等。

數據挖掘指的是在長期手機的數據中分析和挖掘有價值的信息來提供決策。這個概念主要還是因為ERP（企業資源計劃）和OA(辦公自動化)軟體系統的廣泛應用和發展的基礎上提出的一個概念。因為企業在用這些軟體系統的過程中，雖然運營的狀態和管理以及成本有很大的節省，但是這些系統只能對企業的狀態和管理進行一個狀態性的記錄，對長期記錄下來的這些數據的分析和挖掘能力是有限的，雖然很多軟體供應商想出各種辦法來使用這些數據。

如果說想要提升大數據分析和數據挖掘的能力，這里推薦CDA數據分析師的相關課程，教你學企業需要的敏捷演算法建模能力，教你用可落地、易操作的數據科學思維和技術模板構建出優秀模型;聚焦策略分析技術及企業常用的分類、NLP、深度學習、特徵工程等數據演算法，課程中安排了Sklearn/LightGBM、Tensorflow/PyTorch、Transformer等工具的應用實現，並根據輸出的結果分析業務需求，為進行合理、有效的策略優化提供數據支撐點擊預約免費試聽課。

㈧ 資料庫系統工程師做什麼工作

資料庫系統工程師是指具備一定的網路結構設計及組網能力，並參與信息系統和資料庫相關工作的專業人員。主要工作內容是參與應用信息系統的規劃、設計、構建、運行和管理，按照用戶需求，設計、建立、運行、維護高質量的資料庫和數據倉庫等。

㈨ 數通工程師是干什麼的

數通工程師一般指數據通信工程師

數據通信工程師，信息產業是朝陽產業，電信網路是信息社會的基石，數據通信是信息基礎通信建設的重要部分。數據通信工程師一般是從事電信網（ATM）的維護；參與和指導遠端節點設備的安裝調試與技術指導；負責編制相關技術方案和制訂維護規范。

職業發展路徑：

數據通信工程師主要負責資料庫的維護，參與指導遠端節點的設備安裝與調試。該行業需要華為、CISCO的行業認證，而且對英語能力要求高。

數據通信特點

數據通信具有許多不同於電報、電話通信的特點。它所實現的，主要是「人（通過終端）-機（計算機）」通信與「機-機」通信，但也包括「人（通過智能終端）-人」通信。在數據通信中所傳遞的信息均以二進制數據形式來表現。

數據通信的另一個重要特點是它總是與遠程信息處理相聯系的。這里的信息處理是指包括科學計算、過程式控制制等廣義的信息處理。由於信息處理內容與處理方式的不同，對數據通信的要求也有很大差別。

例如，根據系統的不同應用，即信息處理內容及處理方式的不同，對終端類型、傳輸代碼、傳輸速率、傳輸方式、系統響應時間、信息的安全性與准確性、系統的可靠性等方面的要求也不同。因而在實現數據通信時涉及的因素也比較復雜。

以上內容參考 網路-數據通信；網路-數通工程師

㈩ Python數據工程師是什麼職位

Python大數據工程師：在大數據時代，數據是公司的核心資產，從雜亂無章的數據中提取有價值的信息或者規律，成為了數據分析師的首要任務，而Python的工具鏈為這項繁重的工作提供了極高的效率支持。
Python數據工程師主要負責基於Python的數據爬取、數據分析、數據處理、數據開發等工作，其他工作需要結合公司不同業務具體劃分。