大數據大沖擊

⑴ 傳統資料庫在大數據的沖擊下有轉型的必要嗎

1.可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法
大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計 學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如 果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3. 預測性分析
大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4. 語義引擎
非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。

大數據的技術
數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。
數據存取： 關系資料庫、NOSQL、SQL等。
基礎架構： 雲存儲、分布式文件存儲等。
數據處理： 自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解也稱為計算語言學。一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。
統計分析： 假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、 卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、 因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。
數據挖掘： 分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)
模型預測 ：預測模型、機器學習、建模模擬。
結果呈現： 雲計算、標簽雲、關系圖等。

大數據的處理
1. 大數據處理之一：採集
大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的 數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除 此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。
在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶 來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間 進行負載均衡和分片的確是需要深入的思考和設計。
2. 大數據處理之二：導入/預處理
雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這 些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使 用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。
導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。
3. 大數據處理之三：統計/分析
統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通 的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於 MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。
統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。
4. 大數據處理之四：挖掘
與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數 據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於 統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並 且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。

整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。

⑵ 大數據對各行各業帶來哪些影響

1、醫療
固有的醫復療體系已經支制離破碎，顛覆已如燎原之火，一觸即發。已經有成百上千家創業公司介入這一領域，讓人們可以成為 「自己健康的主人」，以此作為傳統醫療的補充或索性取而代之。
新型人工智慧醫療應當是免費或近乎免費的，且遠遠勝過傳統醫療，以至於人們將果斷放棄傳統醫療，選擇前者。這無疑會令現有的醫療體系分崩離析。
2、金融
金融是另一個即將迎來巨變的億萬美元級產業。
作為中間商的財務顧問和經紀人將在未來十年中日漸式微。基於大數據的人工智慧將使一切商品都變得更物美價廉，運轉速度也更快。
3、保險
保險是與概率和不完全認知打交道的古老行業。然而在 「完全認知」 的新紀元中，很多事物都將不同於昨日。我舉幾個例子。

⑶ 大數據的特點包括哪些

1、容量（）：

數據的大小決定所考慮的數據的價值和潛在的信息。

2、種類（Variety）：

數據類型的多樣性。

3、速度（Velocity）：

指獲得數據的速度。

4、可變性（Variability）：

妨礙了處理和有效地管理數據的過程。

5、真實性（Veracity）：

數據的質量。

6、復雜性（Complexity）：

數據量巨大，來源多渠道。

7、價值（value）：

合理運用大數據，以低成本創造高價值。

大數據，指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。

(3)大數據大沖擊擴展閱讀：

一、結構

第一層面是理論，理論是認知的必經途徑，也是被廣泛認同和傳播的基線。在這里從大數據的特徵定義理解行業對大數據的整體描繪和定性；從對大數據價值的探討來深入解析大數據的珍貴所在；洞悉大數據的發展趨勢；從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。

第二層面是技術，技術是大數據價值體現的手段和前進的基石。在這里分別從雲計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從採集、處理、存儲到形成結果的整個過程。

第三層面是實踐，實踐是大數據的最終價值體現。在這里分別從互聯網的大數據，政府的大數據，企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。

二、意義

現在的社會是一個高速發展的社會，科技發達，信息流通，人們之間的交流越來越密切，生活也越來越方便，大數據就是這個高科技時代的產物。

阿里巴巴創辦人馬雲來台演講中就提到，未來的時代將不是IT時代，而是DT的時代，DT就是Data Technology數據科技，顯示大數據對於阿里巴巴集團來說舉足輕重。

有人把數據比喻為蘊藏能量的煤礦。煤炭按照性質有焦煤、無煙煤、肥煤、貧煤等分類，而露天煤礦、深山煤礦的挖掘成本又不一樣。

與此類似，大數據並不在「大」，而在於「有用」。價值含量、挖掘成本比數量更為重要。對於很多行業而言，如何利用這些大規模數據是贏得競爭的關鍵。

大數據的價值體現在以下幾個方面：

1)對大量消費者提供產品或服務的企業可以利用大數據進行精準營銷

2) 做小而美模式的中小微企業可以利用大數據做服務轉型

3) 面臨互聯網壓力之下必須轉型的傳統企業需要與時俱進充分利用大數據的價值

⑷ 大數據2020年要飽和了，真的嗎，，，

還達不到飽和的狀態。或許在之前只有少數注重技術能力的互聯網公司對大數據人才渴求，而一般的中小型公司為了節約成本直接使用大公司的應用或平台即可。但隨著互聯網行業的發展和海量數據的沖擊，沒有任何公司可以獨善其身：

針對大量消費者提供產品或服務的企業需要利用大數據進行精準營銷；
小企業可以利用大數據做服務轉型；
傳統企業可以利用大數據進行優化。

就業選擇不被限制，就很難達到飽和。

即使國家通過各種政策大力培養大數據人才，高校同時也在逐步開設大數據專業，但是大數據的人才培養是需要時間磨礪的。剛從學校出來的新人，對業務一無所知，並不能成為公司想要可以直接上手的大數據專業人才。所以大數據的人才缺口並不能被堵上，何談就業飽和呢？

大數據主要的三大就業方向：大數據系統研發類人才、大數據應用開發類人才和大數據分析類人才。

從開發類和分析類的招聘簡介看，大數據的薪資算得上是真正的「高薪」，但與之相匹配的技術能力和經驗要求也少有人滿足。

綜上所述，到2020年大數據的就業也很難趨於飽和。

如果你對大數據感興趣，建議先認准自己的定位，從事研發類崗位還是分析類崗位，當然如果不是那種能進專業公司的人才，就不要只盯技術而不懂市場業務，如示例的「風控」數據分析。

⑸ 面對互聯網沖擊較大的實體商業，大數據到底是不是實體商業的救命稻草

可以用大數據做參考，個人覺得最重要的是跟上發展的 道路，互聯網在發展、改革，實體店同樣要做出改變，不能一塵不變，找到適合自己的出路就是最好的。

⑹ 大數據七大趨勢第一個趨勢是物聯網

大數據七大趨勢第一個趨勢是物聯網
美國PCMagazine總編輯柯斯塔表示，他認為大數據的發展趨勢以數字匯流對未來最具沖擊，結合物聯網、區塊鏈、人工智慧、語音識別等技術，這些科技相輔相成。
柯斯塔指出，他認為大數據未來應用有七大趨勢。
第一個趨勢是物聯網，現今有84億件物品互相連結，遠大於全球人口數;不只是桌電、筆電或手機等3C產品相互鏈接，還有物流公司用智慧掃描儀做智慧物流，這是可以改變消費者與企業的趨勢，但存在資安風險的問題。
第二個趨勢是智慧城市，這項趨勢的成敗取決於數據量跟數據是否足夠，這有賴於政府部門與民營企業的合作;此外，發展中的5G網路是全世界通用的規格，如果產品被一個智慧城市採用，將可以應用在全世界的智慧城市。
第三趨勢是增強現實(AR)與虛擬現實(VR)，這兩個技術最近開始降價跟提升質量，走向大眾市場，FB發表了頭戴式VR設備OculusGo，售價只要200美元;微軟也發表了VR系統，可搭配HTC、三星與ACER等品牌的硬體使用。VR應用一開始以電玩為主，現在的應用卻超越電玩，例如可以用來教學，像他靠著VR設備，把家裡的插頭電線完成配線，就像有水電技師在教學一樣。
第四個趨勢則是區塊鏈，柯斯塔表示，這項技術本質是編解碼跟加解密，可以有效加密信息。區塊鏈有很多不同應用方式，美國幾乎所有科技公司都在嘗試如何應用，最常見的應用是比特幣跟其他加密貨幣的交易。
第五項趨勢是語音識別，語音識別是通用的無屏幕介面，可以迅速地整合在各項工具上，在智能設備跟手機上很好用，而Amazon的智能喇叭Echo現在發展到第三代，可以開關智能電燈、開口詢問就能搜尋信息等。這項產業有個很大優點，就是發展技術的公司都打算把這項技術商品化，像是google、Amazon跟蘋果的語音識別技術都可透過授權，使用在其他業者的硬體服務上。
第六項趨勢則是人工智慧(AI)，人工智慧需要被教育，匯入很多信息才能進化，進而產生一些意想不到的結果。AI影響幅度很大，例如媒體業，現在計算機跟機器人可以寫出很好的文章，而且1小時產出好幾百篇，成本也低。AI對經濟發展會產生劇烈影響，很多知識產業跟白領工作也可能被機器人取代。但他對於AI的態度很正面，這會讓生活更好，例如自駕車絕對比人駕車更安全。
第七項趨勢是數字匯流，他認為對未來沖擊最大的一項趨勢，就是將上述六項趨勢合並起來的效果，像是84億個物聯網設備，可用區塊鏈技術加強安全性;智慧城市透過物聯網，就能產生海量數據，這些數據需要由人工智慧進行分析;虛擬現實和語音識別也需要透過人工智慧不斷學習，這些科技發展息息相關，相輔相成，所以數字匯流是最重要的趨勢