大數據案件分析與預測

1. 大數據時代的案例分析

個案一
你開心他就買你焦慮他就拋
華爾街「德溫特資本市場」公司首席執行官保羅·霍廷每天的工作之一，就是利用電腦程序分析全球3.4億微博賬戶的留言，進而判斷民眾情緒，再以「1」到「50」進行打分。根據打分結果，霍廷再決定如何處理手中數以百萬美元計的股票。
霍廷的判斷原則很簡單：如果所有人似乎都高興，那就買入；如果大家的焦慮情緒上升，那就拋售。
這一招收效顯著——當年第一季度，霍廷的公司獲得了7%的收益率。
個案二
國際商用機器公司（IBM）估測，這些「數據」值錢的地方主要在於時效。對於片刻便能定輸贏的華爾街，這一時效至關重要。曾經，華爾街2%的企業搜集微博等平台的「非正式」數據；如今，接近半數企業採用了這種手段。
●「社會流動」創業公司在「大數據」行業生機勃勃，和微博推特是合作夥伴。它分析數據，告訴廣告商什麼是正確的時間，誰是正確的用戶，什麼是應該發表的正確內容，備受廣告商熱愛。
●通過喬希·詹姆斯的Omniture（著名的網頁流量分析工具）公司，你可以知道有多少人訪問你的網站，以及他們呆了多長時間——這些數據對於任何企業來說都至關重要。詹姆斯把公司賣掉，進賬18億美元。
●微軟專家吉拉德喜歡把這些「大數據」結果可視化：他把客戶請到辦公室，將包含這些公司的數據圖譜展現出來——有些是普通的時間軸，有些像蒲公英，有些則是鋪滿整個畫面的泡泡，泡泡中顯示這些客戶的粉絲正在談論什麼話題。
●「臉譜」數據分析師傑弗遜的工作就是搭建數據分析模型，弄清楚用戶點擊廣告的動機和方式。
處理和分析工具
用於分析大數據的工具主要有開源與商用兩個生態圈。
開源大數據生態圈：
1、Hadoop HDFS、HadoopMapRece, HBase、Hive 漸次誕生，早期Hadoop生態圈逐步形成。
2、. Hypertable是另類。它存在於Hadoop生態圈之外，但也曾經有一些用戶。
3、NoSQL，membase、MongoDb
商用大數據生態圈：
1、一體機資料庫/數據倉庫：IBM PureData(Netezza), OracleExadata, SAP Hana等等。
2、數據倉庫：TeradataAsterData, EMC GreenPlum, HPVertica 等等。
3、數據集市：QlikView、 Tableau 、 以及國內的Yonghong Data Mart 。

2. 如何進行大數據分析及處理

探碼科技大數據分析及處理過程

聚雲化雨的處理方式

• 聚雲：探碼科技全面覆蓋各類數據的處理應用。以數據為原料，通過網路數據採集、生產設備數據採集的方式將各種原始數據凝結成雲，為客戶打造強大的數據存儲庫；

• 化雨：利用模型演算法和人工智慧等技術對存儲的數據進行計算整合讓數據與演算法產生質變反應化雲為雨，讓真正有價值的數據流動起來；

• 開渠引流，潤物無聲：將落下「雨水」匯合成數據湖泊，對數據進行標注與處理根據行業需求開渠引流，將一條一條的數據支流匯合集成數據應用中，為行業用戶帶來價值，做到春風化雨，潤物無聲。

3. 什麼是大數據，大數據的典型案例有哪些

隨著大數據時代的到來，大數據早已被逐步的運用在我們生活中的方方面面，那麼除了之前眾所周知的大數據殺熟事件，對於大數據你還了解多少呢？科學運用案例你又知道多少?今天就跟隨千鋒小編一起來看看。
洛杉磯警察局和加利福尼亞大學合作利用大數據預測犯罪的發生。
google流感趨勢(Google Flu Trends)利用搜索關鍵詞預測禽流感的散布。
統計學家內特.西爾弗(Nate Silver)利用大數據預測2012美國選舉結果。
麻省理工學院利用手機定位數據和交通數據建立城市規劃。
梅西百貨的實時定價機制，根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。
……
種種的案例實在是太多，或許我們永遠說不完一樣，所以我們就來看一看大數據被科學運用的一個經典案例：

「啤酒與尿布」的故事產生於20世紀90年代的美國沃爾瑪超市中，沃爾瑪的超市管理人員分析銷售數據時發現了一個令人難於理解的現象：在某些特定的情況下，「啤酒」與「尿布」兩件看上去毫無關系的商品會經常出現在同一個購物籃中，這種獨特的銷售現象引起了管理人員的注意，經過後續調查發現，這種現象出現在年輕的父親身上。
如果這個年輕的父親在賣場只能買到兩件商品之一，則他很有可能會放棄購物而到另一家商店，直到可以一次同時買到啤酒與尿布為止。沃爾瑪發現了這一獨特的現象，開始在賣場嘗試將啤酒與尿布擺放在相同的區域，讓年輕的父親可以同時找到這兩件商品，並很快地完成購物;而沃爾瑪超市也可以讓這些客戶一次購買兩件商品、而不是一件，從而獲得了很好的商品銷售收入，這就是「啤酒與尿布」 故事的由來。
當然「啤酒與尿布」的故事必須具有技術方面的支持。1993年美國學者Agrawal提出通過分析購物籃中的商品集合，從而找出商品之間關聯關系的關聯演算法，並根據商品之間的關系，找出客戶的購買行為。艾格拉沃從數學及計算機演算法角度提 出了商品關聯關系的計算方法——Aprior演算法。沃爾瑪從上個世紀 90 年代嘗試將 Aprior 演算法引入到 POS機數據分析中，並獲得了成功，於是產生了「啤酒與尿布」的故事。
其實大數據，其影響除了以上列舉的方面外，它同時也能在經濟、政治、文化等方面產生深遠的影響，大數據可以幫助人們開啟循「數」管理的模式，也是我們當下「大社會」的集中體現，三分技術，七分數據，得數據者得天下。

4. 大數據的應用案例以及未來發展趨勢

趕超發達國家的重要機遇
半個世紀以來，隨著計算機技術全面融入社會生活，信息爆炸已經積累到了一個開始引發變革的程度，不僅使世界充斥著比以往更多的信息，而且其增長速度也在加快。信息爆炸的學科如天文學和基因學，創造出來大數據這個概念，如今，這個概念幾乎應用到了所有人類智力與發展的領域中。21世紀是數據信息大發展的時代，移動互聯、社交網路、電子商務等極大拓展了互聯網的邊界和應用范圍，各種數據正在迅速膨脹並變大。互聯網（社交、搜索、電商）、移動互聯網（微博）、物聯網（感測器、智慧地球）、車聯網、GPS、醫學影像、安全監控、金融（銀行、股市、保險）、電信（通話、簡訊）都在瘋狂產生著數據，大數據時代已經到來。
當前全球和我國大數據都呈現了井噴式爆發性增長，大數據已經滲透到各個行業和業務職能領域，成為重要的生產因素，大數據的演進與生產力的提高有著直接的關系。其發展特點，一是數據量呈現指數級增長。二是不同行業的大數據內容和開發應用特點各有不同，如證券、投資服務以及銀行等金融服務領域擁有最高的平均數字化數據存儲量，通信和媒體公司、公共事業公司以及政府等組織也有規模顯著的數字化數據存儲，這些行業更加具有通過大數據來創造價值的潛力。三是可以預見到大數據高速增長的現有趨勢將繼續推動數據增長，例如在各部門和地區之間，企業正在加快收集數據的步伐，推動了傳統的事務資料庫的增長；醫療衛生等面向消費者的行業中，多媒體的廣泛使用刺激了大數據的增長；社交媒體的廣泛普及以及物聯網中應用的不斷創新都進一步推動了大數據不斷增長……這些相互交叉的動力刺激了數據的增長，並將繼續推動數據池的迅速擴張。
發展大數據及其相關服務業將成為新興經濟體特別是我國在戰略性新興產業領域發揮後發優勢趕超發達國家的重要機遇。只要條件具備，發展中經濟體能夠利用大數據發揮巨大的潛力。例如，亞洲地區移動手機用戶最多，終端設備最多，其中中國設備數量最多，個人位置數據在亞洲已經領先。此外，在IT資產方面，盡管一些新興市場組織落後於發達市場，但發展中經濟體可以用最新技術跳躍式前進。大數據的應用不僅僅是商務，通過用戶行為分析實現精準管理、科學決策和人性化服務是大數據的典型應用，大數據在各行各業特別是公共服務領域具有廣闊的應用前景，包括消費行業、金融服務、食品安全、醫療衛生、軍事、交通環保、電子商務、氣象等。發展大數據產業機遇可貴潛力巨大。從經濟和產業發展維度看大數據及相關產業發展的潛力，我國獨特的位勢和經濟社會高速穩定發展，給大數據及其應用帶來了巨大的發展空間。大數據在我國各領域和不同行業的應用潛力巨大、機遇重大。大數據的核心技術進展和大數據應用有可能帶來我國新興戰略性產業發展的新機遇。
信息服務業發展的重要推力
研究表明，大數據是繼傳統IT之後下一個提高生產率的技術前沿和信息服務業發展的重要推動力。大數據的使用將成為未來提高競爭力、生產力、創新能力以及創造消費者盈餘的關鍵要素。
例如醫療衛生行業，能夠利用大數據避免過度治療、減少錯誤治療和重復治療，從而降低系統成本、提高工作效率，改進和提升治療質量；公共管理領域，能夠利用大數據有效推動稅收工作開展，提高教育部門和就業部門的服務效率；零售業領域，通過在供應鏈和業務方面使用大數據，能夠改善和提高整個行業的效率；市場和營銷領域，能夠利用大數據幫助消費者在更合理的價格範圍內找到更合適的產品以滿足自身的需求，提高附加值。數據已經成為可以與物質資產和人力資產相提並論的重要的生產要素，伴隨著信息化發展，企業將收集更多的信息，從而帶來數據呈現指數級的增長。大數據在同時為商業和消費者創造價值方面有巨大的發展潛力。
大數據應用能夠發揮重要的經濟作用，不但有利於私人商業活動，更有利於國民經濟和公民。數據可以為世界經濟創造重要價值，提高企業和公共部門的生產率與競爭力，並為消費者創造大量的經濟剩餘。例如，能夠富有創造性而有效地利用大數據來提高效率和質量。麥卡錫公司研究報告指出，預計美國醫療行業每年通過數據獲得的潛在價值可超過3000億美元，能夠使得美國醫療衛生支出降低超過8%，充分利用大數據的零售商有可能將其經營利潤提高60%以上。通過利用大數據實現政府行政管理方面的運作效率提高。估計歐洲發達經濟體可以節省開支超過1000億歐元，其中尚不包括可以用來減少欺詐、錯誤以及稅差的影響作用。可以預見的是，隨著人們存儲、匯聚和組合數據然後利用其結果進行深入分析的能力超過以往，隨著越來越尖端技術的軟體與不斷提高的計算能力相結合，從數據中提取洞見的能力也在顯著提高。
大數據及其開發利用能夠催生新的產業形態，拓展成為戰略性新興產業的重要組成部分。大數據的生產、整合、開發利用具有廣泛的高附加值，可以形成和應用於各行業的關鍵發現，大數據的有效利用可以創造巨大的潛在價值，許多行業和承擔業務職能的組織可以利用大數據提高人力、物力資源的分配和協調能力，減少浪費，增加透明度，並促進新想法和新見解的產生。其價值一是提高透明度，讓利益相關方能夠更加容易地及時獲取信息，例如在公安部門，讓原本相互分離的部門之間更加容易地獲取相關數據，就可大大降低搜索和處理時間；在製造業，整合來自研發、工程和製造部門的數據以便實現並行工程，可以顯著縮短產品上市時間並提高質量。二是可以通過實驗來發現需求、暴露可變因素並提高業績。隨著組織創造並存儲更多數字形式的交易數據，並以實時或接近實時的方式收集更多准確而詳細的績效數據，組織能夠通過安排對比實驗，運用數據分析獲取更好的決策，例如在線零售商，通過將流量和銷售結合的試驗論證決定價格調整和促銷活動的制定。三是更加精準地組織市場，根據客戶需求細分人群。利用大數據使組織能夠對人群進行非常具體的細分，以便精確地定製產品和服務以滿足用戶需求。例如在公共部門如公共勞動力機構，利用大數據為不同的求職者提供工作培訓服務，確保採用最有效和最高效的干預措施使不同的人重返工作崗位。四是可以協助決策者更加科學地進行決策。大數據的自動處理能夠更好地為決策者提供更加精準恰當的決策支持，通過對大數據的自動處理來替換或支持人為決策。有些組織已經在通過分析來自客戶、雇員甚至嵌入產品中的感測器的整個數據集而做出更有效的決策。五是能夠創新商業模式、產品和服務。例如在醫療保健領域，通過分析病人的臨床和行為數據已經創造了瞄準最適當群體的預防保健項目。例如互聯網公司收集大量的在線行為數據，創新速度非常快。
應組織實施大數據產業專項
發展大數據及其相關服務業具有重要意義，有望使各個行業產生更多收益。隨著我國經濟和社會信息化的高速發展，不僅信息產業自身獲取了巨大的數據池，各個行業都存在利用大數據獲取價值的潛力。大數據促使信息化建設模式大轉變，結構化數據向非結構化數據演進，使得未來IT投資重點不再是建系統為核心，而是圍繞大數據為核心。政府和企業決策者應對大數據發展研究制定發展戰略和策略給予高度重視。
大數據真正的問題是大數據應用，讓大數據更有意義。目前大數據管理多從架構和並行等方面考慮，解決高並發數據存取的性能要求及數據存儲的橫向擴展，但對非結構化數據的內容理解仍缺乏實質性的突破和進展，這是實現大數據資源化、知識化、普適化的核心。非結構化海量信息的智能化處理包括自然語言理解、多媒體內容理解、機器學習等。例如2012年3月29日白宮發布美國政府的大數據計劃：通過提高從大型復雜的數據集中提取知識和觀點的能力，承諾幫助加快在科學與工程中的步伐，加強國家安全，並改變教學研究。
由此，我們提出組織實施大數據產業專項的初步設想。一是圍繞拓展新興信息服務業態，組織實施以大數據示範、加工、處理、整合和深加工的信息資源與內容服務業示範工程，面向重點行業和重點民生領域包括金融證券、醫療衛生、稅務海關、交通運輸、社會保障、電子商務等領域，開展大數據重大應用示範，提升基於大數據的公共服務能力；二是加快推動北斗導航核心技術研發和產業化，推動北斗導航與移動通信、地理信息、衛星遙感、移動互聯網等融合發展，支持位置信息服務市場拓展，完善北斗導航基礎設施，推進服務模式和產品創新，在重點區域和領域開展示範應用；三是大力發展地理信息產業，拓寬地理信息服務市場，推進大數據技術和服務模式融合創新，支持大數據服務創新和商業模式創新；四是組織實施基於大數據的信息內容加工服務業典型示範工程，包括關鍵技術產品產業化和大數據生產、轉換、加工、投送平台及專用工具的產業化項目，為豐富信息消費內容產品供給提供支撐；五是組織實施自主可控的大數據關鍵技術產品產業化項目，主要包括商業智能、數據倉庫、數據集市、元數據、可視化技術等。

5. 大數據分析的分析步驟

大數據分析的五個基本方面
1. Analytic Visualizations（可視化分析）不管是對數據分析專家還是普通用戶，數據可視化是數據分析工具最基本的要求。可視化可以直觀的展示數據，讓數據自己說話，讓觀眾聽到結果。
2. Data Mining Algorithms（數據挖掘演算法）可視化是給人看的，數據挖掘就是給機器看的。集群、分割、孤立點分析還有其他的演算法讓我們深入數據內部，挖掘價值。這些演算法不僅要處理大數據的量，也要處理大數據的速度。
3. Predictive Analytic Capabilities（預測性分析能力）數據挖掘可以讓分析員更好的理解數據，而預測性分析可以讓分析員根據可視化分析和數據挖掘的結果做出一些預測性的判斷。
4. Semantic Engines（語義引擎）我們知道由於非結構化數據的多樣性帶來了數據分析的新的挑戰，我們需要一系列的工具去解析，提取，分析數據。語義引擎需要被設計成能夠從「文檔」中智能提取信息。
5. Data Quality and Master Data Management（數據質量和數據管理）
數據質量和數據管理是一些管理方面的最佳實踐。通過標准化的流程和工具對數據進行處理可以保證一個預先定義好的高質量的分析結果。
假如大數據真的是下一個重要的技術革新的話，我們最好把精力關注在大數據能給我們帶來的好處，而不僅僅是挑戰。

6. 如何進行大數據分析及處理

探碼科技大數據分析及處理過程

聚雲化雨的處理方式

• 聚雲：探碼科技全面覆蓋各類數據的處理應用。以數據為原料，通過網路數據採集、生產設備數據採集的方式將各種原始數據凝結成雲，為客戶打造強大的數據存儲庫；

• 化雨：利用模型演算法和人工智慧等技術對存儲的數據進行計算整合讓數據與演算法產生質變反應化雲為雨，讓真正有價值的數據流動起來；

• 開渠引流，潤物無聲：將落下「雨水」匯合成數據湖泊，對數據進行標注與處理根據行業需求開渠引流，將一條一條的數據支流匯合集成數據應用中，為行業用戶帶來價值，做到春風化雨，潤物無聲。

7. 大數據分析的典型案例有什麼

我說幾個我知道的，智慧圖做了西單大悅城，k11 ，幫他們實現了業態規劃，圖聚也有，但是定位太差，數據准確度沒法說。