1. 如何讓大數據落地轉化時空大數據專家們精彩分享
「如何讓新新大數據勢力落地，將成果轉化成項目，實現就地轉化？」
在日前舉行的「時空大數據2021年度大會」分論壇——時空大數據產業生態協同創新論壇上，河南大學人文與建築時空大數據融合研究中心執行主任王振凱提出了這一疑問，現場的專家們圍繞這一主題進行了深入探討與交流。
全球人文與時空大數據
讓建築工程可視化
王振凱介紹，通過時空大數據平台，衍生出時空大數據集合系統。該系統集合了建築信息、地球信息、交網信息、電網信息、水網信息、市政信息、人文信息等集合系統，最終得出全球人文、建築與地理環境時空數據基礎。
簡單來說，工程可以通過時空大數據來具象化，大到建築物本身，小到建築物內一根鋼管，都能清晰可見，甚至可以見到建築物內鋼管內部。精確的時空大數據讓工程成本管控、進度管控都有跡可循。
TOD與城市時空大數據融合
建軌道就是建設城市
軌道交通帶給人民快捷速度的同時，新的擁堵問題又出現了。地鐵「建的起，養不起」的問題如何破局？如何讓交通擁堵得到緩解，同時又能賦予交通線更多的經濟價值？TOD模式由此營運而生。
「TOD模式是以公共交通為導向的開發模式（transit-oriented development，TOD）。」中鐵上海設計院集團有限公司TOD中心主任郭琳解釋，就是在規劃居民區或者商業區時，使公共交通的使用最大化的一種非 汽車 化的規劃設計方式。該模式可以同步城鎮化進程，帶動城市經濟提升。
郭琳認為，建軌道就是建設城市，經營軌道就是經營城市。軌道交通建設中會出現技術、主體、利益、主體邊界不明確，這就要破解融合。TOD模式通過大數據為未來城市提供了無限可能。未來是TOD5.0時代，通過可視化鼓勵機制，為城市碳達峰做貢獻。
一葦數智·時空大數據平台
時空大數據構建交通底座
眾合 科技 對構建軌道交通的時空大數據底座進行了實踐，一葦數智·時空大數據平台應運而生。構建數字孿生、挖掘數據價值、實現萬物互聯、賦能業務創新，是一葦數智平台四個顯著的特點。現場，浙江眾合 科技 股份有限公司研發中心總經理王廈通過示例進行了深入淺出的講解。
數字孿生，即通過一張圖可以看到地上空間和地下空間，兩者結構關系一目瞭然。同時，數字空間里還能看到空間構架的物件、供應商信息等信息，無論產品質量監控還是施工進度都可以實時跟蹤。
一葦數智平台以數據驅動業務，在四維數據的海洋中為業務挖掘更深層次的價值。王廈介紹，平台可以接入到終端設備，數據介面對外開放給合作夥伴和應用程序開發人員。
「我們願意共享平台及其內部功能與數據，與用戶、合作夥伴建立起價值的連接，所謂的萬物互聯，一切可聯通。」王廈說。
利用智能引擎，平台可向每項業務提供AI能力和模型演算法，同時為行業應用提供便捷易用的開發模板和工具。數據快速迭代為有效創新提供了支持。「早高峰的地鐵內，你可以提前知道哪節車廂比較空，從容候車避免擁擠。」王廈用這一實例介紹了一葦數智平台在賦能業務創新上所能起到的作用。
大數據助力園區管理
天集產城集團有限公司產城項目總經理李書江分享了時空大數據在園區管理上的應用。他介紹，時空資料庫分共有與私有，私有資料庫體現了建築數據、資產管理、現場施工進度、物料管理、智能化運維。智慧運維端深入園區日常需求，進行智慧園區的運營管理，全面了解園區企業基本經營情況，為企業在銀行和金融機構貸款做增信（從抵押增信到數據增信）。
此外，通過可視化界面，時空大數據還可以幫助企業進行員工打卡、門禁管理、智能管控和設備管理。平台內還能導入政務服務和其他功能性服務，助力企業完成工商注冊、財稅服務、知識產權、社保服務、法律服務等各類事項。
高效協同的時空大數據生態鏈
「每天要從家的A點到工作地B點，有多條路可以走，早晨出發可以選擇路上有早餐店和咖啡館的路線，晚上下班可以換一條路線，看看哪裡有聚餐點、哪裡有商場。這些，大數據生態鏈都可以為你作出指引。」維正集團企知道產學研科研成果轉化有限公司總經理李志慧從城市信息、物質和 社會 空間，三者連接共生數據互補出發，生動解釋了時空大數據生態鏈。
她表示，時空大數據是具有時空屬性的數據，搭建大數據集合平台，從而產生更廣泛的應用場景，引入聯盟成員，便能為大眾生態搭建出一套高效協同、開放包容的運行規律。
科技 金融助力推動時空大數據
力合金融控股股份有限公司創新基金管理總經理申康認為， 科技 和金融的結合決定了產業未來的發展，是未來時空大數據發展的關鍵。
中小企業 科技 創新具有投入高、周期長、風險高特徵，短期難以依靠自我造血實現滾動發展。中小企業融資難的根本原因在於其天然的弱質性，但傳統金融機構很難為中小型新新大數據企業賦能。力合金融利用金融支持打通發展到創新的過程，打造時空大數據產業投資基金，通過差異化服務，滿足時空大數據產業不同階段企業的投資需求，做到差異化賦能。
來源| 科技 金融時報（記者 孫俠）
2. 將大數據轉化為大價值的10種途徑
將大數據轉化為大價值的10種途徑
大數據可以產生很多價值，但前提是只有當您企業真正知道如何充分利用這些大數據的時候。
當前，大數據顯然已經登上了歷史舞台——在全球范圍內，擁有超過半數的企業組織都已經將大數據項目視為其未來發展的機遇，並計劃在未來幾年內進一步的增加對大數據項目的投資。
但是，大數據的價值並不僅僅只是來自對於相關數據信息的收集而已，這僅僅只是起點。大數據的真正價值來自於您所在的企業組織利用所存儲的信息以發現新的洞察分析見解的能力，然後從中提取出有用的價值，以推動企業做出更好的業務決策，促進企業業務的發展。
現如今，現代化的商務智能解決方案可以通過用戶友好的解決方案來降低企業進入的大數據項目的壁壘，並進一步的提升大數據的價值。這允許企業組織內的更多的相關人員(不僅僅只有數據科學家)能夠就您企業所收集的數據進行訪問、分析和協作。
您企業的團隊如何獲取大數據的驅動價值?
大數據能夠為您的公司提供更為詳細的洞察分析，來洞察企業的各個方面的關鍵要素，以推動更好、更自信、且數據驅動的商業決策。
其培養一種積極開拓探索的企業文化，鼓勵企業員工們通過數據分析來試驗和驗證他們的想法。
通過讓每名相關的工作人員都能訪問到這些大數據信息，推動您企業業務的下一此大的創意性變革的理念可以來自企業的任何一名員工——而不僅僅只是數據科學家。
究竟什麼是大數據?
大數據是數據量相當龐大或結構相當復雜，以至於一般性的企業組織機構難以使用標準的資料庫和軟體工具對其進行管理。但由於每家公司都有不同的能力和要求，故而「大數據」其實可以說是一個相對較為主觀性的術語——對某一家企業組織來說的「大」數據，對另一家企業組織而言可能僅僅只是「平均」性的數據。
想要從您企業的大數據投資項目中獲得更多價值嗎?
如下，我們將為您介紹10種有助於您所在的企業更好的從大數據分析項目中獲取價值的方法：
選擇正確的訪問大數據的方法。
獲得更好的洞察分析的能力與企業所收集到的數據信息有關。
讓整個企業組織都能夠訪問到大數據。
讓相關用戶能夠很容易的找到他們所需要的數據信息。
推動企業內各部門間的協同合作，以推動創新。
打造一個靈活敏捷的分析環境，以便滿足每位用戶的需求。
確保企業所採用的分析解決方案能夠方便的讓相關員工在任何地方採用任何設備均能夠輕松訪問。
部署可擴展的解決方案，確保其能夠隨著企業組織的業務需求的不斷變化而變化。
確保您企業的商務智能解決方案可以很容易地適應未來的技術。
選擇具有廣泛合作夥伴生態系統的BI解決方案。
一、選擇正確的訪問大數據的方法
當涉及到如何訪問和分析所有的數據信息時，沒有一套一成不變的方法——畢竟，每家不同的企業組織都會有著不同的需求、不同的用例和不同的基礎設施配置。
您企業所選擇的方法或方法的組合將取決於所需要滿足的特定用戶的實際需求，並權衡您所願意接受的各種折衷。
當企業組織在選擇大數據的訪問方法時，所需要考慮的相關問題：
您企業需要支持多少數據?數以百萬計的?抑或是數十億的?
相關非技術用戶是否需要訪問您企業的數據，或者僅僅只有IT和數據專家們訪問這些數據呢?您企業將只在整個數據集上運行數據分析嗎?或者您企業還希望能夠分析可選擇的相關數據呢?
您企業是否需要為終端用戶提供流暢、高交互性的體驗?靈活性或用戶性能對您企業的業務來說是最為重要的嗎?
二、企業獲取洞察分析的能力更多的關乎到企業對相關數據是如何收集的
以前，您企業的大數據項目所面臨的最大的挑戰可能是從廣泛的數據源中識別和收集您企業業務真正所需要的數據信息。
而到了今天，這部分比以往更容易。現在，真正重要的是您企業是否可以收集並整合所有這些數據信息——無論這些大數據具體是來自何處也不管其格式究竟如何，並最終發現所有相關數據信息中的所有可能的聯系。
為了獲得對於大數據的更為全面的掌握，企業組織亟待採用具有關聯模型的BI解決方案，以便您企業可以瀏覽所有數據中的所有關聯。這樣，您企業的用戶將始終可以訪問您企業業務的完整視圖，以便他們可以做出更好、更明智的決策。
與傳統的數據模型不同(傳統的數據模型會限制您所能夠看到的數據，這些數據如何連接以及您所能夠執行的查詢)，關聯模型則可以識別您企業的所有數據之間的所有關系。這使得每位用戶 ——不僅僅是數據科學家——均可以快速輕松地探索他們所需要的合適的數據，並使用互動式的選擇和關鍵字搜索來發現意想不到的關鍵和洞察見解。
三、讓整個企業組織均可以訪問大數據
當大數據這一理念剛剛興起的時候，僅僅只有極少數的人意識到其所蘊含的巨大潛力——這些人主要是數據科學家和分析師。非專業人士根本不具備以有意義的方式探索和使用數據所需的知識、工具或經驗。
而今，這種狀況已經一去不復返了。現在，您企業必須將大數據置於業務部門的用戶手中。畢竟，只有那些與您企業的業務最接近的員工們才真正的知道要提出哪些有價值的問題;以及由數據所驅動的哪些分析見解將對企業的業務產生最大的影響。
正確的自助式商務智能解決方案可以在這方面為企業客戶提供有力的幫助，其能夠讓業務部門的用戶順利訪問到他們所需的數據，同時讓數據治理和管理的許可權掌握在您企業的IT團隊手中。藉助自助式服務商務智能解決方案，業務部門的用戶可以使用互動式的可視化儀錶板來自由的探索數據，並在不依賴IT部門的情況下找到問題的答案，改進業務流程，並推動整個企業組織內的創新。
推動企業朝著自助式分析方向轉變的因素：
在最近的一份報告中，Forbes Insights調查了449位資深的IT和商業專業人士，了解了他們為什麼決定轉向採用自助服務模式：
62%的受訪者希望對於數據獲得更多的開放式訪問。
76%的受訪者希望獲得更為及時的數據分析。
71%的受訪者希望獲得質量更高的數據和分析。
四、讓用戶可以輕松找到其所需的大數據信息
越來越多的企業業務管理者希望通過確鑿的證據來支持他們的業務決策過程。但不幸的是，這些用戶往往缺乏經驗，因為他們需要在一個龐大的，不斷增長的數據存儲庫中找到他們所需要的答案。
為了幫助業務部門的用戶們找到這些答案，並從大數據中獲得更多的投資回報，您企業需要讓他們難過輕松的探索大數據。
您企業可以通過提供BI解決方案來實現這一點：
允許業務部門的用戶直觀地訪問到所需的數據，而不需要依靠IT來運行查詢和生成報告。
並提供自然語言搜索功能，便於查找他們所需的信息。
發現不同來源的數據之間的連接和關系——甚至是以意外的方式發現不相關的數據。
用清晰簡潔的方式實現數據的可視化和形象化。
何為自然語言搜索，其如何為企業提供幫助?
藉助自然語言搜索，用戶可以使用常規口語進行查詢。這對於缺乏數據專業知識，並且可能並不知道在資料庫中如何查找精確信息所需的技術術語的用戶極其有用。包含此功能的BI解決方案使更多的用戶(而不僅僅是數據科學家)能夠從企業的大數據中獲得洞察分析能力。
五、促進企業部門間的協作，以推動創新
一項偉大的發現如果不能共享，又有什麼益處呢?如果您企業內部的相關人員不能與更廣泛的同事們分享他們的見解，那麼您企業無疑錯過了最佳的推動部門間合作的機會，也不利於這些好的最初的想法理念進一步的擴展，並使其更好。更糟糕的是，如果其他的同事沒有聽說過您的發現，他們最終可能會重復類似的數據探索，進而導致企業生產力的下降。
但僅僅分享數據是不夠的，您企業必須以正確的方式分享數據。
考慮採用一款「企業就緒」的商業智能解決方案——其既能夠提供自助分析的自由度(允許每位用戶在他們認為合適的時候探索和共享數據)，同時還能夠為企業提供全面的治理能力(控制誰有許可權訪問哪些數據信息，所以每位員工都能夠基於單一的事實來源開展工作)。
通過在自助服務和大數據管理之間取得平衡，您企業可以充分利用整個企業組織的集體智慧，結合多個團隊和個人的專業知識來傳播新的想法和理念，促進討論，並推動創新。
確保企業的BI解決方案得到妥善管理：
有效的數據治理可確保在整個企業組織內正確控制和管理對分析功能和對於大數據的訪問。
如果缺乏適當的大數據治理水平，就會出現錯誤、變化和冗餘，進而導致用戶難以驗證數據中的真實情況，從而導致延遲和中斷。
正確的大數據治理可以幫助您企業避免發生上述的不一致，並確保每位員工都能夠從相同的可信數據中獲得他們所需的洞察分析。
六、打造靈活敏捷的分析環境，以切實滿足每位用戶的需求
保持與大數據所提供的大量新信息的同步是一個不小的挑戰。大數據的猛烈沖擊可能會使商業用戶難以真正深入的挖掘，探索並及時獲得他們所需的答案。
為了保持活力，您企業應該考慮創建靈活敏捷分析環境，您的IT團隊可以快速並逐步構建BI解決方案，以應對業務用戶不斷變化的需求。
例如，隨著用戶對數據更加熟悉，您企業可能需要從指導分析發展到自助服務BI。
這使他們能夠自行探索更多的大數據，並更快速地深入細節。使用靈活的框架，您企業可以輕松的滿足這些用戶的需求，而無需花費大量成本或開發時間。
七、確保用戶能夠在任何設備上隨時隨地訪問分析解決方案
隨著手機、平板電腦和筆記本電腦的計算能力的不斷增強，企業員工們越來越多地在辦公室之外進行業務的處理。
無論是在火車上，在機場候機廳還是在客戶會議上，現在的企業業務團隊都希望能夠在任何業務需要的時候訪問他們的工作資料。
為了滿足這些需求，您企業需要能夠以各種形式向客戶和用戶提供分析解決方案——確保他們無論何時何地，對於所需全部功能都能夠得到滿足的期望。
除了通過基於雲服務或在線門戶提供對分析解決方案的直接訪問之外，確保用戶能夠在任何地方均能夠實現順利訪問的另一種方式是在企業的嵌入式分析應用程序中使用開放式API。通過在用戶的日常工作環境中提供強大的分析功能，您可以確保每位業務用戶都可以在他們需要時隨時訪問所需的信息。
自助服務商業智能為大眾帶來了分析的力量，但對於一些用戶來說，獲得額外的應用程序則可能是一大真正的挑戰。 這就是為什麼有些產品和組織直接將分析嵌入到用戶每天所使用的熟悉的環境或應用程序中的原因所在了。
八、部署實施可隨企業業務需求不斷變化的可擴展的解決方案
通常情況下，企業所收集的大數據的量只會越來越大。但無論數據存儲庫怎麼擴展，您的用戶都希望獲得順暢的訪問體驗，而不必等待很長時間或經歷中斷。隨著數據集的不斷增長，大多數工具都難以跟上這一需求。
為了確保用戶能夠以他們想要的方式繼續探索數據，請採用可隨需擴展的BI平台，即使數據量增加並且應用程序變得更加復雜，也可以提供出色的性能。該平台應該採用多種工具和方法，以便您企業可以保持為最終用戶提供互動式的動態體驗，而不管您企業產生了多少數據。
此外，尋找一款使用內存處理執行即時計算的商業智能解決方案。
這些解決方案可以以「思考速度」處理和回答問題，使用戶可以不斷的保持繼續的挖掘和探索。這反過來可以在整個企業組織內推動勇於開拓創新和探索的企業文化。
何為內存中的處理，其能夠為企業組織帶來什麼樣幫助：
內存資料庫 (in-memory database) 是一種數據處理技術，其在隨機存取存儲器(RAM)中暫時存儲和計算信息，而無需在每次用戶進行新的選擇或計算時都從磁碟存儲中提取數據。數據可以在RAM中更快速地讀取和分析，從而使得較之採用更傳統的方法，報告(和決策制定)更快。
九、確保您企業的BI解決方案可以輕松適應未來的技術
管理和探索大數據的技術正在迅速改變，以便為當下的企業客戶提供更好，更快的解決方案，進而從大數據中獲取洞察分析。但是將最新技術整合到現有的分析平台中可能具有挑戰性，有時甚至是不可能的。故而企業應該確保您所採用的分析解決方案能夠快速，輕松地與新技術實現集成。
例如，開放的API可以為您企業的現有解決方案帶來新的功能，就像添加幾行代碼一樣簡單。擁有專注於定製開發的在線社區也很重要。由此，開發人員們可以通過與其他人員輕松協作來確保您的產品或解決方案能夠與最新的技術進步保持同步。
什麼是開放式API?
一款開放的API是一個公開的介面，開發人員可以使用它將第三方解決方案集成到他們自己的解決方案中。實質上，開放式API能夠控制兩款不同的應用程序如何輕松地進行通信，並相互交互。提供開放式API的BI解決方案使企業能夠輕松插入多種解決方案，執行獨立解決方案所無法實現的特定功能。
十、選擇具有廣泛合作夥伴生態系統的商務智能解決方案
當涉及到大數據項目時，有時候企業需要一點額外的幫助才能看到整體的狀況。在選擇商業智能解決方案時，企業務必需要尋找能夠與大量多種技術維持合作關系的供應商。
這將有助於簡化數據交互，確保您企業的所有BI解決方案能夠高效地工作。此外，擁有足夠的合作夥伴可以隨時為您企業的業務需求提供最合適的解決方案——無論現在還是未來。
您企業應選擇哪些類型的技術合作夥伴?
數據存儲和管理解決方案提供商可存儲和查詢您企業的數據，並提供運行分析解決方案所需的基礎架構。
數據整理(Data wrangling)解決方案提供商將原始數據精煉，並重塑為可用數據集。
機器學習解決方案提供商通過使用從數據迭代學習的演算法來自動化分析模型構建。
大數據，大潛力
大數據有可能改變您企業的業務，但為了能夠真正從貴公司的大數據項目中獲得真正的價值，您企業需要知道如何充分利用大數據。
恰當的商業智能解決方案可以幫助您企業最大化您的大數據投資回報，其方法是：
提供完整的業務視圖和影響企業業務的外部因素。
在您的業務的每個領域推動更好的以數據為導向的決策。
讓更多的業務用戶能夠隨時隨地訪問和探索大數據。
在整個企業組織中培養協作、積極開拓探索和創新的企業文化。
隨著業務的增長而實現規模化的擴展，以滿足未來的需求。
3. 大數據在雲計算中轉換的4個步驟
大數據在雲計算中轉換的4個步驟
如今的企業必須向顧客提供始終如一的高價值體驗，否則會失去顧客。他們正在求助於大數據技術。通過大數據分析，組織可以更好地了解他們的客戶，了解他們的習慣，並預測他們的需求，以提供更好的客戶體驗。但是，大數據轉換的路徑並不簡單。傳統資料庫管理和數據倉庫設備變得過於昂貴，難以維護和規模化。此外，他們無法應對當今面臨的挑戰，其中包括非結構化數據，物聯網(IoT)，流數據，以及數字轉型相結合的其他技術。大數據轉換的答案是雲計算。參與大數據決策的IT專業人士中有64%的人表示已將技術堆棧轉移到雲端，或正在擴大其實施。根據調研機構Forrester公司的研究，另外23%的企業計劃在未來12個月內轉向雲端。利用雲計算的好處是顯著的。調查對象最常引用的優勢是IT成本較低;競爭優勢;開拓新見解的能力;建立新客戶應用程序的能力;易於整合;有限的安全風險;並減少時間。大數據在雲端的挑戰雖然雲計算的好處是巨大的，但轉移大數據可能會帶來一些挑戰：具體來說：數據集成：66%的IT專業人士表示，數據集成在公共雲中變得更為復雜。安全性：61%表示關注數據訪問和存儲。傳統設施：64%的人表示從傳統基礎設施/系統過渡過於復雜。技能：67%的人表示擔心大數據所需技能和建設基礎設施的技能。克服雲計算挑戰的4個步驟 組織如何克服這些挑戰並將其轉化為機會?以下是利用雲計算進行大數據轉換的四個關鍵步驟：(1)數據集成如果組織具有多樣化且復雜的數據生態系統，那麼並非所有的雲或大數據技術都可以無縫地集成數據。選擇需要復雜數據轉換的目標技術可能並不理想。在選擇任何技術之前完成數據管道分析。這樣可以降低創建不連貫數據和不兼容系統的風險。(2)安全性如果組織的數據是機密和專有的，或者需要解決嚴格的安全和合規性要求，則可能會對數據放在雲端有所擔心。在這種情況下，具有高度自定義網路和加密功能的單租戶的私有雲解決方案可以為組織提供所需的大數據功能，以及專用環境的安全性。另外，請記住，公共雲並不意味著「不安全」。AWS和微軟Azure等領先供應商提供雲原生安全認證解決方案，並提供包括磁碟級加密和嚴格的授權，以及認證技術的選項。雲計算中的數據安全性正在快速成熟。許多具有嚴格的安全和合規要求的組織已經成功地利用公共雲上的大數據技術。(3)原有傳統系統從原來的傳統基礎架構的轉型總是涉及到數據遷移，通常會涉及這三個路徑的其中一個： ·提升和轉移：將現有工作負載轉移到雲基礎設施即服務，只是利用雲計算，存儲和網路功能，無需復雜的應用程序重寫，同時提供可擴展基礎架構的優勢。·隨著時間的推移，停用原有系統的數據：將現有數據保留在舊系統上，並將新數據直接發送到基於雲計算的新平台，無需數據遷移。新功能和功能被設計為雲就緒。·復雜的數據轉換：這涉及數據驅動應用程序的現代化，最適用於應用程序接近生命周期。其示例包括從大型機，AS / 400和較舊的關系資料庫管理系統轉移到新的資料庫，如Hive，Hadoop和HBase。(4)技能大數據實現取決於不同的技能，包括開發人員，管理人員，雲計算和大型數據架構師。市場對這些專家供不應求，所以組織經常要求內部人員或合同人員超越其核心能力進行工作，這會減慢實現的速度。選擇以交鑰匙為基礎提供這些功能的供應商是更為經濟的。確保它在專用環境和公其雲上大規模管理多個復雜的大數據環境。結論大數據的應用已經成為許多行業的巨大差異。成功開展業務的公司已經在行業中脫穎而出，這些公司不能面對落後的風險。雲計算提供了最快，最安全，最具前途的大數據轉換途徑。 不要擔心數據集成，安全性，傳統系統或技能阻止組織進行正確的移動。這些都比人們想像的要容易得多。
4. 大數據進制轉換：excel中10進制數據（大數據）轉換為十六進制
可以用一列轉換十六進制數的前二位，再用一列轉換十六進制數的後十位，然後再把結果拼接起來。
當然，也可以先轉換前六位再轉換後六位，然後再拼接。
5. 大數據處理的五大關鍵技術及其應用
作者 | 網路大數據
來源 | 產業智能官
數據處理是對紛繁復雜的海量數據價值的提煉，而其中最有價值的地方在於預測性分析，即可以通過數據可視化、統計模式識別、數據描述等數據挖掘形式幫助數據科學家更好的理解數據，根據數據挖掘的結果得出預測性決策。其中主要工作環節包括：
大數據採集 大數據預處理 大數據存儲及管理 大數據分析及挖掘 大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。一、大數據採集技術
數據是指通過RFID射頻數據、感測器數據、社交網路交互數據及移動互聯網數據等方式獲得的各種類型的結構化、半結構化(或稱之為弱結構化)及非結構化的海量數據，是大數據知識服務模型的根本。重點要突破分布式高速高可靠數據爬取或採集、高速數據全映像等大數據收集技術;突破高速數據解析、轉換與裝載等大數據整合技術;設計質量評估模型，開發數據質量技術。
大數據採集一般分為：
大數據智能感知層：主要包括數據感測體系、網路通信體系、感測適配體系、智能識別體系及軟硬體資源接入系統，實現對結構化、半結構化、非結構化的海量數據的智能化識別、定位、跟蹤、接入、傳輸、信號轉換、監控、初步處理和管理等。必須著重攻克針對大數據源的智能識別、感知、適配、傳輸、接入等技術。
基礎支撐層：提供大數據服務平台所需的虛擬伺服器，結構化、半結構化及非結構化數據的資料庫及物聯網路資源等基礎支撐環境。重點攻克分布式虛擬存儲技術，大數據獲取、存儲、組織、分析和決策操作的可視化介面技術，大數據的網路傳輸與壓縮技術，大數據隱私保護技術等。
二、大數據預處理技術
完成對已接收數據的辨析、抽取、清洗等操作。
抽取：因獲取的數據可能具有多種結構和類型，數據抽取過程可以幫助我們將這些復雜的數據轉化為單一的或者便於處理的構型，以達到快速分析處理的目的。
清洗：對於大數據，並不全是有價值的，有些數據並不是我們所關心的內容，而另一些數據則是完全錯誤的干擾項，因此要對數據通過過濾「去噪」從而提取出有效數據。
三、大數據存儲及管理技術
大數據存儲與管理要用存儲器把採集到的數據存儲起來，建立相應的資料庫，並進行管理和調用。重點解決復雜結構化、半結構化和非結構化大數據管理與處理技術。主要解決大數據的可存儲、可表示、可處理、可靠性及有效傳輸等幾個關鍵問題。開發可靠的分布式文件系統(DFS)、能效優化的存儲、計算融入存儲、大數據的去冗餘及高效低成本的大數據存儲技術;突破分布式非關系型大數據管理與處理技術，異構數據的數據融合技術，數據組織技術，研究大數據建模技術;突破大數據索引技術;突破大數據移動、備份、復制等技術;開發大數據可視化技術。
開發新型資料庫技術，資料庫分為關系型資料庫、非關系型資料庫以及資料庫緩存系統。其中，非關系型資料庫主要指的是NoSQL資料庫，分為：鍵值資料庫、列存資料庫、圖存資料庫以及文檔資料庫等類型。關系型資料庫包含了傳統關系資料庫系統以及NewSQL資料庫。
開發大數據安全技術：改進數據銷毀、透明加解密、分布式訪問控制、數據審計等技術;突破隱私保護和推理控制、數據真偽識別和取證、數據持有完整性驗證等技術。
四、大數據分析及挖掘技術
大數據分析技術：改進已有數據挖掘和機器學習技術;開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術;突破基於對象的數據連接、相似性連接等大數據融合技術;突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。
數據挖掘就是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。
數據挖掘涉及的技術方法很多，有多種分類法。根據挖掘任務可分為分類或預測模型發現、數據總結、聚類、關聯規則發現、序列模式發現、依賴關系或依賴模型發現、異常和趨勢發現等等;根據挖掘對象可分為關系資料庫、面向對象資料庫、空間資料庫、時態資料庫、文本數據源、多媒體資料庫、異質資料庫、遺產資料庫以及環球網Web;根據挖掘方法分，可粗分為:機器學習方法、統計方法、神經網路方法和資料庫方法。
機器學習中，可細分為歸納學習方法(決策樹、規則歸納等)、基於範例學習、遺傳演算法等。統計方法中，可細分為:回歸分析(多元回歸、自回歸等)、判別分析(貝葉斯判別、費歇爾判別、非參數判別等)、聚類分析(系統聚類、動態聚類等)、探索性分析(主元分析法、相關分析法等)等。神經網路方法中，可細分為:前向神經網路(BP演算法等)、自組織神經網路(自組織特徵映射、競爭學習等)等。資料庫方法主要是多維數據分析或OLAP方法，另外還有面向屬性的歸納方法。
數據挖掘主要過程是：根據分析挖掘目標，從資料庫中把數據提取出來，然後經過ETL組織成適合分析挖掘演算法使用寬表，然後利用數據挖掘軟體進行挖掘。傳統的數據挖掘軟體，一般只能支持在單機上進行小規模數據處理,受此限制傳統數據分析挖掘一般會採用抽樣方式來減少數據分析規模。
數據挖掘的計算復雜度和靈活度遠遠超過前兩類需求。一是由於數據挖掘問題開放性，導致數據挖掘會涉及大量衍生變數計算，衍生變數多變導致數據預處理計算復雜性;二是很多數據挖掘演算法本身就比較復雜，計算量就很大，特別是大量機器學習演算法，都是迭代計算，需要通過多次迭代來求最優解，例如K-means聚類演算法、PageRank演算法等。
從挖掘任務和挖掘方法的角度，著重突破：
可視化分析。數據可視化無論對於普通用戶或是數據分析專家，都是最基本的功能。數據圖像化可以讓數據自己說話，讓用戶直觀的感受到結果。 數據挖掘演算法。圖像化是將機器語言翻譯給人看，而數據挖掘就是機器的母語。分割、集群、孤立點分析還有各種各樣五花八門的演算法讓我們精煉數據，挖掘價值。這些演算法一定要能夠應付大數據的量，同時還具有很高的處理速度。 預測性分析。預測性分析可以讓分析師根據圖像化分析和數據挖掘的結果做出一些前瞻性判斷。 語義引擎。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。語言處理技術包括機器翻譯、情感分析、輿情分析、智能輸入、問答系統等。 數據質量和數據管理。數據質量與管理是管理的最佳實踐，透過標准化流程和機器對數據進行處理可以確保獲得一個預設質量的分析結果。預測分析成功的7個秘訣
預測未來一直是一個冒險的命題。幸運的是，預測分析技術的出現使得用戶能夠基於歷史數據和分析技術(如統計建模和機器學習)預測未來的結果，這使得預測結果和趨勢變得比過去幾年更加可靠。
盡管如此，與任何新興技術一樣，想要充分發揮預測分析的潛力也是很難的。而可能使挑戰變得更加復雜的是，由不完善的策略或預測分析工具的誤用導致的不準確或誤導性的結果可能在幾周、幾個月甚至幾年內才會顯現出來。
預測分析有可能徹底改變許多的行業和業務，包括零售、製造、供應鏈、網路管理、金融服務和醫療保健。AI網路技術公司Mist Systems的聯合創始人、首席技術官Bob fridy預測:「深度學習和預測性AI分析技術將會改變我們社會的所有部分，就像十年來互聯網和蜂窩技術所帶來的轉變一樣。」。
這里有七個建議，旨在幫助您的組織充分利用其預測分析計劃。
1.能夠訪問高質量、易於理解的數據
預測分析應用程序需要大量數據，並依賴於通過反饋循環提供的信息來不斷改進。全球IT解決方案和服務提供商Infotech的首席數據和分析官Soumendra Mohanty評論道:「數據和預測分析之間是相互促進的關系。」
了解流入預測分析模型的數據類型非常重要。「一個人身上會有什麼樣的數據?」 Eric Feigl - Ding問道，他是流行病學家、營養學家和健康經濟學家，目前是哈佛陳氏公共衛生學院的訪問科學家。「是每天都在Facebook和谷歌上收集的實時數據，還是難以訪問的醫療記錄所需的醫療數據?」為了做出准確的預測，模型需要被設計成能夠處理它所吸收的特定類型的數據。
簡單地將大量數據扔向計算資源的預測建模工作註定會失敗。「由於存在大量數據，而其中大部分數據可能與特定問題無關，只是在給定樣本中可能存在相關關系，」FactSet投資組合管理和交易解決方案副總裁兼研究主管Henri Waelbroeck解釋道，FactSet是一家金融數據和軟體公司。「如果不了解產生數據的過程，一個在有偏見的數據上訓練的模型可能是完全錯誤的。」
2.找到合適的模式
SAP高級分析產品經理Richard Mooney指出，每個人都痴迷於演算法，但是演算法必須和輸入到演算法中的數據一樣好。「如果找不到適合的模式，那麼他們就毫無用處，」他寫道。「大多數數據集都有其隱藏的模式。」
模式通常以兩種方式隱藏:
模式位於兩列之間的關系中。例如，可以通過即將進行的交易的截止日期信息與相關的電子郵件開盤價數據進行比較來發現一種模式。Mooney說:「如果交易即將結束，電子郵件的公開率應該會大幅提高，因為買方會有很多人需要閱讀並審查合同。」
模式顯示了變數隨時間變化的關系。「以上面的例子為例，了解客戶打開了200次電子郵件並不像知道他們在上周打開了175次那樣有用，」Mooney說。
3 .專注於可管理的任務，這些任務可能會帶來積極的投資回報
紐約理工學院的分析和商業智能主任Michael Urmeneta稱:「如今，人們很想把機器學習演算法應用到海量數據上，以期獲得更深刻的見解。」他說，這種方法的問題在於，它就像試圖一次治癒所有形式的癌症一樣。Urmeneta解釋說:「這會導致問題太大，數據太亂——沒有足夠的資金和足夠的支持。這樣是不可能獲得成功的。」
而當任務相對集中時，成功的可能性就會大得多。Urmeneta指出:「如果有問題的話，我們很可能會接觸到那些能夠理解復雜關系的專家」 。「這樣，我們就很可能會有更清晰或更好理解的數據來進行處理。」
4.使用正確的方法來完成工作
好消息是，幾乎有無數的方法可以用來生成精確的預測分析。然而，這也是個壞消息。芝加哥大學NORC (前國家意見研究中心)的行為、經濟分析和決策實踐主任Angela Fontes說:「每天都有新的、熱門的分析方法出現，使用新方法很容易讓人興奮」。「然而，根據我的經驗，最成功的項目是那些真正深入思考分析結果並讓其指導他們選擇方法的項目——即使最合適的方法並不是最性感、最新的方法。」
羅切斯特理工學院計算機工程系主任、副教授shanchie Jay Yang建議說:「用戶必須謹慎選擇適合他們需求的方法」。「必須擁有一種高效且可解釋的技術，一種可以利用序列數據、時間數據的統計特性，然後將其外推到最有可能的未來，」Yang說。
5.用精確定義的目標構建模型
這似乎是顯而易見的，但許多預測分析項目開始時的目標是構建一個宏偉的模型，卻沒有一個明確的最終使用計劃。「有很多很棒的模型從來沒有被人使用過，因為沒有人知道如何使用這些模型來實現或提供價值，」汽車、保險和碰撞修復行業的SaaS提供商CCC信息服務公司的產品管理高級副總裁Jason Verlen評論道。
對此，Fontes也表示同意。「使用正確的工具肯定會確保我們從分析中得到想要的結果……」因為這迫使我們必須對自己的目標非常清楚，」她解釋道。「如果我們不清楚分析的目標，就永遠也不可能真正得到我們想要的東西。」
6.在IT和相關業務部門之間建立密切的合作關系
在業務和技術組織之間建立牢固的合作夥伴關系是至關重要的。客戶體驗技術提供商Genesys的人工智慧產品管理副總裁Paul lasserr說:「你應該能夠理解新技術如何應對業務挑戰或改善現有的業務環境。」然後，一旦設置了目標，就可以在一個限定范圍的應用程序中測試模型，以確定解決方案是否真正提供了所需的價值。
7.不要被設計不良的模型誤導
模型是由人設計的，所以它們經常包含著潛在的缺陷。錯誤的模型或使用不正確或不當的數據構建的模型很容易產生誤導，在極端情況下，甚至會產生完全錯誤的預測。
沒有實現適當隨機化的選擇偏差會混淆預測。例如，在一項假設的減肥研究中，可能有50%的參與者選擇退出後續的體重測量。然而，那些中途退出的人與留下來的人有著不同的體重軌跡。這使得分析變得復雜，因為在這樣的研究中，那些堅持參加這個項目的人通常是那些真正減肥的人。另一方面，戒煙者通常是那些很少或根本沒有減肥經歷的人。因此，雖然減肥在整個世界都是具有因果性和可預測性的，但在一個有50%退出率的有限資料庫中，實際的減肥結果可能會被隱藏起來。
六、大數據展現與應用技術
大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。
在我國，大數據將重點應用於以下三大領域：商業智能 、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。
6. 大數據時代 如何將「麻煩＂轉化為＂價值」
大數據時代 如何將「麻煩＂轉化為＂價值」
大數據是目前最熱門的科技詞語之一，如今，各行各業都在討論大數據，大數據對IT科技、生產製作、信息傳播與消費都有著影響，不管你是否承認，大數據已經實實在在的來到了我們身邊，面對撲面而來的大數據浪潮，企業用戶是選擇主動迎擊，還是選擇被動承受？
大數據時代 如何將"麻煩"轉化為"價值"
針對這一話題，筆者近日有幸采訪了同方股份有限公司物聯網應用產業本部大數據產業研發與工程中心數據資源工程事業部副總經理郭子龍先生，暢談大數據時代的企業應該何去何從！
當談到大數據的時候，人們總是習慣用4個"V"（海量的數據規模（volume）、快速的數據流轉和動態的數據體系（velocity）、多樣的數據類型（variety）和巨大的數據價值（value））來描述大數據的特點。但其實，無論是對於企業還是個人，大數據來臨首當其沖的就是帶了"大麻煩"，如何將這個"大麻煩"轉化為"大價值"才應該是企業考慮的問題。
如何將"大麻煩"轉化為企業的"大價值"呢？郭子龍先生認為有幾個關鍵點：
首先，企業需要轉變"數據依附於業務"的認識，使得數據的發展不再受業務桎梏，將數據作為企業中的一種全新的、獨立的戰略資源。
其次，需要為這種戰略資源構建一個容器，也就是建立大數據的標准框架，來容納大數據。企業需要按照這個標准框架來組織、存儲數據，容量不是首要考慮的，重點要考慮的是整個框架的標准如何建立，如何使這個標准與企業核心目標高度契合、並對目標的有效達成發揮作用。在數據規劃過程中，要重點應用"演繹法"，有些數據現在可能沒用，但是並不代表其將來沒有用。
再次，要做好數據集成，盡可能的去應用第一性原理。我們需要從數據自身根本的源頭上去做集成。將數據存儲到資料庫中，而存儲好的數據與其它資源不同，數據只需要集成一次，就可以多次使用，重復利用，所以要從根本上、從數據的源頭做好數據的集成。
最後， 強化數據應用，數據應用是大數據裡面最重要的一點，大數據應用如今無處不在，在數據應用要充分考慮到人與計算機處理能力的差異性，關注事物的主要矛盾和確定性問題，在海量化的各類數據中挖掘出數據的真正價值，強化數據的應用。
7. 什麼是大數據轉化難的原因
大數據轉化難的原因是什麼?大數據,如農業,政府大量的農業數據和氣象數據,甚至糧食收購數據,農產品價格,等等,但即使數據開放給所有承包商,如何使用它仍然是一個大問題,如何利用現有的數據通過數據挖掘,數據分析,數據值,形成生產力,它正面臨一個新問題。在這方面，美國有很好的做法。美國的農業生產方式正在從機械化向信息化轉變。以精確為特點的農業使種植更加容易。
美國是一個農業數據收集相對完整的國家，也是農業數據開放較早的國家。目前，農業數據的收集、共享和使用正在幫助美國農業決策者制定促進農業部門發展的政策。此外，美國農民協會(American Farmers Association)和農業綜合企業投入了大量時間、金錢和精力從農業綜合企業收集數據，這些數據被稱為“大數據”。
隨著全球人口的增長，氣候變化的波動性越來越大，依賴石油的農業對化石燃料價格變得更加敏感，大數據在農業中的作用不可避免地導致更多地使用新技術來提高作物產量和管理風險。基因組學、生物信息學和計算生物學的研究活動取得了重大進展，使科學家和組織能夠更好地養活全世界並提高糧食和作物的質量。
大數據轉化難的原因是什麼?然而，這樣的條件在今天的中國並不存在，農民沒有辦法控制種植什麼和什麼時候種植。目前的情況是什麼?以現在最大的渤海糧倉為例，在山東幾個縣市進行試點的渤海糧倉項目，最終落地後效果如何?所謂互聯網+大數據最後的做法是找幾個實驗室,用杖,穿上一些感測器和攝像機,然後做數據顯示,甚至在許多地區的農民放電感測器和攝像機,如何引導生產、如何農機製造業產業鏈,目前我沒有看到任何練習。
大數據轉化難的原因是什麼?竟然藏在大數據工程師的這個細節里，許多企業和政府還在對大數據的概念進行推測。這並不是因為他們不想做好工作，而是因為他們受到了兩方面的限制，你能處理好嗎?如果您還擔心自己入門不順利，也可以點擊本站的其他文章進行學習。
8. 大數據時代的五個轉變
大數據時代的五個轉變
互聯網的重心逐步向著移動互聯轉移，各種新型智能移動設備的迅速普及帶來海量數據的爆發。於是大家都在談論大數據，大家都想用好大數據。但你真的了解大數據嗎？當前的行業狀況又是怎樣？
事實上，大數據只是一種提法，其形態本身是數據雲。正如 DCCI 創始人胡延平所說，以實時感知、分析、對話、服務能力為基礎，讓數據流成為商業、營銷活動的核心才是關鍵。怎樣才能讓這些大數據更好地為產品或營銷服務，搞清楚大數據時代的業界生態必不可少。
DCCI 互聯網數據中心在今天的 Adworld2012 互動營銷大會上總結了這樣幾個轉變，我們可以結合其發布的數據報告一起來看看。
以人為中心，互聯網生態結構發生轉變截止 2012年6月，中國有網民 5.38 億，其中手機網民達到 3.88 億。同時關於三大移動智能操作系統，我們還得到這樣一組數據：
大量智能移動設備接入網路，移動應用爆發性增長對數據進行深入挖掘的需求突顯。而移動互聯網與傳統互聯網融合，成為所有媒體的核心節點卻是大數據實現的前提。
數據流量劇增，Web Analytics 產業曙光出現我們再來看看另一組數據：
如此龐大的數據，哪些具有商業價值？怎樣挖掘出這些有價值的數據？事實上在大數據中，存儲在資料庫中的結構化數據僅占 10%，郵件、視頻、微博、帖子、頁面點擊等大量非結構化數據占據了另外 90%。怎樣從這些與用戶行為相關的大數據中挖掘出更多有價值的內容，值得創業者思考和探索，同時也給數據分析與挖掘產業帶來更多的機會。
數據不是數據存儲，而是數據應用
從傳統互聯網到移動互聯網，人們產生的數據越來越多。同時 Google Glass 的誕生讓我們有理由相信，未來每個人都將產生更多的數據。但如果僅僅是簡單地將這些數據存儲起來，它本身並不具有任何價值。
基於用戶行為分析，互聯網營銷趨向 開放-主動-整合正如前面所說，數據結構更加多樣化，圖像、視頻和文檔的比例佔了半壁江山。有數據顯示每年諸如郵件、視頻、微博、帖子、手機呼叫、網頁點擊等類型的非結構化數據增長率達到 80%。大量的用戶行為信息記錄在這些數據中，互聯網營銷將在行為分析的基礎上，向個性化時代過渡。
RTB-DSP-DMP，Ad-Exchange 發展提速，向營銷雲轉變
RTB 即為 「人群實時競價」，是近年興起於美國的網路廣告交易模式。該模式一經出現便在全球被大范圍採用，目前歐美數字廣告發行商中有 2/3 使用 RTB 模式。同時 Google DoubleClick 高管認為，到 2015年 將有 50%以上的展示廣告通過 RTB 模式完成。
DCCI 提供的數據顯示，中國有超過 230 萬個網站，網頁超 866 億，移動應用超過 135 萬。由此可以預見，國內網路廣投放也將從傳統面向群體的營銷轉向個性化營銷，從流量購買轉向人群購買。也就是說，未來的市場將更多地以人為中心，主動迎合用戶需求。
以上是小編為大家分享的關於大數據時代的五個轉變的相關內容，更多信息可以關注環球青藤分享更多干貨
9. 大數據時代處理數據的三大轉變
大數據時代處理數據的三大轉變
大數據概念的橫空出世，有賴於短短幾年出現的海量數據。據統計，互聯網上的數據每兩年翻一番，而目前世界上90%以上的數據都是最近幾年才產生的。當然，海量數據僅僅是「大數據」概念的一部分，只有具備4個「V」的特徵，大數據的定義才算完整，而價值恰恰是決定大數據未來走向的關鍵。
大數據發展必備三個條件
大數據的發展需要三個必要條件：數據源、數據交易、數據產生價值的過程。近年來，社交網路的興起、物聯網的發展和移動互聯網的普及，誕生了大量有價值的數據源，奠定了大數據發展的基礎。大數據時代到來的重要標志，則是大批專業級「數據買賣商」的出現，以及圍繞數據交易形成的，貫穿於收集、整理、分析、應用整個流程的產業鏈條。大數據發展的核心，則是使用戶從海量的非結構化數據和半結構化數據中獲得了新的價值，數據價值是帶動數據交易的原動力。
IBM、甲骨文、SAP近年紛紛斥巨資收購數據管理和分析公司，在這些互聯網巨頭的帶動下，數據分析技術日漸成熟。2013年6月，愛德華·斯諾登將「棱鏡計劃」公之於眾，「棱鏡門」事件一方面說明大數據技術已經成熟;另一方面也佐證了現在阻礙大數據發展的不是技術，而是數據交易和數據價值。
大數據技術的發展促進了雲計算的落地，雲計算的部署完成又反過來加大了市場對數據創造價值的期待。大數據概念提出之後，市場終於看到了雲計算的獲利方向：各地的一級系統集成商與當地政府合作，建雲數據中心;各大行業巨頭在搭建各自行業的雲平台;IT巨頭想盡辦法申請中國的公有雲牌照。大數據促成了雲計算從概念到落地。藉助於智慧城市概念的普及，雲計算基礎設施已基本准備就緒，一方面完成了大數據應用的硬體基礎;另一方面迫於回收雲計算投資的壓力，市場急需應用部署，大數據恰如雪中送炭，被市場寄予厚望。
現在，問題的核心指向了「數據如何創造價值?」
整合與開放是基石
大數據服務創業公司Connotate對800多名商業和IT主管進行了調查。結果顯示，60%受調查者稱：「目前就說這些大數據投資項目肯定能夠帶來良好回報尚為時過早。」之所以如此，是由於當前大數據缺乏必需的開放性：數據掌握在不同的部門和企業手中，而這些部門和企業並不願意分享數據。大數據是通過研究數據的相關性來發現客觀規律，這依賴於數據的真實性和廣泛性，數據如何做到共享和開放，這是當前大數據發展的軟肋和需要解決的大問題。
2012年美國大選，奧巴馬因數據整合而受益。在奧巴馬的競選團隊中有一個神秘的數據挖掘團隊，他們通過對海量數據進行挖掘幫助奧巴馬籌集到10億美元資金;他們通過數據挖掘使競選廣告投放效率提升了14%;他們通過製作「搖擺州」選民的詳細模型，每晚實施6.6萬次模擬選舉，推算奧巴馬在「搖擺州」的勝率，並以此來指導資源分配。奧巴馬競選團隊相比羅姆尼競選團隊最有優勢的地方：對大數據的整合。奧巴馬的數據挖掘團隊也意識到這個全世界共同的問題：數據分散在過多的資料庫中。因此，在前18個月，奧巴馬競選團隊就創建了一個單一的龐大數據系統，可以將來自民意調查者、捐資者、現場工作人員、消費者資料庫、社交媒體，以及「搖擺州」主要的民主黨投票人的信息整合在一起，不僅能告訴競選團隊如何發現選民並獲得他們的注意，還幫助數據處理團隊預測哪些類型的人有可能被某種特定的事情所說服。正如競選總指揮吉姆·梅西納所說，在整個競選活中，沒有數據做支撐的假設很少存在。
2012年3月，美國奧巴馬政府宣布投資2億美元啟動「大數據研究和發展計劃」，將「大數據研究」上升為國家意志。一個國家擁有數據的規模和運用數據的能力將成為綜合國力的重要組成部分。國內智慧城市建設目標之一就是實現數據的集中共享。
合作共贏的商業模式
隨著雲計算、大數據技術和相關商業環境的不斷成熟，越來越多的「軟體開發者」正在利用跨行業的大數據平台，打造創新價值的大數據應用，而且這一門檻正在不斷降低。因為首先，數據擁有者能夠以微乎其微的成本獲取額外的收入，提高利潤水平;其次，大數據設備廠商需要應用來吸引消費者購買設備，發展合作共贏的夥伴關系勢必比單純銷售設備要有利可圖，一些具有遠見的廠商已經開始通過提供資金、技術支持、入股等方式來扶持這些「軟體開發者」;第三，行業細分市場的數據分析應用需求在不斷加大，對於整個大數據產業鏈來說，創新型的行業數據應用開發者必將是未來整個大數據產業鏈中最為活躍的部分。
未來，有三種企業將在」大數據產業鏈「中處於重要地位：掌握海量有效數據的企業，有著強大數據分析能力的企業，以及創新的「軟體開發者」。社交網路、移動互聯網、信息化企業、電信運營商都是海量數據的製造者，Facebook公司手中掌握著8.5億用戶，淘寶注冊用戶超過3.7億，騰訊的微信用戶突破3億，這些龐大用戶群所提供的數據，正在等待時機釋放出巨大商業能量。可以預測，在不久的將來，Facebook、騰訊、電信運營商等海量數據持有者或者自我延伸成為數據分析提供商，或者與IBM、ZTE等企業密切對接成為上下游合作企業，大數據產業鏈將在某個爆發時點到來之際，以令人驚訝的速度成長壯大。
警惕大數據的危害
大數據時代，傳統的隨機抽樣被「所有數據的匯攏」所取代，人們的思維決斷模式，已可直接根據「是什麼」來下結論，由於這樣的結論剔除了個人情緒、心理動機、抽樣精確性等因素的干擾，因此將更精確、更有預見性。不過，由於大數據過於依靠數據的匯集，一旦數據本身有問題，就很可能出現「災難性大數據」，即因為數據本身的問題，而導致錯誤的預測和決策。
大數據的理論是「在稻草堆里找一根針」，而如果「所有稻草看上去都挺像那根針」呢?過多但無法辨析真偽和價值的信息和過少的信息一樣，對於需要作出瞬間判斷、一旦判斷出錯就很可能造成嚴重後果的情況而言，同樣是一種危害。「大數據」理論是建立在「海量數據都是事實」的基礎上，而如果數據提供者造假呢?這在大數據時代變得更有害，因為人們無法控制數據提供者和搜集者本人的偏見。擁有最完善資料庫、最先接受「大數據」理念的華爾街投行和歐美大評級機構，卻每每在重大問題上判斷出錯，這本身就揭示了「大數據」的局限性。
不僅如此，大數據時代造就了一個資料庫無所不在的世界，數據監管部門面臨前所未有的壓力和責任：如何避免數據泄露對國家利益、公眾利益、個人隱私造成傷害?如何避免信息不對等，對困難群體的利益構成傷害?在有效控制風險之前，也許還是讓「大數據」繼續待在籠子里更好一些。
大數據的經濟價值已經被人們認可，大數據的技術也已經逐漸成熟，一旦完成數據的整合和監管，大數據爆發的時代即將到來。我們現在要做的，就是選好自己的方向，為迎接大數據的到來，提前做好准備。