① 如何應用大數據提升智慧園區綜合管理
信息技術的高速發展，不斷推動著信息技術服務業業務向細分化、多樣化方向發展，促使新產品、新業態大量涌現，進而創造新的市場空間，帶動產業升級優化。大數據產業化進程加速，信息技術服務業由傳統PC時代向新興技術轉移的節奏開始加速。企業專注自身優勢領域的同時，亟需結合新興技術支撐自身發展，開放合作成為產業主要趨勢。於此同時，信息技術產業的競爭正從單一企業競爭演進到以聚合生態圈協同效應的全產業鏈競爭，生態圈建設的重要性凸顯。根據2016年全國工業和信息化工作會議報告，2016年主要預期目標軟體和信息技術服務業收入14%左右。根據國務院印發的《促進大數據發展行動綱要》(以下簡稱「《綱要》」)，全球范圍內，運用大數據推動經濟發展、完善社會治理、提升政府服務和監管能力正成為趨勢，有關發達國家相繼制定實施大數據戰略性文件，大力推動大數據發展和應用。目前，我國互聯網、移動互聯網用戶規模居全球第一，擁有豐富的數據資源和應用市場優勢，大數據部分關鍵技術研發取得突破，涌現出一批互聯網創新企業和創新應用，一些地方政府已啟動大數據相關工作。堅持創新驅動發展，加快大數據部署，深化大數據應用，已成為穩增長、促改革、調結構、惠民生和推動政府治理能力現代化的內在需要和必然選擇。
《綱要》明確指出，①2018年底前建成國家政府數據統一開放平台;②到2020年，形成一批具有國際競爭力的大數據處理、分析、可視化軟體和硬體支撐平台等產品。③培育10家國際領先的大數據核心龍頭企業，500家大數據應用、服務和產品製造企業。實現關鍵部門的關鍵設備安全可靠。④2020年底前，逐步實現信用、交通、醫療、衛生、就業、社保、地理、文化、教育、科技、資源、農業、環境、安監、金融、質量、統計、氣象、海洋、企業登記監管等民生保障服務相關領域的政府數據集向社會開放。⑤中小微企業公共服務大數據。形成全國統一的中小微企業公共服務大數據平台。這是國家大數據戰略的一個頂層設計，發展大數據是國家戰略。雖然目前看來，人力資源的配給與現有的資料庫管理技術基本是足夠的，但是未來，如果人類管理數據的效率不能保持同步提升，人類在大數據時代將無法對數據進行有效管理。大數據管理技術以及開放的大數據生態圈將促使大數據行業的快速發展。
(一)大數據市場競爭格局
大數據產業屬技術密集型產業，競爭更多是技術實力與創新能力的比拼，離數據越近的產業環節，產業價值越大。能掌控大數據實時集成、海量信息處理和管理、雲存儲等技術的廠商將成為產業的主導者，主導未來大數據產業技術發展方向，促進商業模式創新。大數據產業鏈現在已經初現雛形，圍繞大數據的產生與集聚、組織與管理、分析與發現、應用與服務各層級正在加速構建。目前，在大數據產業鏈上有三種大數據公司：
(1)基於數據本身的公司(數據擁有者)：擁有數據，不具有數據分析的能力;(2)基於技術的公司(技術提供者)：技術供應商或者數據分析公司等;(3)基於思維的公司(服務提供者)：挖掘數據價值的大數據應用公司。
(二)大數據產業進入壁壘
1、數據資源壁壘
大數據時代的一大特點就是，數據成為企業核心資產，豐富的高質量數據資源是大數據產業發展的前提。近幾年在互聯網產業及金融、電信信息化快速發展的帶動下，我國數據資源總量有了快速增長，已達到全球的13%，但其他行業受信息化水平制約，數據儲量仍不豐富。對數據的掌握決定對市場的支配權;越靠近最終用戶的企業，將在產業鏈中擁有越大的發言權。
2、技術壁壘
兩類企業將在大數據產業鏈處於重要地位。一種是掌握海量有效數據的企業，第二種是有強大數據分析能力的企業。關鍵是誰擁有更多、更准、更有價值的數據。中國大數據應用處在起步階段。淘寶、騰訊以及網路這些互聯網巨頭是率先使用大數據技術的用戶，但他們主要基於開源軟體自主開發大數據應用。行業進入需要具有較高的技術層次，技術和產品的創新能力是推動公司取得競爭優勢的關鍵因素。
3、政策壁壘
為把握大數據時代戰略機遇，我國要加速營造良好的大數據產業生態環境，政府應不斷完善政策法規，創建適度寬松的發展環境，提升中國在世界信息產業的地位;IT廠商應聚焦技術創新與服務模式創新，洞察用戶需求，提供高可用性的整體性解決方案;行業用戶應當通過雲平台實現數據大集中，形成企業數據資產;同時深度分析挖掘大數據的價值，推動企業智能決策。
4、專利壁壘
保護知識產權是軟體與信息技術服務產業發展的重要因素，只有保護好知識產權，才能保護和提高開發商開發軟體的積極性，才能促進軟體產業的蓬勃發展，十二五規劃對知識產權的保護力度進一步增大，這將對專利壁壘起到良好的促進作用。
(三)影響大數據產業發展的有利因素和不利因素
l 大數據產業發展的有利因素
1、國家政策大力支持
公司處於國家行業政策鼓勵和重點支持發展的行業。發展和提升軟體和信息技術服務業，對於推動信息化和工業化深度融合，培育和發展戰略性新興產業，建設創新型國家，加快經濟發展方式轉變和產業結構調整，提高國家信息安全保障能力和國際競爭力具有重要意義。為此國家出台《國務院關於印發進一步鼓勵軟體產業和集成電路產業發展若干政策的通知》、《國務院關於加快培育和發展戰略性新興產業的決定》、《軟體和信息技術服務業十二五發展規劃》、《關於印發促進大數據發展行動綱要的通知》等政策，從稅收、研究經費、進出口優惠、人才培養、知識產權保護、市場開發和投融資等方面給予了較為全面的政策支持。根據國家發展規劃，預期未來國家還將出台更多針對軟體和信息產業的專門政策，這將有力地推動我國軟體和信息產業的健康穩步發展。
2、大數據技術開發應用前景廣闊
國家計劃在2018年底前建成國家政府數據統一開放平台，率先在信用、交通、醫療、衛生、就業、社保、地理、文化、教育、科技、資源、農業、環境、安監、金融、質量、統計、氣象、海洋、企業登記監管等重要領域實現公共數據資源合理適度向社會開放，帶動社會公眾開展大數據增值性、公益性開發和創新應用，充分釋放數據紅利，與雲計算、物聯網、移動互聯網等新一代信息技術融合發展，與傳統產業協同發展新業態、新模式，促進傳統產業轉型升級和新興產業發展，激發大眾創業、萬眾創新活力。
l 行業發展的不利因素
1、產業創新體系不健全，核心技術缺乏
長久以來，我國信息化建設過程中存在著「重硬輕軟」的思想傾向。在軟體產品開發層面，民眾版權意識薄弱，盜版現象嚴重。另外，國內企業普遍規模較小、自主創新能力不足。創新能力不足是制約中國信息產業尤其是軟體和信息服務業發展的瓶頸。目前，行業內雖已涌現出一些具有自主知識產權的高技術、高附加值的產品，但從總體上看，多數企業或產品尚沒有自己的自主知識產權或核心技術，企業依靠產品的低水平重復開發、國外知名品牌產品代理銷售等業務生存的現象較為普遍。
2、人才結構矛盾突出
軟體和信息技術服務業是一個知識密集型產業，具有高技術含量和高附加值的特點，其發展需離不開大量的高素質人才。目前，我國軟體行業從業人員數量規模可觀,但高層次、復合型、領軍型人才依然缺乏，尤其是在經營管理、技術創新等方面具有國際化視野的高端人才較為匱乏，這已經成為制約中國軟體和信息技術服務業發展的關鍵因素之一。
3、大數據行業發展仍在初級階段
我國的大數據產業具備良好基礎，發展前景廣闊。一是一批世界級的互聯網公司在大數據應用上不斷推陳出新，智能搜索、廣告、電商、社交等藉助大數據技術持續進化，互聯網金融、O2O(online
to offline)等應用藉助大數據向線下延伸。二是大數據技術緊跟國際先進水平，具備建設和運營世界最大規模大數據平台的能力，單集群規模達5000 到10000
台伺服器，數據管理規模達到EB(1EB=1018B)級別，在機器學習等方面也有所突破。三是當前和未來一段時間，我國面臨著經濟結構轉型升級、政府和公共服務改進提升等緊迫任務，這些方面大數據都有廣闊的應用前景。大數據在全球的發展還都處於初期，技術、制度、觀念等方面都需要改變。對我國來說，數據資源不豐富，數據開放程度較低、技術差距大，技術水平不高，技術擴散不暢和法律法規不完善是限制當前大數據發展的主要問題，金鵬信息智慧園區軟體。
② 大數據可否支持智慧城市健康發展面臨阻礙
智慧城市就是運用信息和通信技術手段感測、分析、整合城市運行核心系統的各項關鍵信息，從而對包括民生、環保、公共安全、城市服務、工商業活動在內的各種需求做出智能響應。其實質是利用先進的信息技術，實現城市智慧式管理和運行，進而為城市中的人創造更美好的生活，促進城市的和諧、可持續成長。隨著人類社會的不斷發展，未來城市將承載越來越多的人口。目前，我國正處於城鎮化加速發展的時期，部分地區「城市病」問題日益嚴峻。為解決城市發展難題，實現城市可持續發展，建設智慧城市已成為當今世界城市發展不可逆轉的歷史潮流。
「一號一窗一網」背後也是政府各部門打通信息，建立統一數據共享交換平台和政務服務信息系統，並實現集中與整合帶來的服務。
數據打通共享，確實是推動智慧城市落地的一個實實在在的舉措。雖然現在各種辦事信息都電子化了，但老百姓並不覺得省事。我們統計過，鄭州600個審批事項，需要提交的材料有5000多種，其中多次重復使用的證照，個人的有10多種，法人的也10多種。如果把這些證照的數據共享起來，減少老百姓重復遞交、重復錄入，那老百姓就感到落地了。
不過，從全國范圍看，在建設了城市的雲平台後，如何把數據從各部門拿上來打通共享，是智慧城市建設中一件相當困難的事。為什麼數據打通如此之難呢?這有歷史原因。多年來，政府已經以部門為主導，像「十二金」工程，構建了從上到下的垂直系統。如何打破「部門牆」，實現這些垂直系統的對接，將是一項長期工作。
智慧城市經常與數字城市、感知城市、無線城市、智能城市、生態城市、低碳城市等區域發展概念相交叉，甚至與電子政務、智能交通、智能電網等行業信息化概念發生混雜。對智慧城市概念的解讀也經常各有側重，有的觀點認為關鍵在於技術應用，有的觀點認為關鍵在於網路建設，有的觀點認為關鍵在人的參與，有的觀點認為關鍵在於智慧效果，一些城市信息化建設的先行城市則強調以人為本和可持續創新。總之，智慧不僅僅是智能。智慧城市絕不僅僅是智能城市的另外一個說法，或者說是信息技術的智能化應用，還包括人的智慧參與、以人為本、可持續發展等內涵。
金鵬信息智慧城市解決方案
③ 大數據可否支持智慧城市健康發展面臨阻礙
智慧城市就是運用信息和通信技術手段感測、分析、整合城市運行核心系統的各項關鍵信息，從而對包括民生、環保、公共安全、城市服務、工商業活動在內的各種需求做出智能響應。其實質是利用先進的信息技術，實現城市智慧式管理和運行，進而為城市中的人創造更美好的生活，促進城市的和諧、可持續成長。
按照「智慧」的來源，智慧城市可以分為兩類。
一類是在城市大規模安裝數字化設備
包括監控設備、數字化交通設施及標志、實時通信設備等。通過收集、整合和分析這些數據流，可以對城市運行進行實時的監控管理，而這些分析信息也可以被實時地發送到城市居民的移動設備上（如電腦、手機、GPS裝置等），為城市居民的日常活動提供更加便利的信息。而這些實時數據通過存儲和進一步分析，可以用來描述、模擬和預測城市運行特性以及未來發展，從而為智慧城市的進一步發展提供參考依據。不僅如此，數字化技術的大規模運用與發展也可以刺激當地相關產業的發展，尤其是區域服務和知識型經濟的發展。
另一類是在一定區域內發展知識型經濟
從這個角度來說，智慧城市是一個智慧人群領導的由改革、創新和企業化驅動的經濟體。在此系統里，信息和通信技術（information and communication
technologies，ICT）是這個區域發展平台中推動實現創新型概念和設計的助推力。然而，就信息通信技術而言，單純嵌套於城市系統中並不能將城市轉化為智慧型城市，需要其與人力與社會資源以及更加寬松開放的經濟體相結合，推動城市的智能化發展。智慧城市的概念最初定位於技術和技術型管理的角度，然而隨著智慧城市概念的不斷完善，社會資本、教育、經濟等方面與綜合型智慧城市概念的完善越來越密切。
當前網路基礎設施的發展為城市科技創新提供了基礎，而這也促進了區域性城市的經濟、文化和環境的發展。
大數據指導下的智慧城市發展
大數據對於智慧城市應該在四個方面產生作用：科學規劃，通過數據的支撐、公眾參與、社會監督和客觀評價這4個過程中對大數據的應用，使城市的規劃方方面面都有更合理的依據;實時監測，數字化、網路化和智能化的發展能夠保證對這個城市的任何運行程度掌握在電台之中;精準治理，包括准確信息、智能方案、快速影響和績效考核;高效服務，向市民提供方便、精準和快捷的服務。
智慧城市中大數據的特點
（1）數據量
大數據概念中的數據量指的是大量的從各種數據源中產生的任意類型的數據。在智慧城市框架下，多媒體/社交媒體及其他類型網路在數據產生量方面呈現幾何級增長。
即使是現代工業產品，如汽車、火車、發電站等，其裝備的感測器數量也隨著智能化程度的提高在增加，這些感測器也在持續收集不斷增多的數據。不斷增長的數據量給數據收集、數據分析帶來了新的挑戰。
（2）數據速度
大數據概念中的速度指的是數據產生、傳輸的速度。在智慧城市框架下，由於數據量和數據源的持續增加和數據類型的不斷變化，數據的內容也呈現持續變化的狀態。對於某一數據存儲，數據產生和傳輸的速度決定了數據內容變化的速度。數據用戶傾向於更快的數據產生和傳輸速度，以便能夠了解其關心的實時信息。由此而言，大數據的速度特點對數據處理方法及運算演算法提出了更高的要求。
（3）數據多樣性
大數據概念中的數據多樣性指的是數據的類型多樣性，如視頻數據、音頻數據、圖像數據、文字數據以及數據日誌等。數據類型的多樣性與數據源的多樣性密不可分，如手機、錄像機、感測器、社交平台等。同傳統的結構性數據（如財政數據、期貨交易記錄、人事信息等）相比，在智慧城市框架下，大數據概念中的數據包括了大量的復雜的非結構型數據，且沒有固定的數據格式。與數據速度相似，大數據多樣性的特點也推動了數據處理方法及運算演算法的進一步發展優化。
（4）數據價值
大數據概念中的數據價值指的是大數據中包含有價值的信息，這些信息可以為相應的決策提供有益的參考。數據價值的實現需要通過大數據分析，即從大數據中提取有價值的數據信息的過程。在智慧城市框架下，數據價值評估是所有以大數據為基礎的應用最重要的特性，正是因為數據價值評估可以產生數據使用者需要的信息。
（5）數據精確性
大數據概念中的數據精確性指的是大數據中包含信息的完整性和准確性。數據精確性是對大數據質量和可信度的描述。任何信息管理實踐的核心內容都是數據質量、數據支配、元數據管理以及對數據保密性和合法性的要求。精確的原始數據有助於准確的數據信息的分析與發掘，從而為相應的決策提供更加准確的參考。
在大數據框架下，由於數據類型的多樣性，只經過收集和存儲的數據並不能用於高效准確的數據分析。而且，大規模的數據分析依賴於計算機演算法的高速自動運算。因此，數據整合成為大數據分析的一個必要步驟。數據整合，即根據研究需要並結合不同類型的數據的差異性，將其整合為一個整體性的資料庫。整合後的資料庫應具有以下特點：原始數據中存在的數據結構和表達形式的差異應在整合後的資料庫中予以保留，並且這些差異能夠用於大數據分析的計算機演算法讀取和高速分析，從而保證整合後的數據在演算法上的可解性。
此外，在大數據的概念下，即使是對單一數據進行分析，合理的數據整合和資料庫設計也是非常必要的。而資料庫設計的具體細節則由研究內容以及研究方法的特殊性來決定。對於特定研究內容或方法，某種數據整合的方法往往較其他方法更有優勢。因此，在設計資料庫時需要考慮資料庫的可修改性，使該資料庫被用於其他研究時可以進行相應的修改，從而增強其實用性。
智慧城市與大數據的實踐經驗
從國家政策來看中國計劃智慧城市項目總體技術體系架構在科技部，計劃智慧城市一期項目的支持下提出了六橫兩縱的智慧城市技術框架，六橫層層遞進最下層的是城市的感知層，再是傳輸層，再上面依次分別是處理層、支持服務層、應用服務層、最上面是智慧應用層，貫穿全局的是安全保障體系以及標准與評測，而要真正實現智慧城市必須引入大數據技術，主要包含以下三大方面的技術：
1、大數據融合技術
我國智慧城市建設面臨的重大挑戰之一，是城市系統之間由於標准問題無法有效集成形成信息孤島，因此在大數據融合領域一方面要加強海量異構數據建模與融合，海量異構數據列存儲與索引等關鍵技術研發，給予底層數據集成的信息共享提供標准和技術保障。
2、大數據處理技術
大規模數據在智慧城市系統流動過程中，處於傳輸效率、數據質量與安全等因素的考慮，需要對大規模數據進行預處理，大數據處理技術往往需要與基於雲計算的並行分布式技術相結合，這也是目前國際產業界普遍採用的技術方案。
3、大數據分析和挖掘技術
相比於大數據融合和處理技術，大數據分析與挖掘技術更為復雜，是國際學術界和產業界面臨的極具挑戰性的技術難題。
國內外智慧城市典型案例
美國：迪比克市風景秀麗，密西西比河貫穿城區，它是美國最為宜居的城市之一。以建設智慧城市為目標，迪比克計劃利用物聯網技術，將城市的所有資源（包括水、電、油、氣、交通、公共服務等）數字化並連接起來，監測、分析和整合各種數據，進而智能化地響應市民的需求並降低城市的能耗和成本，使迪比克市更適合居住和商業發展。
西班牙：感測器項目讓智慧城市建設充分立足實踐，據巴塞羅那通信研究所感測器項目的負責人馬里亞諾·拉馬爾卡介紹，智慧城市是巴塞羅那目前最重要的項目之一，而原來的巴塞羅那紡織產業老工業區，現在則是這一項目最重要的試驗地。
歐盟：就提出並開始實施一系列智慧城市建設目標。歐盟對於智慧城市的評價標准包括智慧經濟、智慧環境、智慧治理、智慧機動性、智慧居住以及智慧人等6個方面
韓國：力推政府行政服務智能化 ，韓國正以網路為基礎，打造綠色、數字化、無縫移動連接的生態、智慧型城市。
中國北京：北京的智慧城市建設以「人文北京、科技北京、綠化北京」為戰略指導，結合「國家首都、國際城市、文化名城和宜居城市」的城市定位，在智慧城市的建設中，充分發揮現代科技的優勢，樹立以人為本的管理理念。北京的智慧城市建設是全面而系統的。
智慧城市是城鎮化進程的下一階段，是城市信息化的新高度，是現代城市發展的遠景，無線城市、數字城市、平安城市、感知城市是智慧城市的必要條件；誠信城市、綠色城市、健康城市、人文城市、是智慧城市應有之意；智慧城市產生大數據，大數據反過來支撐智慧城市，智慧城市與大數據相結合一定會有璀璨的明天。
④ 大數據技術在電子政務領域的應用
大數據技術在電子政務領域的應用
隨著科學技術在社會各領域的不斷滲透, 為人們的生活帶來了巨大改變, 其中, 以大數據技術為代表的現代電子信息技術的廣泛使用, 將人們帶入了「大數據時代」。本文以大數據技術在電子政務領域的應用為研究內容, 在分析大數據技術特徵的基礎上, 這一技術在電子政務領域的實際應用加以介紹, 從而使人們更加深入的了解大數據技術。
近年來, 我國在計算機網路技術研究領域取得了顯著成績, 大數據技術、雲計算技術、物聯網技術等在社會各領域得到了較為廣泛的應用。在此過程中, 為提高政府部門辦事效率, 以大數據技術為核心的電子政務系統應運而生, 並且, 融入了大數據技術的電子政務系統在數據的獲取、處理、分析等方面的效率顯著提高, 為政府相關工作的高效開展奠定了基礎。
1、大數據技術的特徵概述
相比較傳統數據處理技術來說, 大數據技術的主要特徵包括以下四個方面:
(1) 大數據技術涉及到的數據量極為龐大, 在計算機網路快速發展的今天, 網路上的數字信息呈現出幾何指數增長的趨勢, 經過一定時期的積累, 這一數據量將達到驚人的數量, 為此, 只有大數據技術才能夠對此類規模的數據進行有效的處理。
(2) 大數據技術所涉及數據類型眾多, 除常見的文本、聲音、圖像、音頻等數據外, 還包括一些特殊的文件形式, 並且, 不同類型的文件形式其作用自然也就存在著明顯的差異。
(3) 大數據技術有著較快的數據處理數度, 憑借分布式計算機技術的使用, 能夠在最短的時間內完成一定規模數據的處理任務, 並且, 最終得到的結果是有效的。
(4) 大數據技術所處理的數據雖然數據密度較低, 但是, 當密度較低的數據被收攏在一起後, 通過科學的數據處理分析方法, 從零星的數據中尋找有用的信息, 並對該信息的價值進行深入挖掘。
2 、大數據技術的關鍵
所謂大數據, 是指在短時間通過網路嗅探的方式, 快速搜集各種類型的網路數據, 並在相關數據中獲取有價值的信息。大數據技術的實現需要通過大規模並行處理資料庫技術、數據挖掘技術、分布式資料庫技術、雲計算基礎構架平台等技術, 為更好的研究大數據技術, 應對其關鍵技術進行深入分析。
2.1 大規模並行處理資料庫技術
為保證大數據技術中龐大數據的存儲與處理, 則需要利用大規模並行處理資料庫技術對相關數據進行集群管理。這一技術能夠以最快的速度對數據處理命令進行相應, 並具有較低的延遲讀寫速度, 並且, 在雲計算平台的配合下, 大規模並行處理資料庫的成本也相對較低, 在正常工作過程中, 能夠實現多個副本故障檢測與轉移機制, 在長時間工作的狀態下, 出現故障的幾率較低。
2.2 分布式資料庫技術
所謂分布式資料庫技術, 則區別於雲存儲資料庫的形式, 他是利用互聯網的空間特性, 將物理空間相對獨立的存儲單元進行連接, 通過一定的演算法進行邏輯上的統一, 形成具有超大規模的資料庫, 並具有較高的數據處理能力和數據存儲能力。
從信息安全的角度分析, 這種分布式的資料庫技術能夠實現對數據資源的有效保護, 即便出現大規模的計算機病毒事件, 基於分布式數據的存儲優勢, 相關病毒對部分計算機的影響, 並不能對全部計算機中的數據造成毀滅性的破壞。
2.3 分布式存儲技術
在大數據技術的實際應用中, 為滿足用戶一定規模數據存儲的需求, 則充分利用了分布式存儲技術所具有的縱向、橫向擴展的優勢, 將數據進行分割後存儲與多台伺服器、存儲設備上, 從而有效降低了單一存儲器的數據存儲壓力, 並且, 這種分布式存儲技術, 還實現了系統可用性、可靠性的提高, 以及保證數據存取的高速進行。
2.4 雲計算技術
對於大數據技術來說, 為了實現對一定規模數據的收集、分析和處理的能力, 則充分利用了雲計算技術所搭建的平台, 從而為大數據技術的應用奠定了堅實的硬體基礎。基於傳統存儲技術在速度、空間上的有限性, 無法為大數據技術提供足夠的支持, 雲計算技術則將傳統計算機的存儲、運算功能轉移至雲端, 以一種更加高效的方式, 為大數據技術在眾多領域的拓展提供可靠的技術平台。
3、大數據技術在電子政務領域的應用
基於大數據技術的諸多優勢, 在電子商務領域, 大數據技術主要用於網站數據進行分析, 社會誠信系統的構建, 信息共享平台與電子政務系統等。
3.1 大數據技術支持下的政府網站大數據分析
為准確掌握網站的瀏覽情況, 大多數網站都會對用戶的日常瀏覽情況進行數據分析, 相關分析要素包括用戶訪問的路徑、不同網頁的停留時間、瀏覽網頁的具體時間等, 通過對以上要素的研究, 能夠對用戶需求、習慣進行准確分析, 並能夠對後期網站缺陷的具體調整提供指導性意見。
以某政府網站為例, 由於網頁設計不合理, 以至於在用戶打開某一頁面時, 長期處於等待狀態, 如此一來, 用戶對這一網頁的實際瀏覽次數將為0。針對這一情況, 網站管理人員通過對某一周期內的網站瀏覽情況進行分析, 由於一定周期內瀏覽網站用戶的數量較大, 且相關要素成倍增加, 所以, 在處理以上信息的過程中就用到了大數據技術。對於網頁訪問次數出入較大的數據, 則需要進行深入分析, 在排除網頁的可鏈接性之後, 檢查網頁內的相關信息, 卻保網頁內信息的可靠、安全。
通過用戶瀏覽網站後留下的大量信息, 網站一方可以將用戶信息存入資料庫中, 並利用大數據技術對相關信息進行分類, 以實現網站信息向用戶的精準推送。並且, 經過大數據處理後的數據信息, 逐漸成為政府行政決策的重要依據, 並能夠在一定程度上保證行政決策的有效性和科學性。
3.2 大數據技術支持下的信用平台建設
為更好的掌握居民信用信息, 建立以個人為單位的信用資料庫, 則需要以大數據技術為依託, 收集相關部門所掌握的居民信用資料, 並通過大數據技術進行對比、整合, 進而得出准確的個人信用情況。例如, 在購房貸款過程中, 商業銀行往往需要用戶提供《個人徵信檔案》, 在《個人徵信檔案》中, 不僅包括用戶的基本身份信息, 還包括用戶在所有金融機構辦理的各種信用卡情況, 以及是否存在不良信用記錄等, 這些信息的存在, 就意味著政府機構與金融機構之間實現了以大數據技術為核心的信息共享, 通過對比用戶身份信息, 將屬於同一用戶的信用信息進行整合, 並重新存儲與資料庫之中。
政府行為的信用平台建設, 旨在掌握用戶的個人誠信資料, 並為基於個人行為的政府服務工作提供數據支撐, 打擊社會范圍內長期存在的老賴等現象。大數據技術支持下的信用平台建設, 能夠實現社會范圍內道德誠信體系的不斷加強, 促進社會道德水平的提升。
3.3 大數據交換共享平台與電子政務
隨著政府部門事務性工作的不斷增加, 僅依靠人工對相關數據進行收集、分類、整合、處理等工作不僅效率低, 速度慢, 且容易出現人為性差錯, 數據結果的人為性因素較大。在此情況下, 依託大數據技術在多元數據收集、處理方面的優勢, 以及計算機網路技術下的信息共享平台建設, 能夠幫助政府通過網路獲取社會各領域的相關數據, 並對數據資源進行有效整合, 形成龐大的資料庫資源。
然而, 對於資料庫來說, 只有得到利用才能體現其價值, 在情況下, 政府部門就充分利用了大數據交換共享平台的優勢, 建立以政府事物為中心的社會基礎資料庫, 為政府相關工作的開展提供橫向、縱向信息的全方位共享。在區域間政府工作交流方面, 大數據共享交換平台能夠突破傳統政務工作的空間限制, 進而促進跨地區政府部門信息資源整合與交流下的業務開展。
為更好的發揮電子政務的優勢, 在大數據交換共享平台的建設方面, 需要對這一平台的信息資源目錄體系進行完善, 制定政府間統一的大數據交換共享平台使用標准, 規范政府在使用大數據交換共享平台的各種行為, 以實現對數據資源的合理、高效利用。所以, 大數據交換共享平台的使用, 不僅便於政府工作的開展, 也促進了社會管理工作有條不紊的展開, 社會環境的穩定得以實現。
3.4 電子政務決策系統中的大數據技術
在實際使用過程中, 大數據技術並不僅僅是簡單的對多元數據的收集、整合、分析、處理, 對於大數據技術的使用方來說, 龐大的數據價值還在於能夠輔助政府決策。
利用計算機軟體技術, 通過對龐大數據中有關數據的篩選、分析, 經過計算機軟體的處理之後, 能夠得到更加准確的計算結果, 政府部門依據這一結果, 就可以完成一系列的政府決策, 從而實現了政府辦事效率的快速提高。
例如, 在市政建設方面, 對於城市內部交通擁堵問題, 可以藉助交通系統長期提供的大數據信息, 了解城市內交通擁堵的主要路段、時間, 以及在龐大數據信息的支持下, 通過建模的方式, 採取多種治堵方式, 並利用大數據技術對每一種方式的實際效果進行綜合評估, 最終選擇效果最好的治堵方式。
對於政府決策的客觀性、准確性等, 使用大數據技術輔助決策有著極大的優勢, 但是, 基於大數據技術缺乏人類情感因素的介入, 以至於相關決策並不能夠完全突出「以人為本」的政府工作理念, 所以, 政府部門應慎重對待大數據技術下的電子政務決策, 根據相關內容的實際情況, 做出最佳的決策選擇。
4、大數據技術在電子政務中應用的不足之處分析
通過對地方政府電子政務系統的實際使用情況調查研究後發現, 即便在我國電子信息技術得到快速發展的情況下, 大多數地區政府在電子政務系統建設方面依然存在不足, 即便是已經施行電子政務管理的地區, 政府部門對於大數據技術的實際應用卻有著較為明顯的不足, 以至於大數據技術的優勢無法得到有效發揮。
4.1「數據孤島」現象的存在
大數據技術的核心在於對數據信息的共享, 然而, 有地方政府對大數據技術的認識不足, 以至於在數據共享方面存在政策性的理解偏差, 使得以政府為核心的相關數據無法被其它行業所利用, 大數據技術的優勢也就失去。例如, A省與B省協商開通省際公交專線, 然而, 為了更好的安排公交車的運行時間表, 則需要A、B兩省之間的人員往來數據進行分析, 並能夠預估公交線路的實際載客風險, 從而適當的調整公交車的運營次數和時間, 但是, 在實際操作過程中, A、B兩省間的客流數據無法實現共享, 以至於在公交車的實際安排下依然無法解決道路擁堵的實際問題。
地方政府所體現出來的在大數據技術應用方面的這一問題, 是傳統政務管理工作中各自為政思想的延續, 一旦數據無法實現共享, 也就造成了所謂的「數據孤島。大數據共享的問題在於兩個方面, 首先, 政府部門之間有著嚴格的管理秩序, 優勢存在上下級關系的政府部門, 下級向上級申請差異資料庫中的內容, 多無法得到上機政府部門的許可, 以至於大數據技術在電子政務領域的使用存在著明顯的「數據孤島」現象。
導致「數據孤島」現象的原因還包括大數據技術的本身, 由於我國大數據技術的應用並未得到普及, 在電子政務領域也只是部分地區完成了大數據技術的初步使用。數據作為政府管理的稀缺資源, 以及從保密的角度分析, 相關數據並不能進行過度披露, 否則, 將造成社會性的事件。所以, 這也就不難解釋除政府部門間數據信息的相對獨立以外, 廣大市民同樣無法通過大數據技術支持下的電子政務平台獲得真實的數據信息。在這一「數據孤島」現象的影響下, 地方電子政務平台的實際效果也就有著明顯的降低。
4.2 電子政務領域常見的數據資源「過剩」與「閑置」問題
單從地區政府發展的角度來看, 地區政府在大數據技術方面投入的多少, 能夠直接反映出該地區經濟發展的實際情況, 兩者之間存在著顯著的正相關關系。然而, 當地區政府在大數據技術方面的投入與實際數據需求偏低時, 也就出現了所謂的數據資源「過剩」的問題。不僅如此, 在大數據技術投入不足的情況下, 政府部門無法對社會中存在的大量數據加以利用時, 也就形成了另一種形式的數據資源「閑置」。
(1) 以南京地區為例, 作為我國南方較為重要的經濟主體, 南京市政府在大數據技術與電子政務方面投入了大量人力、物力和財力, 經過近幾年的發展, 已經形成了較為完備的電子政務平台, 在實際使用中也到了廣大市民的歡迎。然而, 相對於南京的區域地位來說, 受上海的影響, 作為上海市的經濟輻射范圍, 南京市的發展受到了一定的影響, 經濟中心明顯向上海地區便宜, 為此, 基於大數據技術的電子政務平台所整合的數據, 也就無法在更大的空間中發揮其作用, 這就是數據資源「過剩」。
(2) 在我國西北、西南部分地區, 由於經濟發展較為落後, 以至於在全國范圍內進行大數據技術支持下的電子政務系統建設過程中, 無法進行大范圍的電子政務系統建設。以貴州省為例, 大數據技術下電子政務系統依然停留在商業層面的應用, 對於其它領域的電子政務系統建設並未涉及, 因此造成了貴州省內相關數據信息無法全面獲取, 這也就是資源「閑置」的直接表現。
5、關於大數據技術在電子政務領域應用的建議
針對當前大數據技術發展的實際情況, 以及電子政務作為信息化時代下政府事務性工作改革的重要內容, 有著較為積極的意義。因此, 為推動大數據技術在電子政務領域的中的應用, 則需要做到以下三個方面。
(1) 地方政府應結合大數據技術與電子政務的結合, 推動地區大數據技術產業的發展, 通過各種優惠政策, 吸引高新技術企業入駐, 建立以大數據技術為核心的產業發展模式, 從而帶動地區經濟發展。
(2) 提高政府方面對大數據技術的認識, 在社會發展過程中, 大數據技術的優勢越發明顯, 尤其是在傳統事務性工作的處理方面, 藉助專業的數據分析軟體, 能夠完成從數據的收集、整理、分類, 直至得出數據分析結果, 實現了政府辦事效率的顯著提高。如此一來, 大數據技術的優勢得以體現, 政府方面對於大數據的認識進一步提高, 進而促進了大數據技術在電子政務領域的普及。
(3) 加快大數據技術相關硬體、軟體的研發。目前, 大數據技術涉及到的硬體、軟體成本較高, 導致了部分經濟欠發達地區無法實現大數據技術支持下的電子政務系統的全面推廣。以大數據技術使用較為廣泛的數據中心機房來說, 由於要使用到高速計算機和伺服器到等昂貴的信息設備, 對於缺乏條件的地方政府來說, 可以利用雲計算技術, 通過網路伺服器的模式, 解決這一問題。
總的來說, 大數據技術在電子政務領域的應用實現了我國政務處理的信息化改革, 對於我國現代化社會管理制度體系的建立打下了堅實的基礎。並且, 通過大數據思維在政務領域的滲透, 有助於大數據技術的應用效率提高。
6、總結
盡管, 我國電子政務系統的建設時間並不長, 相關領域依然有待完善。隨著大數據技術在電子政務領域的不斷滲透, 基於多元數據收集、整合、分類、處理的大數據信息交換共享平台建設, 為政府各項事務的有效開展奠定了堅實的基礎。然而, 由於技術與認識上的不足, 電子政務系統中的大數據技術應用仍然集中於縱向政務業務領域, 這並不符合當前社會發展的趨勢。因此, 為推廣以大數據技術的應用個, 則需要加快大數據技術支持下的電子政務系統的設計, 推動電子政務系統中大數據技術的應用, 打造「數字化政府」。
⑤ 目前利用大數據無法分析有效支持的是什麼
大數據分析能解決業務中的一些問題，但不是全部，例如，有些數據只能反映相關關系，但是無法說明因果關系，最經典的例子，尿布和啤酒的故事，買啤酒可能很有可能買尿布，但是並不是說買啤酒一定會會買尿布，這個是不一樣的，但是總是有人想找因果關系，搞什麼才能使銷售額猛增，等等，這些都是一些誤區
⑥ 工業大數據可視化的難點有哪些
數據抄可視化技術第一代應該是報表軟體，通過報表系統能夠把復雜的數據整理成規則的表格，並配以漂亮的圖形，比如柱圖、餅圖、折線圖等等。
第二代當屬BI（Business Intelligence）了，BI比起簡單的報表又更進了非同步，它已經不單單是一個工具軟體，而是一套完整的解決方案，可以將企業中現有的數據進行有效的整合，快速准確的提供報表並提出決策依據，幫助企業做出明智的業務經營決策。
⑦ 大數據面行業發展面臨哪些現實困境
1、大部分數據都是孤立的，與其他類型的數據隔離開來，無法進行宏觀全面的分析。例如，財務數據很難與消費者數據輕松匯總，以獲得關於特定客戶行為對公司財務績效影響的更深刻的見解。
2、很難足夠快地處理大數據以使洞察有用。大多數類型的數據的價值都是短暫的，消費者今天所做的將在明天和後天發生改變。為了獲得最大利益，企業需要能夠快速提供行動指導的洞察，但大多數傳統的資料庫系統無法以必要的速度處理數據。
3、收集的大部分數據都被浪費掉了。負責在海量數據中尋找業務問題「答案」的業務分析師必須過濾掉不相關的數據，並找出可能存在答案的特定數據集。結果，估計有60%至73%的數據未提供價值。如今，另一個主要的數據來源正在推動潮流——物聯網數據。物聯網在許多方面加劇了數據問題，但它也提供了解決方案。
⑧ 以下哪個選項是目前利用大數據分析技術無法進行有效支持的
大數據分析是指對規模巨大的數據進行分析。大數據可以概括為5個V， 數據量大(Volume)、速度快(Velocity)、類型多(Variety)、Value（價值）、真實性(Veracity)。大數據是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的數據集合。大數據技術，是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。大數據有四個基本特徵：一、數據體量巨大（Vomule），二、數據類型多樣（Variety），三、處理速度快（Velocity），四、價值密度低（Value）。在大數據的領域現在已經出現了非常多的新技術，這些新技術將會是大數據收集、存儲、處理和呈現最強有力的工具。大數據處理一般有以下幾種關鍵性技術：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用（大數據檢索、大數據可視化、大數據應用、大數據安全等）。大數據處理之一：採集。大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間進行負載均衡和分片的確是需要深入的思考和設計。大數據處理之二：導入和預處理。雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。大數據處理之三：統計和分析。統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。大數據處理之四：挖掘。與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。大數據的處理方式大致分為數據流處理方式和批量數據處理方式兩種。數據流處理的方式適合用於對實時性要求比較高的場合中。並不需要等待所有的數據都有了之後再進行處理，而是有一點數據就處理一點，更多地要求機器的處理器有較快速的性能以及擁有比較大的主存儲器容量，對輔助存儲器的要求反而不高。批量數據處理方式是對整個要處理的數據進行切割劃分成小的數據塊，之後對其進行處理。重點在於把大化小——把劃分的小塊數據形成小任務，分別單獨進行處理，並且形成小任務的過程中不是進行數據傳輸之後計算，而是將計算方法（通常是計算函數——映射並簡化）作用到這些數據塊最終得到結果。當前，對大數據的處理分析正成為新一代信息技術融合應用的節點。移動互聯網、物聯網、社交網路、數字家庭、電子商務等是新一代信息技術的應用形態，這些應用不斷產生大數據。通過對不同來源數據的管理、處理、分析與優化，將結果反饋到上述應用中，將創造出巨大的經濟和社會價值。大數據也是信息產業持續高速增長的新引擎。面對大數據市場的新技術、新產品、新業態會不斷涌現。在硬體與集成設備領域，大數據將對晶元、存儲產業產生重要影響，還將催生一體化數據存儲處理伺服器、內存計算等市場。在軟體與服務領域，大數據將引發數據快速處理分析、數據挖掘技術和軟體產品的發展。大數據利用將成為提高核心競爭力的關鍵因素。各行各業的決策正在從「業務驅動」轉變為「數據驅動」。對大數據的分析可以使零售商實時掌握市場動態並迅速做出應對；可以為商家制定更加精準有效的營銷策略提供決策支持；可以幫助企業為消費者提供更加及時和個性化的服務；在醫療領域，可提高診斷准確性和葯物有效性；在公共事業領域，大數據也開始發揮促進經濟發展、維護社會穩定等方面的重要作用。大數據時代科學研究的方法手段將發生重大改變。例如，抽樣調查是社會科學的基本研究方法。在大數據時代，可通過實時監測，跟蹤研究對象在互聯網上產生的海量行為數據，進行挖掘分析，揭示出規律性的東西，提出研究結論和對策。目前大數據在醫療衛生領域有廣為所知的應用，公共衛生部門可以通過覆蓋全國的患者電子病歷資料庫進行全面疫情監測。5千萬條美國人最頻繁檢索的詞條被用來對冬季流感進行更及時准確的預測。學術界整合出2003年H5N1禽流感感染風險地圖，研究發行此次H7N9人類病例區域。社交網路為許多慢性病患者提供了臨床症狀交流和診治經驗分享平台，醫生藉此可獲得院外臨床效果統計數據。基於對人體基因的大數據分析，可以實現對症下葯的個性化治療。在醫葯研發方面，大數據的戰略意義在於對各方面醫療衛生數據進行專業化處理，對患者甚至大眾的行為和情緒的細節化測量成為可能，挖掘其症狀特點、行為習慣和喜好等，找到更符合其特點或症狀的葯品和服務，並針對性的調整和優化。在醫葯研究開發部門或公司的新葯研發階段，能夠通過大數據技術分析來自互聯網上的公眾疾病葯品需求趨勢，確定更為有效率的投入產品比，合理配置有限研發資源。除研發成本外，醫葯公司能夠優化物流信息平台及管理，更快地獲取回報，一般新葯從研發到推向市場的時間大約為13年，使用數據分析預測則能幫助醫葯研發部門或企業提早將新葯推向市場。在疾病診治方面，可通過健康雲平台對每個居民進行智能採集健康數據，居民可以隨時查閱，了解自身健康程度。同時，提供專業的在線專家咨詢系統，由專家對居民健康程度做出診斷，提醒可能發生的健康問題，避免高危病人轉為慢性病患者，避免慢性病患者病情惡化，減輕個人和醫保負擔，實現疾病科學管理。對於醫療衛生機構，通過對遠程監控系統產生數據的分析，醫院可以減少病人住院時間，減少急診量，實現提高家庭護理比例和門診醫生預約量的目標。武漢協和醫院目前也已經與市區八家社區衛生服務中心建立遠程遙控聯系，並將在未來提供「從醫院到家」的服務。在醫療衛生機構，通過實時處理管理系統產生的數據，連同歷史數據，利用大數據技術分析就診資源的使用情況，實現機構科學管理，提高醫療衛生服務水平和效率，引導醫療衛生資源科學規劃和配置。大數據還能提升醫療價值，形成個性化醫療，比如基於基因科學的醫療模式。在公共衛生管理方面，大數據可以連續整合和分析公共衛生數據，提高疾病預報和預警能力，防止疫情爆發。公共衛生部門則可以通過覆蓋區域的衛生綜合管理信息平台和居民信息資料庫，快速監測傳染病，進行全面疫情監測，並通過集成疾病監測和響應程序，進行快速響應，這些都將減少醫療索賠支出、降低傳染病感染率。通過提供准確和及時的公眾健康咨詢，將會大幅提高公眾健康風險意識，同時也將降低傳染病感染風險。在居民健康管理方面，居民電子健康檔案是大數據在居民健康管理方面的重要數據基礎，大數據技術可以促進個體化健康事務管理服務，改變現代營養學和信息化管理技術的模式，更全面深入地從社會、心理、環境、營養、運動的角度來對每個人進行全面的健康保障服務，幫助、指導人們成功有效地維護自身健康。另外，大數據可以對患者健康信息集成整合，在線遠程為診斷和治療提供更好的數據證據，通過挖掘數據對居民健康進行智能化監測，通過移動設備定位數據對居民健康影響因素進行分析等等，進一步提升居民健康管理水平。在健康危險因素分析方面，互聯網、物聯網、醫療衛生信息系統及相關信息系統等普遍使用，可以系統全面地收集健康危險因素數據，包括環境因素（利用GIS系統採集大氣、土壤、水文等數據），生物因素（包括致病性微生物、細菌、病毒、真菌等的監測數據），經濟社會因素（分析經濟收入、營養條件、人口遷徙、城鎮化、教育就業等因素數據），個人行為和心理因素，醫療衛生服務因素，以及人類生物遺傳因素等，利用大數據技術對健康危險因素進行比對關聯分析，針對不同區域、人群進行評估和遴選健康相關危險因素及製作健康監測評估圖譜和知識庫也成為可能，提出居民健康干預的有限領域和有針對性的干預計劃，促進居民健康水平的提高。大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計 學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如 果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。數據採集： ETL工具負責將分布的、異構數據源中的數據如關系數據、平面數據文件等抽取到臨時中間層後進行清洗、轉換、集成，最後載入到數據倉庫或數據集市中，成為聯機分析處理、數據挖掘的基礎。數據存取： 關系資料庫、NOSQL、SQL等。基礎架構： 雲存儲、分布式文件存儲等。數據處理： 自然語言處理(NLP，Natural Language Processing)是研究人與計算機交互的語言問題的一門學科。處理自然語言的關鍵是要讓計算機」理解」自然語言，所以自然語言處理又叫做自然語言理解也稱為計算語言學。一方面它是語言信息處理的一個分支，另一方面它是人工智慧的核心課題之一。統計分析： 假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、 方差分析 、 卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、 因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析（最優尺度分析）、bootstrap技術等等。數據挖掘： 分類 （Classification）、估計（Estimation）、預測（Prediction）、相關性分組或關聯規則（Affinity grouping or association rules）、聚類（Clustering）、描述和可視化、Description and Visualization）、復雜數據類型挖掘(Text, Web ,圖形圖像，視頻，音頻等)模型預測 ：預測模型、機器學習、建模模擬。結果呈現： 雲計算、標簽雲、關系圖等。大數據的採集是指利用多個資料庫來接收發自客戶端（Web、App或者感測器形式等）的 數據，並且用戶可以通過這些資料庫來進行簡單的查詢和處理工作。比如，電商會使用傳統的關系型資料庫MySQL和Oracle等來存儲每一筆事務數據，除 此之外，Redis和MongoDB這樣的NoSQL資料庫也常用於數據的採集。在大數據的採集過程中，其主要特點和挑戰是並發數高，因為同時有可能會有成千上萬的用戶 來進行訪問和操作，比如火車票售票網站和淘寶，它們並發的訪問量在峰值時達到上百萬，所以需要在採集端部署大量資料庫才能支撐。並且如何在這些資料庫之間 進行負載均衡和分片的確是需要深入的思考和設計。雖然採集端本身會有很多資料庫，但是如果要對這些海量數據進行有效的分析，還是應該將這 些來自前端的數據導入到一個集中的大型分布式資料庫，或者分布式存儲集群，並且可以在導入基礎上做一些簡單的清洗和預處理工作。也有一些用戶會在導入時使 用來自Twitter的Storm來對數據進行流式計算，來滿足部分業務的實時計算需求。導入與預處理過程的特點和挑戰主要是導入的數據量大，每秒鍾的導入量經常會達到百兆，甚至千兆級別。統計與分析主要利用分布式資料庫，或者分布式計算集群來對存儲於其內的海量數據進行普通 的分析和分類匯總等，以滿足大多數常見的分析需求，在這方面，一些實時性需求會用到EMC的GreenPlum、Oracle的Exadata，以及基於 MySQL的列式存儲Infobright等，而一些批處理，或者基於半結構化數據的需求可以使用Hadoop。統計與分析這部分的主要特點和挑戰是分析涉及的數據量大，其對系統資源，特別是I/O會有極大的佔用。與前面統計和分析過程不同的是，數據挖掘一般沒有什麼預先設定好的主題，主要是在現有數 據上面進行基於各種演算法的計算，從而起到預測（Predict）的效果，從而實現一些高級別數據分析的需求。比較典型演算法有用於聚類的Kmeans、用於 統計學習的SVM和用於分類的NaiveBayes，主要使用的工具有Hadoop的Mahout等。該過程的特點和挑戰主要是用於挖掘的演算法很復雜，並 且計算涉及的數據量和計算量都很大，常用數據挖掘演算法都以單線程為主。整個大數據處理的普遍流程至少應該滿足這四個方面的步驟，才能算得上是一個比較完整的大數據處理。
⑨ 大數據時代,面臨的七個挑戰和八大趨勢
大數據時代,面臨的七個挑戰和八大趨勢
大數據挑戰和機遇並存，大數據在未來幾年的發展將從前幾年的預期膨脹階段、炒作階段轉入理性發展階段、落地應用階段，大數據在未來幾年將逐漸步入理性發展期。未來的大數據發展依然存在諸多挑戰，但前景依然非常樂觀。
大數據發展的挑戰
目前大數據的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大數據需求導致數據資產逐漸流失;企業內部數據孤島嚴重，導致數據價值不能充分挖掘;數據可用性低，數據質量差，導致數據無法利用;數據相關管理技術和架構落後，導致不具備大數據處理能力;數據安全能力和防範意識差，導致數據泄露;大數據人才缺乏導致大數據工作難以開展;大數據越開放越有價值，但缺乏大數據相關的政策法規，導致數據開放和隱私之間難以平衡，也難以更好的開放。
挑戰一：業務部門沒有清晰的大數據需求
很多企業業務部門不了解大數據，也不了解大數據的應用場景和價值，因此難以提出大數據的准確需求。由於業務部門需求不清晰，大數據部門又是非盈利部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大數據部門時猶豫不決，或者很多企業都處於觀望嘗試的態度，從根本上影響了企業在大數據方向的發展，也阻礙了企業積累和挖掘自身的數據資產，甚至由於數據沒有應用場景，刪除很多有價值歷史數據，導致企業數據資產流失。因此，這方面需要大數據從業者和專家一起，推動和分享大數據應用場景，讓更多的業務人員了解大數據的價值。
挑戰二：企業內部數據孤島嚴重
企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業，數據常常散落在不同部門，而且這些數據存在不同的數據倉庫中，不同部門的數據技術也有可能不一樣，這導致企業內部自己的數據都沒法打通。如果不打通這些數據，大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通，並且實現技術和工具共享，才能更好的發揮企業大數據的價值。
挑戰三：數據可用性低，數據質量差
很多中型以及大型企業，每時每刻也都在產生大量的數據，但很多企業在大數據的預處理階段很不重視，導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因，導致企業的數據的可用性差，數據質量差，數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息，還有對收集到的數據進行很好的預處理處理，才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明，高質量的數據的數據應用可以顯著提升企業的商業表現，數據可用性提高10%，企業的業績至少提升在10%以上。
挑戰四：數據相關管理技術和架構
技術架構的挑戰包含以下幾方面：(1)傳統的資料庫部署不能處理TB級別的數據，快速增長的數據量超越了傳統資料庫的管理能力。如何構建分布式的數據倉庫，並可以方便擴展大量的伺服器成為很多傳統企業的挑戰;(2)很多企業採用傳統的資料庫技術，在設計的開始就沒有考慮數據類別的多樣性，尤其是對結構化數據、半結構化和非結構化數據的兼容;(3)傳統企業的資料庫，對數據處理時間要求不高，這些數據的統計結果往往滯後一天或兩天才能統計出來。但大數據需要實時處理數據，進行分鍾級甚至是秒級計算。傳統的資料庫架構師缺乏實時數據處理的能力;(4)海量的數據需要很好的網路架構，需要強大的數據中心來支撐，數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高並發的同時，減少伺服器的低負載情況，成為海量數據中心運維的一個重點工作。
挑戰五：數據安全
網路化生活使得犯罪分子更容易獲得關於人的信息，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們，要加強大數據網路安全的建設。另外，大數據的不斷增加，對數據存儲的物理安全性要求會越來越高，從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。
挑戰六：大數據人才缺乏
大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才，能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數據將會出現約100萬的人才缺口，在各個行業大數據中高端人才都會成為最炙手可熱的人才，涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據後台開發工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據，所以擁有大數據的企業應該與學校聯合培養人才。
挑戰七：數據開放與隱私的權衡
在大數據應用日益重要的今天，數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用，不僅能促進相關產業的發展，也能給我們的生活帶來巨大的便利。由於政府、企業和行業信息化系統建設往往缺少統一規劃，系統之間缺乏統一的標准，形成了眾多「信息孤島」，而且受行政壟斷和商業利益所限，數據開放程度較低，這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。
大數據發展趨勢
雖然大數據仍在起步階段，存在諸多挑戰，但未來的發展依然非常樂觀。大數據的發展呈現八大趨勢：數據資源化，將成為最有價值的資產;大數據在更多的傳統行業的企業管理落地;大數據和傳統商業智能融合，行業定製化解決方案將涌現;數據將越來越開放，數據共享聯盟將出現;大數據安全越來越受重視，大數據安全市場將愈發重要;大數據促進智慧城市發展，為智慧城市的引擎;大數據將催生一批新的工作崗位和相應的專業;大數據在多方位改善我們的生活。
趨勢一：數據資源化，將成為最有價值的資產
隨著大數據應用的發展，大數據價值得以充分的體現，大數據在企業和社會層面成為重要的戰略資源，數據成為新的戰略制高點，是大家搶奪的新焦點。《華爾街日報》在一份題為《大數據，大影響》的報告宣傳，數據已經成為一種新的資產類別，就像貨幣或黃金一樣。Google、Facebook、亞馬遜、騰訊、網路、阿里巴巴和360等企業正在運用大數據力量獲得商業上更大的成功，並且金融和電信企業也在運用大數據來提升自己的競爭力。我們有理由相信大數據將不斷成為機構和企業的資產，成為提升機構和企業競爭力的有力武器。
趨勢二：大數據在更多的傳統行業的企業管理落地
一種新的技術往往在少數行業應用取得了好的效果，對其他行業就有強烈的示範效應。目前大數據在大型互聯網企業已經得到較好的應用，其他行業的大數據尤其是電信和金融也逐漸在多種應用場景取得效果。因此，我們有理由相信，大數據作為一種從數據中創造新價值的工具，將會在許多行業的企業得到應用，帶來廣泛的社會價值。大數據將在幫助企業更好的理解和滿足客戶需求和潛在需求，更好的應用在業務運營智能監控、精細化企業運營、客戶生命周期管理、精細化營銷、經營分析和戰略分析等方面。企業管理既有藝術也有科學，相信大數據在科學管理企業方面有更顯著的促進，讓更多擁抱大數據的企業實現智慧企業管理。
趨勢三：大數據和傳統商業智能融合，行業定製化解決方案將涌現
來自傳統商業智能領域者將大數據當成一個新增的數據源，而大數據從業者則認為傳統商業智能只是其領域中處理少量數據時的一種方法。大數據用戶更希望能獲得一種整體的解決方案，即不僅要能收集、處理和分析企業內部的業務數據，還希望能引入互聯網上的網路瀏覽、微博、微信等非結構化數據。除此之外，還希望能結合移動設備的位置信息，這樣企業就可以形成一個全面、完整的數據價值發展平台。畢竟，無論是大數據還是商業智能，目的都是為分析服務的，數據全面整合起來，更有利於發現新的商業機會，這就是大數據商業智能。同時，由於行業的差異性，很難研發出一套適用於各行業的大數據商業智能分析系統，因此，在一些規模較大的行業市場，大數據服務提供商將會以更加定製化的商業智能解決方案提供大數據服務。我們相信更多的大數據商業智能定製化解決方案將在電信、金融、零售等行業出現。
趨勢四：數據將越來越開放，數據共享聯盟將出現
大數據越關聯越有價值，越開放越有價值。尤其是公共事業和互聯網企業的數據開放數據將越來越多。我們看到，美國、英國、澳大利亞等國家的政府都在政府和公共事業上的數據做出努力。而國內的一些城市和部門也在逐漸開展數據開放的工作。比如北京市在2012年就開始試運行政務數據資源網，在2013年年底正式開放;上海在2012年啟動了政府數據資源開放試點工作，數據涉及地理位置、交通、經濟統計和資格資質等數據;2014年，貴州省也加入數據開放之列，10月份雲上貴州正式上線。對於不同的行業，數據越共享也是越有價值。如果每一個醫院想獲得更多病情特徵庫以及葯效信息，那麼就需要全國，甚至全世界的醫療信息共享，從而可以通過平台進行分析，獲取更大的價值。我們相信數據會呈現一種共享的趨勢，不同領域的數據聯盟將出現。
趨勢五：大數據安全越來越受重視，大數據安全市場將愈發重要
隨著數據的價值的越來越重要，大數據的安全穩定也將會逐漸被重視。網路和數字化生活也使得犯罪的分子更容易獲取關於他人的信息，也有更多的騙術和犯罪手段出現，所以，在大數據時代，無論對於數據本身的保護，還是對於由數據而演變的一些信息的安全，對大數據分析有較高要求的企業將至關重要。大數據安全是跟大數據業務相對應的，與傳統安全相比，大數據安全的最大區別是安全廠商在思考安全問題的時候首先要進行業務分析，並且找出針對大數據的業務的威脅，然後提出有針對性的解決方案。比如，對於數據存儲這個場景，目前很多企業採用開源軟體如Hadoop技術來解決大數據問題，由於其開源性，但是其安全問題也是突出的。因此，市場需要更多專業的安全廠商針對不同的大數據安全問題來提供專業的服務。
趨勢六：大數據促進智慧城市發展，為智慧城市的引擎
隨著大數據的發展，大數據在智慧城市將發揮著越來越重要的作用。由於人口聚集給城市帶來了交通、醫療、建築等各方面的壓力，需要城市能夠更合理地進行資源布局和調配，而智慧城市正是城市治理轉型的最優解決方案。智慧城市是通過物與物、物與人、人與人的互聯互通能力、全面感知能力和信息利用能力，通過物聯網、移動互聯網、雲計算等新一代信息技術，實現城市高效的政府管理、便捷的民生服務、可持續的產業發展。智慧城市相對於之前數字城市概念，最大的區別在於對感知層獲取的信息進行了智慧的處理。由城市數字化到城市智慧化，關鍵是要實現對數字信息的智慧處理，其核心是引入了大數據處理技術。大數據是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧醫療、智慧城管等，都是以大數據為基礎的的智慧城市應用領域。
趨勢七：大數據將催生一批新的工作崗位和相應的專業
一個新行業的出現，必將在工作職位方面有新的需求，大數據的出現也將推出一批新的就業崗位，例如，大數據分析師、數據管理專家、大數據演算法工程師、數據產品經理等等。具有有豐富經驗的數據分析人才將成為稀缺的資源，數據驅動型工作將呈現爆炸式的增長。而由於有強烈的市場需求，高校也將逐步開設大數據相關的專業，以培養相應的專業人才。企業也將和高校緊密合作，協助高校聯合培養大數據人才。如2014年，IBM 全面推進與高校在大數據領域的合作，引入強大的研發團隊和業務夥伴，推動「大數據平台」和「大數據分析」的面向行業產學研創新合作以及系統化知識體系建設和高價值人才培養，建設符合中國教學特色及人才需求的大數據相關學分課程，為未來建設特色專業方向做准備。
趨勢八：大數據在多方位改善我們的生活
大數據不僅用於企業和政府，也應用於我們的生活。在健康方面：我們可以利用智能手環監測，對我們的睡眠模式來進行追蹤，了解睡眠質量;我們可以利用智能血壓計、智能心率儀遠程的監控身在異地的家裡老人的健康情況，讓遠在他方的外出工作者更加放心;在出行方面：我們可以利用智能導航出行GPS數據了解交通狀況，並根據擁堵情況進行路線實時調優。在居家生活方面：大數據將成為智能家居的核心，智能家電實現了擬人智能，產品通過感測器和控制晶元來捕捉和處理信息，可以根據住宅空間環境和用戶需求自動設置控制，甚至提出優化生活質量的建議，如我們的冰箱可能會在每天一大早建議我們當天的菜譜。
以上是小編為大家分享的關於大數據時代,面臨的七個挑戰和八大趨勢的相關內容，更多信息可以關注環球青藤分享更多干貨
⑩ 如何應對大數據時代的變革機遇挑戰
大數據搭著信息時代的快車來到了我們的面前，數據的價值逐漸為人們所重視，同時也讓數據分析師的身價倍增。而隨著大數據分析工具等大數據應用技術的出現，未來的數據分析師又將遇到怎樣的挑戰和機遇呢?
工具搶了人的飯碗?
很多大數據分析工具的設計起點非常高，定位了數據分析過程中所需要的大部分功能。很多工具的功能涵蓋了從數據前期整合、收集到挖掘、分析乃至末端的數據可視化的整個數據分析過程，功能不可謂不強大。
但如果僅憑這些就認定大數據分析工具能取代數據分析師，未免有些杞人憂天了。恰恰相反，大數據分析工具不是數據分析師的競爭者，而是協助者。工具本來就是為人服務的，數據分析師的專業素養讓其能很好的發揮大數據分析工具的性能，二者相輔相成，是友非敵。
企業的支持
雖然大數據的概念已經普及，但是很多企業還是留存有一些傳統的觀念。很多企業雖然重金聘用了數據分析師甚至是組建了數據分析師團隊，但是卻並沒有建立完善的數據價值體系。對數據分析工作缺乏理解與支持。
相對於數據管理，數據分析工的工作重心還應該放在「挖掘數據價值」上。企業與數據分析師直接缺少職能的溝通，將直接影響企業對數據分析師工作性質的定位;同時，企業應該建立資料庫並部署大數據分析工具，為了能更好地對接用戶，也為企業和數據分析師留有足夠的空間。
從幕後到台前的轉變
以往的業務人員經常要磨破嘴皮才能得到別人的認同，而現在許多企業正在考慮讓數據分析師帶著數據分析結果去談業務。打算以「讓數據說話，以數據服人」去贏得客戶的信任。而主要的實施過程，是靠數據可視化技術來實現的。
數據可視化技術讓數據能以圖表和視頻的方式直觀地展示在人們面前，而數據分析師作為數據的管理者和挖掘者，是最適合不過的講解人了。這樣就要求數據分析師不僅要有扎實的數據分析能力，還要能提取數據精髓，並將之演講出來以獲得他人的認同。從幕後轉到台前，這裡面會需要許多技能，數據分析師的工作性質也將發生改變。
在大數據時代，數據分析師所扮演的角色不可能是一成不變的。而只有順應時代的潮流，響應時代的需要，數據分析師這個行業才能繼續生存並發展。其實，大數據分析工具，數據可視化這些技術的出現固然使行業受到了影響與挑戰，但對於數據分析師來說，未嘗不是一次擺脫傳統束縛的機遇!