檔案大數據一座待挖掘

A. 大數據價值挖掘的三要素

大數據價值挖掘的三要素
如何充分利用大數據，挖掘大數據的商業價值，從而提升企業的競爭力，已經成為企業關注的一個焦點。
全面解決方案才能奏效
當前，越來越多企業將大數據的分析結果作為其判斷未來發展的依據。同時，傳統的商業預測邏輯正日益被新的大數據預測所取代。但是，我們要謹慎管理大家對大數據的期望值，因為海量數據只有在得到有效治理的前提下才能進一步發展其業務價值。
最廣為人知的大數據定義是Gartner給出的大數據的3V特性：巨大的數據量（Volume）、數據的快速處理（Velocity）、多變的數據結構和類型（Variety）。根據這一定義，大家首先想到的是IT系統中一直難以處理卻又不容忽視的非結構化數據。也就是說，大數據不僅要處理好交易型數據的分析，還把社交媒體、電子商務、決策支持等信息都融入進來。現在，分布式處理技術Hadoop和NoSQL已經能對非結構化數據進行存儲、處理、分析和挖掘，但未能為滿足客戶的大數據需求提供一個全面的解決方案。
事實上，普遍意義上的大數據范圍更加廣泛，任何涉及海量數據及多數據源的復雜計算，均屬大數據范疇，而不僅局限於非結構化數據。因此，諸如電信運營商所擁有的巨量用戶的各類詳細數據、手機開關機信息、手機在網注冊信息、手機通話計費信息、手機上網詳細日誌信息、用戶漫遊信息、用戶訂閱服務信息和用戶基礎服務信息等，均可劃歸為大數據。
與幾年前興起的雲計算相比，大數據實現其業務價值所要走的路或許更為長遠。但是企業用戶已經迫不及待，越來越多企業高層傾向於將大數據分析結果作為其商業決策的重要依據。在這種背景下，我們必須找到一種全面的大數據解決方案，不僅要解決非結構化數據的處理問題，還要將功能擴展到海量數據的存儲、大數據的分布式採集和交換、海量數據的實時快速訪問、統計分析與挖掘和商務智能分析等。
典型的大數據解決方案應該是具有多種能力的平台化解決方案，這些能力包括結構化數據的存儲、計算、分析和挖掘，多結構化數據的存儲、加工和處理，以及大數據的商務智能分析。這種解決方案在技術應具有以下四個特性：軟硬集成化的大數據處理、全結構化數據處理的能力、大規模內存計算的能力、超高網路速度的訪問。
軟硬體集成是必然選擇
我們認為，大數據解決方案的關鍵在於如何處理好大規模數據計算。過去，傳統的前端資料庫伺服器、後端大存儲的架構難以有效存儲大規模數據並保持高性能數據處理。這時候，我們讓軟體和硬體更有效地集成起來進行更緊密的協作。也就是說，我們需要軟硬一體化的專門設備來應對大數據的挑戰。
一直以來，甲骨文公司在傳統的關系型資料庫領域佔有絕對優勢，但並未因此固步自封。面對大數據熱潮，甲骨文公司根據用戶的需求不斷推陳出新，將在數據領域的優勢從傳統的關系型資料庫擴展到全面的大數據解決方案，成為業界首個通過全面的、軟硬體集成的產品來滿足企業關鍵大數據需求的公司。
甲骨文公司以軟硬體集成的方式提供大數據的捕獲、組織、分析和決策的所有能力，為企業提供完整的集成化大數據解決方案，其中的核心產品包括Oracle大數據機、Exalytics商務智能雲伺服器和OracleExadata資料庫雲伺服器。
Oracle大數據機用於多結構化大數據處理，旨在簡化大數據項目的實施與管理，其數據加工結果可以通過超高帶寬的InfiniBand網路連接到OracleExadata資料庫雲伺服器中。OracleExadata可提供高效數據存儲和計算能力，配備超大容量的內存和快速快閃記憶體，配合特有的軟硬體優化技術，可對大數據進行高效的加工、分析和挖掘。同時，甲骨文公司在OracleExadata以及資料庫軟體層面提供了非常高效和便捷的高級數據分析軟體，使數據能夠更快、更高效地得到分析、挖掘和處理。
通過Oracle大數據機快速獲得、組織大數據之後，企業還要根據對大數據全面、實時的分析結果做出科學的業務決策。OracleExalytics商務智能雲伺服器能以前所未有的速度運行數據分析應用，為客戶提供實時、快速的可視分析。同樣，它通過InfiniBand網路連接到OracleExadata上進行數據載入和讀取，讓大數據直接在內存中快速計算，滿足大數據時代對數據分析展現的快速響應需求。OracleExalytics實現了新型分析應用，可用於異構IT環境，能存取和分析來自任何Oracle或非Oracle的關系型數據、OLAP或非結構化數據源的數據。
Oracle大數據機、OracleExalytics商務智能雲伺服器和OracleExadata資料庫雲伺服器一起，組成了甲骨文最廣泛、高度集成化系統產品組合，為企業提供了一個端到端的大數據解決方案，滿足企業對大數據治理的所有需求。
堅持開放的戰略
從當前的情況來看，在大數據應用領域，僅靠一家廠商的產品難以解決所有問題。因此對於大數據解決方案供應商來說，採用開放的策略是必然選擇。甲骨文公司堅持全面、開放、集成的產品策略。這一策略在大數據領域同樣適用。
這首先體現在大數據戰略在技術上支持Hadoop和開源軟體。除了集成化產品，甲骨文公司還擁有一系列領先技術，以幫助用戶全面應對大數據應用的挑戰，其中包括OracleNoSQL資料庫，以及針對Hadoop架構的系列產品。
OracleNoSQL資料庫專門為管理海量數據而設計，可以幫助企業存取非結構化數據，並可橫向擴展至數百個高可用性節點。同時，該產品能夠提供可預測的吞吐量和延遲時間，而且更加容易安裝、配置和管理，支持廣泛的工作負載。
而專門針對Hadoop架構的產品，能夠幫助企業應對在組織和提取大數據方面所面臨的挑戰，包括Oracle數據集成Hadoop應用適配器、OracleHadoop裝載器以及OracleSQL Connector等。
此外，OracleR Enterprise實現了R開源統計環境與Oracle資料庫11g的集成，為進行更進一步的數據分析提供了一個企業就緒的、深度集成的環境。
值得一提的是，除對產品和解決方案不斷投入，甲骨文公司還致力於和合作夥伴合作開發大數據解決方案。目前，幾乎所有的甲骨文合作夥伴都在關注和測試大數據解決方案。甲骨文公司正積極尋找更多本地合作夥伴，為客戶提供更加定製化的產品和解決方案。
總而言之，大數據已經和雲計算、社交化、移動化一起，成為現階段驅動企業IT模式變革的重要因素。Oracle大數據解決方案可以橫跨IT架構的所有層面，與其他產品進行創新集成，並憑借卓越的可靠性、可擴展性和可管理性，為企業的IT發展，甚至業務發展提供理想的IT基礎支持。

B. 什麼是大數據亟待解決的問題

大數據分析能夠幫用戶發掘他們的價值，從而使其在市場競爭中處於更有利的地位，同時提升他們的市場生命力，但其在發展過程中仍有需要解決的問題，依然存在著這樣那樣的問題，在這些問題中我們不得不提其在隱私方面的問題。 隱私問題是大數據亟待解決的問題 大數據挖掘不但可以挖掘數字信息，同樣還能夠挖掘圖像、文本、視頻等等，如今我們甚至能夠通過數據挖掘了解一個人的整天的行動，甚至能夠預判一個即將要做的事情。但當我們的數據挖掘關繫到公民的生活問題時就會遇到一個問題，那就是隱私。隱私問題 隱私是目前很多人都關注的問題，如今，電話推銷的人幾乎天天都有，這就是我們隱私被透露的結果。甚至有的犯罪分子利用從即時通訊上得到的信息，冒充孩子的家長來實施犯罪，這些都是我們需要解決的問題。 那麼目前對個人隱私數據方面的保護如何呢？有，但是目前扔不完善。有的時候我們雖然將注冊信息設為不公開，但是仍然會接到各種騷擾電話。所以在這方面的保護並不完善，這主要是背後一個龐大的利益集團在驅動。而且現在相關的法律法規並不完善，讓個人信息在大數據時代泄露的時間比比皆是。 法律框架的搭建遠遠趕不上新技術的發展，各國對個人隱私也界定不一，為此Facebook還專門設立了首席隱私官這個職位。但是目前的措施並不能夠完全保護個人隱私的安全，個人在大數據時代似乎總是站在被分析的地位。隱私問題是大數據亟待解決的問題。

C. 什麼是大數據，什麼又是數據挖掘

大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法通過目前主流軟體工具，在合理時間內達到擷取、管理、處理、並整理成為幫助企業經營決策更積極目的的資訊。(在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中，大數據指不用隨機分析法(抽樣調查)這樣的捷徑，而採用所有數據的方法)大數據的4V特點：Volume(大量)、Velocity(高速)、Variety(多樣)、veracity(真實性)。大數據需要特殊的技術，包括大規模並行處理(MPP)資料庫、數據挖掘電網、分布式文件系統、分布式資料庫、雲計算平台、互聯網和可擴展的存儲系統。

大數據的4個「V」，或者說特點有四個層面：第一，數據體量巨大。從TB級別，躍升到PB級別；第二，數據類型繁多。前文提到的網路日誌、視頻、圖片、地理位置信息等等。第三，數據的來源，直接導致分析結果的准確性和真實性。若數據來源是完整的並且真實，最終的分析結果以及決定將更加准確。第四，處理速度快，1秒定律。最後這一點也是和傳統的數據挖掘技術有著本質的不同。業界將其歸納為4個「V」
從某種程度上說，大數據是數據分析的前沿技術。簡言之，從各種各樣類型的數據中，快速獲得有價值信息的能力，就是大數據技術。明白這一點至關重要，也正是這一點促使該技術具備走向眾多企業的潛力。

搜索下各種網路，上面都有。說白了，就是數據量非常龐大。這確實是近幾年的熱點問題。

D. 大數據時代背景下的檔案管理分析

大數據時代背景下的檔案管理分析
在大數據時代的發展進程中，應該將大數據的價值積極的展現出來，所以相應的管理模式需要加以進一步的變革。應該將相應的管理模式加以進一步的轉變，積極的採用大數據技術實現檔案數據信息的相互關聯，這樣才能更好的實現檔案資源的共享。相關的檔案管理部門也應該做相互協調的工作，將檔案數字資源中所蘊含的潛在價值充分的體現出來，這樣才能實現進一步的整合。傳統的檔案管理部門中，供給式的模式占據重要位置，而在新時期的發展下，這一思維模式應該加以進一步的轉變，從用戶面臨的問題入手，為人們的行為決策提供有益指導。以解決用戶所面臨的問題為目標整合檔案數字資源，構建起以社會利用需求為導向的檔案數字資源體系，不斷提高檔案服務與用戶需求之間的匹配程度。
構建適應大數據要求的檔案數字資源。以雲計算為例，它適應了大數據時代分布式存儲與海量數據並行處理的需要，實現了計算機資源的服務化，是大數據時代檔案數字資源整合的基礎平台和支撐技術。首先，各檔案部門應根據國家統一規劃以及自身基礎設施建設與檔案資料庫資源匹配程度的具體情況，靈活選擇適合的雲部署方案。對於那些處在檔案數字資源整合關鍵節點的部門應架設私有雲，以動態申請公有雲的方式彌補自身計算能力、存儲空間等的不足。其次，雲計算能統一各應用環境之間的業務邏輯、組織結構和表達方式等，消除信息孤島，從而建立集成的檔案數字資源管理平台，促成檔案數字資源深層次整合與知識開發的實現。再次，雲計算能實現對檔案應用的整合，並以服?盞男問較蠐沒Х⒉跡煌?時支持用戶利用各種終端設備隨時隨地訪問所需的雲服務。這些都將在最大程度上發揮檔案數字資源整合的優勢，提高檔案服務的效率和便捷性。
加強大數據時代檔案數字資源整合的安全保障體系建設。首先，應建立IAM（身份和訪問管理）和隱私保護系統，實現統一身份認證與訪問許可權控制，達到用戶安全集成管理的目標，有效應對檔案數字資源整合與大數據應用過程中的安全風險。其次，通過數據加密技術保護檔案信息安全。通過SSL（Secure Sockets Layer，安全套接層協議層）加密，實現在數據集的節點和應用程序之間移動保護大數據。再次，綜合運用大數據技術手段與安全保密制度，加強對重點領域檔案數據的日常監管，有效應對檔案數據聚集性與檔案利用需求無序性造成的檔案泄密風險。最後，實時開展檔案數字資源異地異質備份工作，提高系統容災能力。
最後，還要組建一支具有大數據素質的檔案從業者隊伍。大數據環境下，檔案從業者應加強自身素質建設，在檔案數字資源整合中承擔起業務專家的重任，成為檔案數字資源的提供者、組織者和導航者。作為檔案數字資源的提供者，就要求檔案從業者具有過硬的檔案專業知識與技能，能正確預判大數據給本單位數據處理各環節帶來的風險構成，給出基於檔案專業的解決方案，從而確保檔案數字資源的真實、完整與安全，最大限度地滿足檔案數字資源整合的需要，保證檔案價值的實現。

E. 大數據的七大核心應用價值

大數據的七大核心應用價值

隨著移動互聯網的飛速發展，信息的傳輸日益方便快捷，端到端的需求也日益突出，縱觀整個移動互聯網領域，數據已被認為是繼雲計算、物聯網之後的又一大顛覆性的技術性革命，毋庸置疑，大數據市場是待挖掘的金礦，其價值不言而喻。可以說誰能掌握和合理運用用戶大數據的核心資源，誰就能在接下來的技術變革中進一步發展壯大。
大數據可以說是史上第一次將各行各業的用戶、方案提供商、服務商、運營商以及整個生態鏈上游廠商融入到一個大的環境中，無論是企業級市場還是消費級市場，亦或政府公共服務，都正或將要與大數據發生千絲萬縷的聯系。
近期有不少文章暢談大數據的價值，以及其價值主要凸顯在哪些方面，這里我們對大數據的核心具體價值進行了分門別類的梳理匯總，希望能幫助讀者更好的獲悉大數據的大價值。

核心價值究其用戶到底是誰？
談及價值，首先必須要弄清楚其用戶到底是誰？有針對企業數據市場的，還有針對終端消費者的，還有針對政府公共服務的；其次要弄清楚大數據核心價值的表現形式、價值的體現過程以及最後呈現的結果。
商業的發展天生就依賴於大量的數據分析來做決策，對於企業用戶，更關心的還是決策需求，其實早在BI時代這就被推上了日程，經過十餘年的探索，如今已形成了數據管理、數據可視化等細分領域，來加強對決策者的影響，達到決策支持的效果。還有企業營銷需求，從本質上來說，主要聚焦在針對消費者市場的精準營銷。
對於消費者用戶，他們對大數據的需求主要體現在信息能按需搜索，並能提供友好、可信的信息推薦，其次是提供高階服務，例如智能信息的提供、用戶體驗更快捷等等。
還有，大數據也不斷被應用到政府日常管理和為民服務中，並成為推動政府政務公開、完善服務、依法行政的重要力量。從戶籍制度改革，到不動產登記制度改革，再到徵信體系建設等等都對資料庫建設提出了更高的目標要求，而此時的資料庫更是以大數據為基礎的，可見，大數據已成為政府改革和轉型的技術支撐杠桿。
數據，除了它第一次被使用時提供的價值以外，那些積累下來的數據海洋並不是無用的廢物，它還有著無窮無盡的「剩餘價值」，關於這一點，人們已經有了越來越多的認識。事實上，大數據已經開始並將繼續影響我們的生活，接下來讓我們共同探索大數據的核心價值吧！當然這是需要藉助於一些具體的應用模式和場景才能得到集中體現的。
《大數據時代》一書作者維克托認為大數據時代有三大轉變：「第一，我們可以分析更多的數據，有時候甚至可以處理和某個特別現象相關的所有數據，而不是依賴於隨機采樣。更高的精確性可使我們發現更多的細節。第二，研究數據如此之多，以至於我們不再熱衷於追求精確度。適當忽略微觀層面的精確度，將帶來更好的洞察力和更大的商業利益。第三，不再熱衷於尋找因果關系，而是事物之間的相關關系。例如，不去探究機票價格變動的原因，但是關注買機票的最佳時機。」大數據打破了企業傳統數據的邊界，改變了過去商業智能僅僅依靠企業內部業務數據的局面，而大數據則使數據來源更加多樣化，不僅包括企業內部數據，也包括企業外部數據，尤其是和消費者相關的數據。
隨著大數據的發展，企業也越來越重視數據相關的開發和應用，從而獲取更多的市場機會。
一方面，大數據能夠明顯提升企業數據的准確性和及時性；此外還能夠降低企業的交易摩擦成本；更為關鍵的是，大數據能夠幫助企業分析大量數據而進一步挖掘細分市場的機會，最終能夠縮短企業產品研發時間、提升企業在商業模式、產品和服務上的創新力，大幅提升企業的商業決策水平，降低了企業經營的風險。
一、大數據助企業挖掘市場機會探尋細分市場
大數據能夠幫助企業分析大量數據而進一步挖掘市場機會和細分市場，然後對每個群體量體裁衣般的採取獨特的行動。獲得好的產品概念和創意，關鍵在於我們到底如何去搜集消費者相關的信息，如何獲得趨勢，挖掘出人們頭腦中未來會可能消費的產品概念。用創新的方法解構消費者的生活方式，剖析消費者的生活密碼，才能讓吻合消費者未來生活方式的產品研發不再成為問題，如果你了解了消費者的密碼，就知道其潛藏在背後的真正需求。大數據分析是發現新客戶群體、確定最優供應商、創新產品、理解銷售季節性等問題的最好方法。
在數字革命的背景下，對企業營銷者的挑戰是從如何找到企業產品需求的人到如何找到這些人在不同時間和空間中的需求；從過去以單一或分散的方式去形成和這群人的溝通信息和溝通方式，到現在如何和這群人即時溝通、即時響應、即時解決他們的需求，同時在產品和消費者的買賣關系以外，建立更深層次的夥伴間的互信、雙贏和可信賴的關系。
大數據進行高密度分析，能夠明顯提升企業數據的准確性和及時性；大數據能夠幫助企業分析大量數據而進一步挖掘細分市場的機會，最終能夠縮短企業產品研發時間、提升企業在商業模式、產品和服務上的創新力，大幅提升企業的商業決策水平。因此，大數據有利於企業發掘和開拓新的市場機會；有利於企業將各種資源合理利用到目標市場；有利於制定精準的經銷策略；有利於調整市場的營銷策略，大大降低企業經營的風險。
企業利用用戶在互聯網上的訪問行為偏好能為每個用戶勾勒出一副「數字剪影」，為具有相似特徵的用戶組提供精確服務滿足用戶需求，甚至為每個客戶量身定製。這一變革將大大縮減企業產品與最終用戶的溝通成本。例如：一家航空公司對從未乘過飛機的人很感興趣（細分標準是顧客的體驗）。而從未乘過飛機的人又可以細分為害怕飛機的人，對乘飛機無所謂的人以及對乘飛機持肯定態度的人（細分標準是態度）。在持肯定態度的人中，又包括高收入有能力乘飛機的人（細分標準是收入能力）。於是這家航空公司就把力量集中在開拓那些對乘飛機持肯定態度，只是還沒有乘過飛機的高收入群體。通過對這些人進行量身定製、精準營銷取得了很好的效果。
二、大數據提高決策能力
當前，企業管理者還是更多依賴個人經驗和直覺做決策，而不是基於數據。在信息有限、獲取成本高昂，而且沒有被數字化的時代，讓身居高位的人做決策是情有可原的，但是大數據時代，就必須要讓數據說話。
大數據能夠有效的幫助各個行業用戶做出更為准確的商業決策，從而實現更大的商業價值，它從誕生開始就是站在決策的角度出發。雖然不同行業的業務不同，所產生的數據及其所支撐的管理形態也千差萬別，但從數據的獲取，數據的整合，數據的加工，數據的綜合應用，數據的服務和推廣，數據處理的生命線流程來分析，所有行業的模式是一致的。
這種基於大數據決策的特點是：一是量變到質變，由於數據被廣泛挖掘，決策所依據的信息完整性越來越高，有信息的理性決策在迅速擴大，拍腦袋的盲目決策在急劇縮小。二是決策技術含量、知識含量大幅度提高。由於雲計算出現，人類沒有被海量數據所淹沒，能夠高效率駕御海量數據，生產有價值的決策信息。三是大數據決策催生了很多過去難以想像的重大解決方案。如某些葯物的療效和毒副作用，無法通過技術和簡單樣本驗證，需要幾十年海量病歷數據分析得出結果；做宏觀經濟計量模型，需要獲得所有企業、居民以及政府的決策和行為海量數據，才能得出減稅政策最佳方案；反腐倡廉，人類幾千年歷史都沒解決，最近通過微博和人肉搜索，貪官在大數據的海洋中無處可藏，人們看到根治的希望等等。
如果在不同行業的業務和管理層之間，增加數據資源體系，通過數據資源體系的數據加工，把今天的數據和歷史數據對接，把現在的數據和領導和企業機構關心的指標關聯起來，把面向業務的數據轉換成面向管理的數據，輔助於領導層的決策，真正實現了從數據到知識的轉變，這樣的數據資源體系是非常適合管理和決策使用的。
在宏觀層面，大數據使經濟決策部門可以更敏銳地把握經濟走向，制定並實施科學的經濟政策；而在微觀方面，大數據可以提高企業經營決策水平和效率，推動創新，給企業、行業領域帶來價值。
三、大數據創新企業管理模式，挖掘管理潛力
當下，有多少企業還會要求員工像士兵一樣無條件服從上級的指示？還在通過大量的中層管理者來承擔管理下屬和傳遞信息的職責？還在禁止員工之間談論薪酬等信息？《華爾街日報》曾有一篇文章就說，NO。這一切已經過時了，嚴格控制，內部猜測和小道消息無疑更會降低企業效率。一個管理學者曾經將企業內部關系比喻為成本和消耗中心，如果內部都難以協作或者有效降低管理成本和消耗，你又如何指望在今天瞬息萬變的市場和競爭環境下生存、創新和發展呢？
我們試著想想，當購物、教育、醫療都已經要求在大數據、移動網路支持下的個性化的時代，創新已經成為企業的生命之源，我們還有什麼理由還要求企業員工遵循工業時代的規則，強調那種命令式集中管理、封閉的層級體系和決策體制嗎？當個體的人都可以通過佩戴各種感測器，搜集各種來自身體的信號來判斷健康狀態，那樣企業也同樣需要配備這樣的感測系統，來實時判斷其健康狀態的變化情況。
今天信息時代機器的性能，更多決定於晶元，大腦的存儲和處理能力，程序的有效性。因而管理從注重系統大小、完善和配合，到注重人，或者腦力的運用，信息流程和創造性，以及職工個性滿足、創造力的激發。
在企業管理的核心因素中，大數據技術與其高度契合。管理最核心的因素之一是信息搜集與傳遞，而大數據的內涵和實質在於大數據內部信息的關聯、挖掘，由此發現新知識、創造新價值。兩者在這一特徵上具有高度契合性，甚至可以標稱大數據就是企業管理的又一種工具。因為對於任何企業，信息即財富，從企業戰略著眼，利用大數據，充分發揮其輔助決策的潛力，可以更好地服務企業發展戰略。
大數據時代，數據在各行各業滲透著，並漸漸成為企業的戰略資產。數據分析挖掘不僅本身能幫企業降低成本：比如庫存或物流，改善產品和決策流程，尋找到並更好的維護客戶，還可以通過挖掘業務流程各環節的中間數據和結果數據，發現流程中的瓶頸因素，找到改善流程效率，降低成本的關鍵點，從而優化流程，提高服務水平。大數據成果在各相關部門傳遞分享，還可以提高整個管理鏈條和產業鏈條的投入回報率。
四、大數據變革商業模式催生產品和服務的創新
在大數據時代，以利用數據價值為核心，新型商業模式正在不斷涌現。能夠把握市場機遇、迅速實現大數據商業模式創新的企業，將在IT發展史上書寫出新的傳奇。
大數據讓企業能夠創造新產品和服務，改善現有產品和服務，以及發明全新的業務模式。回顧IT歷史，似乎每一輪IT概念和技術的變革，都伴隨著新商業模式的產生。如個人電腦時代微軟憑借操作系統獲取了巨大財富，互聯網時代谷歌抓住了互聯網廣告的機遇，移動互聯網時代蘋果則通過終端產品的銷售和應用商店獲取了高額利潤。
縱觀國內，以金融業務模式為例，阿里金融基於海量的客戶信用數據和行為數據，建立了網路數據模型和一套信用體系，打破了傳統的金融模式，使貸款不再需要抵押品和擔保，而僅依賴於數據，使企業能夠迅速獲得所需要的資金。阿里金融的大數據應用和業務創新，變革了傳統的商業模式，對傳統銀行業帶來了挑戰。
還有，大數據技術可以有效的幫助企業整合、挖掘、分析其所掌握的龐大數據信息，構建系統化的數據體系，從而完善企業自身的結構和管理機制；同時，伴隨消費者個性化需求的增長，大數據在各個領域的應用開始逐步顯現，已經開始並正在改變著大多數企業的發展途徑及商業模式。如大數據可以完善基於柔性製造技術的個性化定製生產路徑，推動製造業企業的升級改造；依託大數據技術可以建立現代物流體系，其效率遠超傳統物流企業；利用大數據技術可多維度評價企業信用，提高金融業資金使用率，改變傳統金融企業的運營模式等。
過去，小企業想把商品賣到國外要經過國內出口商、國外進口商、批發商、商場，最終才能到達用戶手中，而現在，通過大數據平台可以直接從工廠送達到用戶手中，交易成本只是過去的十分之一。以我們熟悉的網購平台淘寶為例，每天有數以萬計的交易在淘寶上進行，與此同時相應的交易時間、商品價格、購買數量會被記錄，更重要的是，這些信息可以與買方和賣方的年齡、性別、地址、甚至興趣愛好等個人特徵信息相匹配。運用匹配的數據，淘寶可以進行更優化的店鋪排名和用戶推薦；商家可以根據以往的銷售信息和淘寶指數進行指導產品供應、生產和設計，經營活動成本和收益實現了可視化，大大降低了風險，賺取更多的錢；而與此同時，更多的消費者也能以更優惠的價格買到了更心儀的產品。
維克托曾預言2020年，大數據時代就會真正來臨。在那個時候，最經常會用到的應用就是個性化生活所需要的，尤其是智能手機的應用。
五、大數據讓每個人更加有個性
對個體而言，大數據可以為個人提供個性化的醫療服務。比如，我們的身體功能可能會通過手機、移動網路進行監控，一旦有什麼感染，或身體有什麼不適，我們都可以通過手機得到警示，接著信息會和手機庫進行對接或者咨詢相關專家，從而獲得正確的用葯和其他治療。
過去我們去看病，醫生只能對我們的當下身體情況做出判斷，而在大數據的幫助下，將來的診療可以對一個患者的累計歷史數據進行分析，並結合遺傳變異、對特定疾病的易感性和對特殊葯物的反應等關系，實現個性化的醫療。還可以在患者發生疾病症狀前，提供早期的檢測和診斷。早期發現和治療可以顯著降低肺癌給衛生系統造成的負擔，因為早期的手術費用是後期治療費用的一半。
還有，在傳統的教育模式下，分數就是一切，一個班上幾十個人，使用同樣的教材，同一個老師上課，課後布置同樣的作業。然而，學生是千差萬別的，在這個模式下，不可能真正做到「因材施教」。
如一個學生考了90分，這個分數僅僅是一個數字，它能代表什麼呢？90分背後是家庭背景、努力程度、學習態度、智力水平等，把它們和90分聯系在一起，這就成了數據。大數據因其數據來源的廣度，有能力去關注每一個個體學生的微觀表現：如他在什麼時候開始看書，在什麼樣的講課方式下效果最好，在什麼時候學習什麼科目效果最好，在不同類型的題目上停留多久等等。當然，這些數據對其他個體都沒有意義，是高度個性化表現特徵的體現。同時，這些數據的產生完全是過程性的：課堂的過程，作業的情況，師生或同學的互動情景……而最有價值的是，這些數據完全是在學生不自知的情況下被觀察、收集的，只需要一定的觀測技術與設備的輔助，而不影響學生任何的日常學習與生活，因此它的採集也非常的自然、真實。
在大數據的支持下，教育將呈現另外的特徵：彈性學制、個性化輔導、社區和家庭學習、每個人的成功……大數據支撐下的教育，就是要根據每一個人的特點，釋放每一個人本來就有的學習能力和天分。
此外，維克托還建議中國政府要進一步補錄資料庫。政府以前提供財政補貼，現在可以提供資料庫，打造創意服務。在美國就有完全基於政府提供的資料庫，如為企業提供機場、高速公路的數據，提供航班可能發生延誤的概率，這種服務這可以幫助個人、消費者更好地預測行程，這種類型的創新，就得益於公共的大數據。
六、智慧驅動下的和諧社會
美國作為全球大數據領域的先行者，在運用大數據手段提升社會治理水平、維護社會和諧穩定方面已先行實踐並取得顯著成效。
近年來，在國內，「智慧城市」建設也在如火如荼的開展。截止去年底，我國的國家智慧城市試點已達193個，而公開宣布建設智慧城市的城市超過400個。智慧城市的概念包含了智能安防、智能電網、智慧交通、智慧醫療、智慧環保等多領域的應用，而這些都要依託於大數據，可以說大數據是「智慧」的源泉。
在治安領域，大數據已用於信息的監控管理與實時分析、犯罪模式分析與犯罪趨勢預測，北京、臨沂等市已經開始實踐利用大數據技術進行研判分析，打擊犯罪。
在交通領域，大數據可通過對公交地鐵刷卡、停車收費站、視頻攝像頭等信息的收集，分析預測出行交通規律，指導公交線路的設計、調整車輛派遣密度，進行車流指揮控制，及時做到梳理擁堵，合理緩解城市交通負擔。
在醫療領域，部分省市正在實施病歷檔案的數字化，配合臨床醫療數據與病人體征數據的收集分析，可以用於遠程診療、醫療研發，甚至可以結合保險數據分析用於商業及公共政策制定等等。
伴隨著智慧城市建設的火熱進行，政府大數據應用已進入實質性的建設階段，有效拉動了大數據的市場需求，帶動了當地大數據產業的發展，大數據在各個領域的應用價值已得到初顯。
七、大數據如何預言未來？
著名的瑪雅預言，盡管背後有著一定的天文知識基礎，但除催生了一部很火的電影《2012》外，其實很多人的生活尚未受到太大的影響。現在基於人類地球上的各種能源存量，以及大氣受污染、冰川融化的程度，我們獲取真的可以推算出按照目前這種工業生產、生活的方式，人類在地球上可以存活的年數。《第三次工業革命》中對這方面有很深入的解釋，基於精準預測，發現現有模式是死路一條後，人類就可以進行一些改變，這其實就是一種系統優化。
這種結合之前情景研究，不斷進行系統優化的過程，將賦予系統生命力，而大數據就是其中的血液和神經系統。通過對大數據的深入挖掘，我們將會了解系統的不同機體是如何相互協調運作的，同樣也可以通過對他們的了解去控制機體的下一個操作，甚至長遠的維護和優化。從這個角度講，基於網路的大數據可以看作是人類社會的神經中樞，因為有了網路和大數據人類社會才開始靈活起來，而不像以前那麼死板。基於大數據，個體之間相互連接有了基礎，相互的交互過程得到了簡化，各種交易的成本減少很多。廠家等服務提供方可以基於大數據研發出更符合消費者需求的服務，機構內部的管理也更為細致，有了血液和神經系統的社會才真的擁有生命活力。
結語
透過以上這些行業典型的大數據應用案例和場景，不難悟出大數據的典型的核心價值。大數據是看待現實的新角度，不僅改變了市場營銷、生產製造，同時也改變了商業模式。數據本身就是價值來源，這也就意味著新的商業機會，沒有哪一個行業能對大數據產生免疫能力，適應大數據才能在這場變革中繼續生存下去。
當下，正處於數據大爆發的時代，如何獲取這些數據並對這些數據進行有效分析就顯得尤為重要。各種企業機構之間的競爭非常殘酷。如何基於以往的運行數據，對未來的運行模式進行預測，從而提前進行准備或者加以利用、調整，對很多企業機構其實是一種生死存亡的問題。這樣一種情況同樣適用於國家級別。正因為這一點，目前無論是在企業級別還是國家級別都開始研究、部署大數據。
可見，大數據應用已經凸顯出了巨大的商業價值，觸角已延伸到零售、金融、教育、醫療、體育、製造、影視、政府等各行各業。你可能會問這些具體價值實現的推動者有哪些呢？就是所謂的大數據綜合服務提供商，從實踐情況看，主要包括大數據解決方案提供商、大數據處理服務提供商和數據資源提供商三個角色，分別向大數據的應用者提供大數據服務、解決方案和數據資源。
未來大數據還將徹底改變人類的思考模式、生活習慣和商業法則，將引發社會發展的深刻變革，同時也是未來最重要的國家戰略之一。

F. 餐飲企業如何做好大數據挖掘

般餐企會將客戶分為四類：過客、散客、回頭客、忠實客。在這四種客戶中，過客和散客是不需要做過多營銷的，並且能夠帶給餐企更多利潤的是回頭客和忠實客，這兩類客戶對品牌認可度高，且會介紹給朋友。也就是說，餐企必須要對客戶進行進一步精準營銷，培養更多的回頭客和忠實客。
舉個簡單的例子，家門口有兩家飯店，兩個都是中餐館，味道都是尚可。其中一家，從來不主動做營銷，不會給任何點餐建議；而另外一家，進去之後就會有一種賓至如歸的感覺，服務員能親切地叫出客戶名字，了解喜好，甚至知道是偏好甜還是咸，能根據客戶喜好引導點餐，提供貼心的一站式服務。
那選擇哪一家就不言而喻了。
而這家餐廳對客戶的充分了解是建立在對客戶資料以及消費情況得深度挖掘下。這就是數據挖掘的魅力。
系統分析整理好的數據進行再次發掘，將客戶清晰分類。客戶分類的目的就是為了增加回頭客，壯大忠實客戶群體。在這個基礎上，客戶進行進一步細分如理性消費者、沖動型消費者；偏愛折扣型，喜歡嘗新型。針對這些不同的客戶群體，餐企再次營銷就可以更精準到位。

G. 大數據未來的發展前景怎麼樣呢

從我國數據產量和存量來看，廣東、北京、浙江、江蘇、上海、等地區數據資源較為豐富，東部地區數據產量和存量均高於西部地區。從省際數據流量來看，東部地區月均互聯網省際出口總流量佔全國比重超過一半。

在以北上廣為代表的東部地區數據資源豐富的背景下，其大數據產業發展水平快於其他地區省份。其中，北上廣大數據企業數量佔全國比重近70%，廣東和北京大數據發展水平較高。

東部地區數據產量整體高於西部，省際數據流量遠高於其他地區

2019年，我國數據產量總規模為3.9ZB。從數據產量的地區分布看，2019年全國數據產量排名前十位的省份為廣東、北京、浙江、江蘇、上海、山東、四川、河南、河北和湖南。

從人均數據產量來看，2019年人均數據產量排名前十位的省份分別是北京、上海、浙江、天津、廣東、內蒙古、西藏、海南、江蘇和遼寧。整體來看，東部地區數據產量和人均數據產量均高於西部地區。

—— 更多數據來請參考前瞻產業研究院《中國大數據產業發展前景與投資戰略規劃分析報告》

H. 如何做好大數據時代的檔案管理工作

檔案是機構內部最為規范的知識，是機構存在的歷史依據，做好檔案專管理工作是一個機屬構健康發展的需要，檔案管理工作是機構管理工作的一部分，是提高機構工作質量和工作效率的基礎條件，是維護歷史真實面貌的一項重要工作，是衡量一個機構管理水平的重要尺度。會博通知識管理系統提供承載檔案全生命周期管理的管理體系。檔案的採集與形成：對於檔案的信息化採集，支持多種採集渠道以及多種採集方法。機構可以按照內部管理的習慣以及需要，匹配採用符合自身需要的檔案管理規范，對實體檔案與電子檔案進行統一管理。檔案的信息化存儲：對於企業來說，如何把檔案進行有序化管理，是檔案管理的重點，3Hmis綜合檔案管理能有效幫助企業，對檔案進行分門別類的有序化管理。並且，系統提供例如封面、背脊、目錄、備考表等表格列印，輔助檔案人員輕松地完成對紙質檔案的手工處理。檔案的信息化利用：在如今信息化管理時代，檔案並非單單把檔案封存在檔案室或系統中，而是利用檔案借閱、歸還與發放，搜索平台，提醒，歷史版本，水印防擴散等功能，助力企業日後的生產經營管理提供重復利用、歷史借鑒以及促進改善與創新的重要材料。

I. 大數據時代空間數據挖掘的認識及其思考

引言

空間數據挖掘（Spatial Data Mining，SDM）即找出開始並不知道但是卻隱藏在空間數據中潛在的、有價值的規則的過程。具體來說，空間數據挖掘就是在海量空間數據集中，結合確定集、模糊集、仿生學等理論，利用人工智慧、模式識別等科學技術，提取出令人相信的、潛在有用的知識，發現空間數據集背後隱藏的規律、聯系，為空間決策提供理論技術上的依據[1]。

1.空間數據挖掘的一般步驟

空間數據挖掘系統大致可以分為以下步驟：

（1）空間數據准備：選擇合適的多種數據來源，包括地圖數據、影像數據、地形數據、屬性數據等。

（2）空間數據預處理和特徵提取：數據預處理目的是去除數據中的雜訊，包括對數據的清洗、數據的轉換、數據的集成等。特徵提取是剔除掉冗餘或不相關的特徵並將特徵轉化為適合數據挖掘的新特徵。

（3）空間數據挖掘和知識評估：採用空間數據挖掘技術對空間數據進行分析處理和預測，從而發現數據背後的某種聯系。然後結合具體的領域知識進行評估，看是否達到預期效果。

2.空間數據挖掘的方法研究

空間數據挖掘是一門綜合型的交叉學科，結合了計算機科學、統計學、地理學等領域的很多特性，產生了大量處理空間數據的挖掘方法。

2.1 空間關聯規則

關聯規則挖掘是尋找數據項之間的聯系，表達式形式是X→Y，其中X與Y是兩種不相交的數據項集，即X∩Y=？覫。KOPERSKI K等人將關聯規則與空間資料庫相結合，提出了空間關聯規則挖掘[2]。空間關聯規則將數據項替換為了空間謂詞，一般表達形式如下：

A1∧A2∧…∧An→B1∧B2∧…∧Bm（3）

令A=（A1，A2，…，An），B=（B1，B2，…，Bm），A和B分別表示Ai和Bj的謂詞集合，A和B可以是空間謂詞或非空間謂詞，但是必須至少包含一個空間謂詞且A∩B=？覫。SHEKHAR S和HUANG Y針對空間關聯規則的特點提出了把關聯規則的思想泛化成空間索引點集的空間同位規則的概念，在不違背空間相關性的同時用鄰域替換掉了事務[3]。時空關聯不僅涉及事件在空間中的關聯，還考慮了空間位置和時間序列因素。國內的柴思躍、蘇奮振和周成虎提出了基於周期表的時空關聯規則挖掘方法[4]。

2.2 空間聚類

空間聚類分析是普通聚類分析的擴展，不能完全按照處理普通數據的聚類分析方法來處理空間數據。由於存在地理學第一定律，即空間對象之間都存在一定的相關性，因此在空間聚類分析中，對於簇內的定義，要考慮空間自相關這一因素。通過對空間數據進行自相關分析，可判斷對象之間是否存在空間相關性，從而可合理判斷出對象是否可以分為一簇。

基本的聚類挖掘演算法有：

（1）劃分聚類演算法：存在n個數據對象，對於給定k個分組（k≤n），將n個對象通過基於一定目標劃分規則，不停迭代、優化，直到將這n個對象分配到k個分組中，使得每組內部對象相似度大於組之間相似度。

（2）層次聚類演算法：通過將數據不停地拆分與重組，最終把數據轉為一棵符合一定標準的具有層次結構的聚類樹。

（3）密度聚類演算法：用低密度的區域對數據對象進行分割，最終將數據對象聚類成為若干高密度的區域。

（4）圖聚類演算法：用空間結點表示每個數據對象，然後基於一定標准形成若乾子圖，最後把所有子圖聚類成一個包含所有空間對象的整圖，子圖則代表一個個空間簇。

（5）網格聚類演算法：把空間區域分割成具有多重解析度的和有網格結構特性的若干網格單元，在網格單元上對數據進行聚類。

（6）模型聚類演算法：藉助一定的數學模型，使用最佳擬合數據的數學模型來對數據進行聚類，每一個簇用一個概率分布表示。

僅採用一種演算法通常無法達到令人滿意的預期結果，王家耀、張雪萍、周海燕將遺傳演算法與K-均值演算法結合提出了用於空間聚類分析的遺傳K-均值演算法[5]。現實空間環境中，存在很多像道路、橋梁、河流的障礙物，張雪萍、楊騰飛等人把K-Medoids演算法與量子粒子群演算法結合進行帶有空間障礙約束的聚類分析[6]。

2.3 空間分類

分類，簡單地說是通過學習得到一定的分類模型，然後把數據對象按照分類模型劃分至預先給定類的過程。空間分類時，不僅考慮數據對象的非空間屬性，還要顧及鄰近對象的非空間屬性對其類別的影響，是一種監督式的分析方法。

空間分類挖掘方法有統計方法、機器學習的方法和神經網路方法等。貝葉斯分類器是基於統計學的方法，利用數據對象的先驗概率和貝葉斯公式計算出其後驗概率，選擇較大後驗概率的類作為該對象映射的類別。決策樹分類器是機器學習的方法，採取從上到下的貪心策略，比較決策樹內部節點的屬性值來往下建立決策樹的各分支，每個葉節點代表滿足某個條件的屬性值，從根節點到葉節點的路徑表示一條合適的規則。支持向量機也是機器學習的方法，思路是使用非線性映射把訓練數據集映射到較高維，然後尋找出最大邊緣超平面，將數據對象分類。神經網路是一種模擬人神經的網路，由一組連接的輸入和輸出單元組成，賦予各個連接相應的權值，通過調節各連接的權值使得數據對象得到正確分類。

針對融入空間自相關性的空間分類挖掘，SHEKHAR S等人使用空間自回歸模型和基於貝葉斯的馬可夫隨機場進行空間分類挖掘[7]，汪閩、駱劍承、周成虎等人將高斯馬爾可夫隨機場與支持向量機結合並將其用於遙感圖像的信息提取[8]。

2.4 其他空間挖掘方法

空間數據挖掘的方法多種多樣，其他還包括：空間分析的方法，即利用GIS的方法、技術和理論對空間數據進行加工處理，從而找出未知有用的信息模式；基於模糊集、粗糙集和雲理論的方法可用來分析具有不確定性的空間數據；可視化方法是對空間數據對象的視覺表示，通過一定技術用圖像的形式表達要分析的空間數據，從而得到其隱含的信息；國內張自嘉、岳邦珊、潘琦等人將蟻群演算法與自適應濾波的模糊聚類演算法相結合用以對圖像進行分割[9]。

3.結論

空間數據挖掘作為數據挖掘的延伸，有很好的傳統數據挖掘方法理論的基礎，雖然取得了很大進步，然而其理論和方法仍需進一步的深入研究。伴隨著大數據時代，面對越來越多的空間數據，提升數據挖掘的准確度和精度是一個有待研究的問題。同時現在流行的空間數據挖掘演算法的時間復雜度仍停留在O（nlog（n））~O（n3）之間，處理大量的異構數據，數據挖掘演算法的效率也需要進一步提高。數據挖掘在雲環境下已經得到很好的應用[10]，對於處理空間數據的空間雲計算是有待學者們研究的方向。大多數空間數據挖掘演算法沒有考慮含有障礙約束的情況，如何解決現實中障礙約束問題值得探討。帶有時間屬性的空間數據呈現出了一種動態、可變的空間現象，時空數據挖掘將是未來研究的重點。

由於數據挖掘涉及多種學科，其基本理論與方法也已經比較成熟，針對空間數據挖掘，如何合理地利用和拓展這些理論方法以實現對空間數據的挖掘仍將是研究人員們需要長期努力的方向。

參考文獻

[1] 李德仁，王樹良，李德毅.空間數據挖掘理論與應用（第2版）[M].北京：科學出版社，2013.

[2] KOPERSKI K， HAN J W. Discovery of spatial association rules in geographic information databases[C]. Procedings of the 4th International Symposium on Advances in Spatial Databases， 1995： 47-66.

[3] SHEKHAR S， HUANG Y. Discovering spatial co-location patterns： a summary of results[C]. Procedings of the 7th International Symposium on Advances in Spatial and Temporal Databases， 2001：236-256.

[4] 柴思躍，蘇奮振，周成虎．基於周期表的時空關聯規則挖掘方法與實驗[J]．地球信息科學學報，2011，13（4）：455-464.

[5] 王家耀，張雪萍，周海燕.一個用於空間聚類分析的遺傳K-均值演算法[J].計算機工程，2006，32（3）：188-190.

[6] Zhang Xueping， Du Haohua， Yang Tengfei， et al. A novel spatial clustering with obstacles constraints based on PNPSO and K-medoids[C]. Advances in Swarm Intelligence， Lecture Notes in Computer Science （LNCS）， 2010： 476-483.

[7] SHEKHAR S， SCHRATER P R， VATSAVAI R R， et al．Spatial contextual classification and prediction models for mining geospatial data[J]． IEEE Transactions on Multimedia， 2002， 4（2）：174-187.

[8] 汪閩，駱劍承，周成虎，等.結合高斯馬爾可夫隨機場紋理模型與支撐向量機在高解析度遙感圖像上提取道路網[J].遙感學報，2005，9（3）：271-275.

[9] 張自嘉，岳邦珊，潘琦，等.基於蟻群和自適應濾波的模糊聚類圖像分割[J].電子技術應用，2015，41（4）：144-147.

[10] 石傑.雲計算環境下的數據挖掘應用[J].微型機與應用，2015，34（5）：13-15.

來源 | AET電子技術應用