大數據的技術難題

1. 數據分析技術解決了哪些難題

在過去的二十多年裡，幾萬億美元的投資被用於建立名目繁多的各類數據採集、管理、和上報系統。單個來看，每個系統都有其存在的原因和道理。但從總體角度看，數據卻是一片混亂。數據孤島、混亂的定義、不統一的格式、各異的標准等給數據分析造成了極大障礙。通過網路、社交、視頻、感測器等手段源源不斷地積累的無結構、半結構數據更加大了數據清理、過濾、重組、標准化工作的難度。因此，今天數據分析面臨的最大挑戰就是如何應用數據科學的理論、方法論、和大數據技術高速、高質地把數據正確地整合以支持數據分析和智能決策。
數據整合的技術挑戰有六個方面：
第一、大規模數據收集和管理（Data Curation at Scale）
數據收集和管理經歷了三代技術更新。第一代的數據倉庫（Data Warehouse）出現於1990年代。主要功能是數據提取、轉換、上傳（Extract, Transform, and Load- ETL）。第二代技術成熟於2000年代。它主要是在ETL的基礎上增加了數據清理，不同類型資料庫的兼容，相關數據自動轉換（如歐元轉化為美元）等功能。這兩代技術都不適於大規模數據收集（成百上千個數據源）。第三代技術隨大數據時代的到來而興起於2010年代。它的核心技術是應用統計模型和機器學習使數據的收集和管理實現自動化為主，人員干預為輔使高速優質的大規模數據收集成為可能。
第二、數據管理的新思路
過去幾十年裡，自上而下的數據管理理念一直佔有統治地位。這種思維方式的基本假設是只有通過統一規劃才能達到數據的統一定義，標准，管理，儲存，使用。可實踐證明，由於每個公司和組織都在不斷變化，中央設計的數據管理系統似乎永遠無法完成。即使完成了也已經過時。系統的設計者與使用者之間總是有一道隔閡，計劃趕不上變化。企業為此浪費了大量的錢財和時間。
近十年來，一種自下而上的數據管理理念逐漸引起人們的關注。它的思維方式有五個特點：（1）聯邦式管理，中央和地方分權。公司總部和分公司協商數據定義和管理的職責和權力；（2）允許各級管理人員使用各種現成的工具而不是等待中央系統提供；（3）不斷登記注冊各種相關數據而不等待統一數據模型；（4）保持數據管理系統簡單直觀；（5）建立尊重數據的環境以改進數據的管理和使用。
第三、數據清理的挑戰
如何處理混雜不幹凈的海量數據是大數據分析難以避免的挑戰。至今為止還沒有出現比較理想的數據清理的工作平台。產生這一情況的主要原因是數據質量問題的診斷、梳理、驗證、以至修正都離不開人的參與。只有通過人工產生了數據清理的程序、邏輯和方法後，才能使用軟體工具快速清理數據。每個新數據源都有其特殊的數據質量問題，這使得開發通用型數據清理平台極為困難。
第四、數據科學：數據主導的認知（Data Intensive Discovery）
近年來以數據為主導的分析（Data Intensive Analysis – DIA）成為數據科學的新熱點。DIA也被稱為大數據分析，是數據科學的新分支。它使人類突破了自身思維能力的極限（人腦只能同時分析10個以下變數的模型）。應用大數據技術可以高速地找出千百個變數的相關性。傳統的科學實證思維模式是以理論為出發點提出假設，然後選擇分析方法，再採集數據來驗證假設。大數據分析拓展了人類的認知能力。這使以數據為主導的科學發現成為可能。這種新的認知框架從數據出發，發現相關性後尋找理論解釋，然後應用科學的方法驗證。有人稱其為第四代認知框架（the Fourth Paradigm）。
第五、從軟體開發運作（DevOrp）到數據應用運作（DataOrp）
軟體開發經過多年的經驗積累已形成了一套有效的設計、開發、測試、質量管理模式和一系列相關的工具（DevOrp）。今天，數據工程師、數據科學家、資料庫管理員等也需要類似的數據應用運作程序和相關工具（DataOrp）。這是一套新的基礎設施，有人稱之為數據技術（DT）。
第六、數據統一是使現有數據系統產生價值的最佳戰略
如何將企業里分散的數據整合以實現全公司層面的決策支持是一個令人非常頭痛的事。為迎接這一挑戰，一個新的理念和技術「數據統一化」（Data Unification）被越來越多的人接受。這個技術包括三個步驟：（1）數據登記注冊（Catalog），即保持原始數據不變又為中心資料庫提供完整數據記錄，（2）資料庫連接（Connect），使各個分散資料庫通過互聯網在需要時即時連接，（3）數據公布（Publish），按照分析需求將不同資料庫的數據統一定義、連接後提供給數據分析人員。這個技術的核心是應用統計概率模型自動地在資料庫連接過程中使數據統一化。數據統一化已成為大數據處理過程中的一個重要組成部分。
數據分析上的競爭將會日趨激烈。只有面對以上挑戰而不斷創新的企業才能率先實現以數據分析為主導的智能決策。

2. 大數據爆發性增長 存儲技術面臨難題

大數據爆發性增長 存儲技術面臨難題

隨著大數據應用的爆發性增長，大數據已經衍生出了自己獨特的架構，而且也直接推動了存儲、網路以及計算技術的發展。畢竟處理大數據這種特殊的需求是一個新的挑戰。硬體的發展最終還是由軟體需求推動的。大數據本身意味著非常多需要使用標准存儲技術來處理的數據。大數據可能由TB級(或者甚至PB級)信息組成，既包括結構化數據(資料庫、日誌、SQL等)以及非結構化數據(社交媒體帖子、感測器、多媒體數據)。此外，大部分這些數據缺乏索引或者其他組織結構，可能由很多不同文件類型組成。從目前技術發展的情況來看，大數據存儲技術的發展正面臨著以下幾個難題：

1、容量問題

這里所說的「大容量」通常可達到PB級的數據規模，因此，海量數據存儲系統也一定要有相應等級的擴展能力。與此同時，存儲系統的擴展一定要簡便，可以通過增加模塊或磁碟櫃來增加容量，甚至不需要停機。

「大數據」應用除了數據規模巨大之外，還意味著擁有龐大的文件數量。因此如何管理文件系統層累積的元數據是一個難題，處理不當的話會影響到系統的擴展能力和性能，而傳統的NAS系統就存在這一瓶頸。所幸的是，基於對象的存儲架構就不存在這個問題，它可以在一個系統中管理十億級別的文件數量，而且還不會像傳統存儲一樣遭遇元數據管理的困擾。基於對象的存儲系統還具有廣域擴展能力，可以在多個不同的地點部署並組成一個跨區域的大型存儲基礎架構。

2、延遲問題

「大數據」應用還存在實時性的問題。有很多「大數據」應用環境需要較高的IOPS性能，比如HPC高性能計算。此外，伺服器虛擬化的普及也導致了對高IOPS的需求，正如它改變了傳統IT環境一樣。為了迎接這些挑戰，各種模式的固態存儲設備應運而生，小到簡單的在伺服器內部做高速緩存，大到全固態介質的可擴展存儲系統等等都在蓬勃發展。

3、並發訪問

一旦企業認識到大數據分析應用的潛在價值，他們就會將更多的數據集納入系統進行比較，同時讓更多的人分享並使用這些數據。為了創造更多的商業價值，企業往往會綜合分析那些來自不同平台下的多種數據對象。包括全局文件系統在內的存儲基礎設施就能夠幫助用戶解決數據訪問的問題，全局文件系統允許多個主機上的多個用戶並發訪問文件數據，而這些數據則可能存儲在多個地點的多種不同類型的存儲設備上。

4、安全問題

某些特殊行業的應用，比如金融數據、醫療信息以及政府情報等都有自己的安全標准和保密性需求。雖然對於IT管理者來說這些並沒有什麼不同，而且都是必須遵從的，但是，大數據分析往往需要多類數據相互參考，而在過去並不會有這種數據混合訪問的情況，因此大數據應用也催生出一些新的、需要考慮的安全性問題。

5、成本問題

成本問題「大」，也可能意味著代價不菲。而對於那些正在使用大數據環境的企業來說，成本控制是關鍵的問題。想控製成本，就意味著我們要讓每一台設備都實現更高的「效率」，同時還要減少那些昂貴的部件。

對成本控制影響最大的因素是那些商業化的硬體設備。因此，很多初次進入這一領域的用戶以及那些應用規模最大的用戶都會定製他們自己的「硬體平台」而不是用現成的商業產品，這一舉措可以用來平衡他們在業務擴展過程中的成本控制戰略。為了適應這一需求，現在越來越多的存儲產品都提供純軟體的形式，可以直接安裝在用戶已有的、通用的或者現成的硬體設備上。此外，很多存儲軟體公司還在銷售以軟體產品為核心的軟硬一體化裝置，或者與硬體廠商結盟，推出合作型產品。

6、數據的積累

許多大數據應用都會涉及到法規遵從問題，這些法規通常要求數據要保存幾年或者幾十年。比如醫療信息通常是為了保證患者的生命安全，而財務信息通常要保存7年。而有些使用大數據存儲的用戶卻希望數據能夠保存更長的時間，因為任何數據都是歷史記錄的一部分，而且數據的分析大都是基於時間段進行的。要實現長期的數據保存，就要求存儲廠商開發出能夠持續進行數據一致性檢測的功能以及其他保證長期高可用的特性。同時還要實現數據直接在原位更新的功能需求。

7、數據的靈活性

大數據存儲系統的基礎設施規模通常都很大，因此必須經過仔細設計，才能保證存儲系統的靈活性，使其能夠隨著應用分析軟體一起擴容及擴展。在大數據存儲環境中，已經沒有必要再做數據遷移了，因為數據會同時保存在多個部署站點。一個大型的數據存儲基礎設施一旦開始投入使用，就很難再調整了，因此它必須能夠適應各種不同的應用類型和數據場景。

存儲介質正在改變，雲計算倍受青睞

存儲之於安防的地位，其已經不僅是一個設備而已，而是已經升華到了一個解決方案平台的地步。作為圖像數據和報警事件記錄的載體，存儲的重要性是不言而喻的。

安防監控應用對存儲的需求是什麼？首先，海量存儲的需求。其次，性能的要求。第三，價格的敏感度。第四，集中管理的要求。第五，網路化要求。安防監控技術發展到今天經歷了三個階段，即：模擬化、數字化、網路化。與之相適應，監控數據存儲也經歷了多個階段，即：VCR模擬數據存儲、DVR數字數據存儲，到現在的集中網路存儲，以及發展到雲存儲階段，正是在一步步迎合這種市場需求。在未來，安防監控隨著高清化，網路化，智能化的不斷發展，將對現有存儲方案帶來不斷挑戰，包括容量、帶寬的擴展問題和管理問題。那麼，基於大數據戰略的海量存儲系統--雲存儲就倍受青睞了。

基於大數據戰略的安防存儲優勢明顯

當前社會對於數據的依賴是前所未有的，數據已變成與硬資產和人同等重要的重要資料。如何存好、保護好、使用好這些海量的大數據，是安防行業面臨的重要問題之一。那麼基於大數據戰略的安防存儲其優勢何在？

目前的存儲市場上，原有的視頻監控方案容量、帶寬難以擴展。客戶往往需要采購更多更高端的設備來擴充容量，提高性能，隨之帶來的是成本的急劇增長以及系統復雜性的激增。同時，傳統的存儲模式很難在完全沒有業務停頓的情況下進行升級，擴容會對業務帶來巨大影響。其次，傳統的視頻監控方案難於管理。由於視頻監控系統一般規模較大，分布特徵明顯，大多獨立管理，這樣就把整個系統分割成了多個管理孤島，相互之間通信困難，難以協調工作，以提高整體性能。除此之外，綠色、安全等也是傳統視頻監控方案所面臨的突出問題。

基於大數據戰略的雲存儲技術與生俱來的高擴展、易管理、高安全等特性為傳統存儲面臨的問題帶來了解決的契機。利用雲存儲，用戶可以方便的進行容量、帶寬擴展，而不必停止業務，或改變系統架構。同時，雲存儲還具有高安全、低成本、綠色節能等特點。基於雲存儲的視頻監控解決方案是客戶應對挑戰很好的選擇。王宇說，進入二十一世紀，雲存儲作為一種新的存儲架構，已逐步走入應用階段，雲存儲不僅輕松突破了SAN的性能瓶頸，而且可以實現性能與容量的線性擴展，這對於擁有大量數據的安防監控用戶來說是一個新選擇。

以英特爾推出的Hadoop分布式文件系統（HDFS）為例，其提供了一個高度容錯性和高吞吐量的海量數據存儲解決方案。目前已經在各種大型在線服務和大型存儲系統中得到廣泛應用，已經成為海量數據存儲的事實標准。

隨著信息系統的快速發展，海量的信息需要可靠存儲的同時，還能被大量的使用者快速地訪問。傳統的存儲方案已經從構架上越來越難以適應近幾年來的信息系統業務的飛速發展，成為了業務發展的瓶頸和障礙。HDFS通過一個高效的分布式演算法，將數據的訪問和存儲分布在大量伺服器之中，在可靠地多備份存儲的同時還能將訪問分布在集群中的各個伺服器之上，是傳統存儲構架的一個顛覆性的發展。最重要的是，其可以滿足以下特性：可自我修復的分布式文件存儲系統，高可擴展性，無需停機動態擴容，高可靠性，數據自動檢測和復制，高吞吐量訪問，消除訪問瓶頸，使用低成本存儲和伺服器構建。

以上是小編為大家分享的關於大數據爆發性增長 存儲技術面臨難題的相關內容，更多信息可以關注環球青藤分享更多干貨

3. 大數據在開發中遇到的困難怎麼解決方案

大數據時代下的信息技術日存在的問題：

第一：運營商帶寬能力與對數據洪流的適應能力面臨前所未有的挑戰;

第二：大數據處理和分析的能力遠遠不及理想中水平，數據量的快速增長，對存儲技術提出了挑戰;同時，需要高速信息傳輸能力支持，與低密度有價值數據的快速分析、處理能力。

第三：部分早期的Hadoop項目將面臨挑戰;

第四：大數據環境下通過對用戶數據的深度分析，很容易了解用戶行為和喜好，乃至企業用戶的商業機密，對個人隱私問題必須引起充分重視;

第五：大數據時代的基本特徵，決定其在技術與商業模式上有巨大的創新空間，如何創新已成為大數據時代的一個首要問題;

第六：大數據時代對政府制訂規則與監管部門發揮作用提出了新的挑戰 大數據時代面臨挑戰的應對策略：

1、合理獲取數據

在大數據時代，數據的產生速度飛快而且體量龐大，往往以TB或YB甚至是ZB來衡量。各種機構、個人都在不斷地向外產生和發布結構化與非結構化的復雜數據，並進行數據交換，如人們當前最常用的數據來源渠道——互聯網，每天的數據交換量已極為驚人。

2、存儲隨需而變

美國一家知名的 DVD 租賃企業每年都會邀請一些協同處理演算法的專家對其用戶數據進行分析，從而了解租賃客戶的需求。

3、篩選與分析大數據

充分利用數據「洞察」自己身邊的人或物，在諸多供給方當中精準地匹配自身需求，從而最大限度地滿足自身籲求也是大數據價值的應有之義。

4、理性面對大數據的價值誘惑

毫無疑問，大數據時代將是商業智能「大顯身手」的時代。企業利用發達的數據挖掘技術正日益精準地揣摩著消費者心態，並運用各種手段對其「循循善誘」 。

5、雲計算和大數據相輔相成

為了滿足大數據的需求，商務智能軟體必須改變。

4. 該如何精細地學大數據開發 會遇到哪些難點

大數據開發怎麼學習？由於大數據技術涉及內容太龐雜，大數據應用領域廣泛，而且各領域和方向採用的關鍵技術差異性也會較大，難以三言兩語說清楚。

附上大數據工程師技能圖：

零基礎學習大數據一般有以下幾步：

了解大數據理論；計算機編程語言學習；大數據相關課程學習；實戰項目

（1）了解大數據理論

要學習大數據你至少應該知道什麼是大數據，大數據一般運用在什麼領域。對大數據有一個大概的了解，你才能清楚自己對大數據究竟是否有興趣，如果對大數據一無所知就開始學習，有可能學著學著發現自己其實不喜歡，這樣浪費了時間精力，可能還浪費了金錢。所以想要學習大數據，需要先對大數據有一個大概的了解。

（2）計算機編程語言的學習

對於零基礎的朋友，一開始入門可能不會太簡單，大數據開發的學習是需要java基礎的，而對於從來沒有接觸過編程的朋友來說，要從零開始學習，是需要一定的時間和耐心的。

（3）大數據相關課程的學習

學完了編程語言之後，一般就可以進行大數據部分的課程學習了。大數據課程，包括大數據技術入門，海量數據高級分析語言，海量數據存儲分布式存儲，以及海量數據分析分布式計算等部分，Linux，Hadoop，Scala, HBase, Hive, Spark等專業課程。如果要完整的學習大數據的話，這些課程都是必不可少的。

（4）實戰項目

學習完任何一門技術，最後的實戰訓練是最重要的，進行一些實際項目的操作練手，可以幫助我們更好的理解所學的內容，同時對於相關知識也能加強記憶，在今後的運用中，也可以更快的上手，對於相關知識該怎麼用也有了經驗。

5. 大數據可以解決的問題有哪些

大數據復可以做什制么？

獲取大數據後，用這些數據做：數據採集、數據存儲、數據清洗、數據分析、數據可視化

大數據的核心作用是數據價值化，簡單說就是大數據讓數據產生各種「價值」，這個數據價值化的過程就是大數據要做的主要事情。

簡單的說，大數據可以做的是：記錄一切、描述一切、預測一切

大數據技術的戰略意義不在於掌握龐大的數據信息，而在於對這些含有意義的數據進行專業化處理。大數據的作用可以簡單的分為給人類提供輔助服務，以及為智能體提供決策服務。

6. 對於大數據分析，你們有什麼看法大數據分析的技術難點在哪裡

我覺得大數據只是被炒作的一個概念，這並不是突然冒出來的一個新鮮失誤。大數據最大的特點是大，其技術難點在於數據的處理，現在流行的hadoop分布式處理就是一個很好的大數據工具。

7. 大數據技術技術要解決的問題有哪些

大數據指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量

8. 大數據目前存在什麼問題

數據存儲問題：隨著技術不斷發展，數據量從TB上升至PB，EB量級，如果還用傳統的數據存儲方式，必將給大數據分析造成諸多不便，這就需要藉助數據的動態處理技術，即隨著數據的規律性變更和顯示需求，對數據進行非定期的處理。同時，數量極大的數據不能直接使用傳統的結構化資料庫進行存儲，人們需要探索一種適合大數據的數據儲存模式，也是當下應該著力解決的一大難題。

分析資源調度問題：大數據產生的時間點，數據量都是很難計算的，這就是大數據的一大特點，不確定性。所以我們需要確立一種動態響應機制，對有限的計算、存儲資源進行合理的配置及調度。另外，如何以最小的成本獲得最理想的分析結果也是一個需要考慮的問題。

專業的分析工具：在發展數據分析技術的同時，傳統的軟體工具不再適用。目前人類科技尚不成熟，距離開發出能夠滿足大數據分析需求的通用軟體還有一定距離。如若不能對這些問題做出處理，在不久的將來大數據的發展就會進入瓶頸，甚至有可能出現一段時間的滯留期，難以持續起到促進經濟發展的作用。

關於大數據分析目前存在哪些問題，青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。

9. 大數據方面核心技術有哪些

大數據技術的體系龐大且復雜，基礎的技術包含數據的採集、數據預處理、分布式回存儲、資料庫、答數據倉庫、機器學習、並行計算、可視化等。

1、數據採集與預處理：

Flume NG實時日誌收集系統，支持在日誌系統中定製各類數據發送方，用於收集數據；

Zookeeper是一個分布式的，開放源碼的分布式應用程序協調服務，提供數據同步服務。

2、數據存儲：

Hadoop作為一個開源的框架，專為離線和大規模數據分析而設計，HDFS作為其核心的存儲引擎，已被廣泛用於數據存儲。

HBase，是一個分布式的、面向列的開源資料庫，可以認為是hdfs的封裝，本質是數據存儲、NoSQL資料庫。

3、數據清洗：MapRece作為Hadoop的查詢引擎，用於大規模數據集的並行計算

4、數據查詢分析：

Hive的核心工作就是把SQL語句翻譯成MR程序，可以將結構化的數據映射為一張資料庫表，並提供 HQL(Hive SQL)查詢功能。

Spark 啟用了內存分布數據集，除了能夠提供互動式查詢外，它還可以優化迭代工作負載。

5、數據可視化：對接一些BI平台，將分析得到的數據進行可視化，用於指導決策服務。

10. 大數據常見問題有哪些

為什麼大數據工程師被稱為企業最需要的人才?

大數據是能為企業創造價值的源動力，大數據的應用能夠為企業提升訂單量、交易額、合理規劃商業布局以及對用戶進行精準營銷、挖掘深層次用戶，大數據工程師是最能為企業賺錢的人，最能幫助高層指定正確戰略決策的人群，因此自然會收到企業的重視。

為什麼大數據工程師一入職就能成為IT金領?

最主要的原因是大數據工程師可以為企業創造價值，而不是消耗企業的成本，再有就是大數據本身對人才技術層面和行業層面都有較高的要求，普通開發人員難於勝任，因此會造成入職即成為金領的現狀。

為什麼大數據也要學JAVA?

整個大數據體系是構建在java平台之上的，java作為大數據平台的基礎架構支持，直接決定了大數據架構的穩定性、高效性、擴展性等等，因此只有掌握底層的java核心技術，才能夠保證上層建築的穩定運行。

為什麼大數據也要學Python?

在一些數據分析領域，python提供了比較多的演算法庫實現，並且python由於其簡單性，會加快開發速度，對很多常規的任務都能夠使用python來完成，而且對於非計算機人員，python是比較容易接受和上手的語言，因此python在開發中也是較常見的語言。

關於大數據常見問題有哪些，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。