1. 什麼是大數據
列舉三個常用的大數據定義:
(1)具有較強決策、洞察和流程優化能力的海量、高增長、多樣化的信息資產需要新的處理模式。
(2)海量數據量、快速數據流和動態數據速度、多樣的數據類型和巨大的數據價值。
(3)或者是海量數據、海量數據、大數據，是指所涉及的數據太大，無法在合理的時間內被截取、管理、處理、整理成人類可以解讀的信息。
大數據的其他定義也差不多，可以用幾個關鍵詞來定義大數據。
首先是「大尺度」，可以從兩個維度來衡量，一是從時間序列中積累大量數據，二是對數據進行深度提煉。
其次，「多樣化」可以是不同的數據格式，比如文字、圖片、視頻等。，可以是不同的數據類別，如人口數據、經濟數據等。，也可以有不同的數據源，如互聯網和感測器等。
第三，「動態」。數據是不斷變化的，它可以隨著時間迅速增加大量的數據，也可以是在空間不斷移動變化的數據。
2. 多大的數據才算「大數據」
多大的數據才算「大數據」
什麼是大數據有一個故事，說的是一位顧客訂購披薩時，披薩店可以立即調出這位顧客的許多信息，比如送披薩上門必有的家庭、單位等地址和電話，顧客的消費習慣從而推薦適合他的披薩種類，顧客名下的銀行卡透支情況從而確定他的支付方式，甚至顧客要自取披薩時，還能根據顧客名下車輛的停放位置預估他的到店時間等等。
從這個故事，我們可以看出大數據的一些關鍵特徵，比如容量大、類型多、關聯性強、有價值等等。「大數據是以高容量、多樣性、存取速度快、應用價值高為主要特徵的數據集合，正快速發展為對數量巨大、來源分散、格式多樣的數據進行採集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態。」工信部信息化和軟體服務業司副司長李冠宇接受經濟日報·中國經濟網記者采訪時說。
僅僅規模大不是大數據
大數據，顧名思義，「大」該是應有之義。「大數據的定義最初與容量有關系。」李冠宇分析說，業界有幾種對大數據的定義，其中一個共同點就是數據的容量超出了原有的存儲、管理和處理能力。
正如中國電子信息產業發展研究院副院長樊會文接受記者采訪時指出的，大數據概念產生就是因為數據量和數據類型急劇增加，以至於原有的數據存儲、傳輸、處理以及管理技術不能勝任，需要全新的技術工具和手段。
信息技術日新月異，大數據的定義也在發生變化。工信部賽迪研究院軟體所所長潘文說，數據即時處理的速度(Velocity)、數據格式的多樣化(Variety)與數據量的規模(Volume)被稱為大數據「3V」。但隨著近幾年數據的復雜程度越來越高，「3V」已不足以定義新時代的大數據，准確性(Veracity)、可視性(Visualization)、合法性(Validity)等特性又被加入大數據的新解，從「3V」變成了「6V」。
對於「多大容量的數據才算大數據」，潘文說，大數據的規模並沒有具體的標准，僅僅規模大也不能算作大數據。規模大本身也要從兩個維度來衡量，一是從時間序列累積大量的數據，二是在深度上更加細化的數據。
李冠宇說，比如一份現在看起來很小的數據，但是縱向積累久了也可以變成大數據，橫向與其他數據關聯起來也可能形成大數據。而一份很大的數據如果沒有關聯性、沒有價值也不是大數據。
運滿滿研究院院長徐強認為，「大」是必要條件，但非充分條件。基於移動互聯網用戶規模紅利，國內平台型企業比較容易獲取大量數據，但數據不是越多越好，無用數據就像噪音，會給數據分析、清洗、脫敏和可視化帶來負擔。
這也正如阿里巴巴集團董事局主席馬雲在某次演講中說的：「很多人以為大數據就是數據量很大，其實大數據的大是大計算的大，大計算+數據，稱之為大數據。」
「水漲船高」的大數據
今年麥收時節，在雷沃重工的全國「三夏」跨區作業信息服務中心，顯示屏的全國電子地圖上有許多大小不一、顏色不同的圓圈，這是每個區域正在作業的收割機。智能化的收割機會自動獲得許多數據，包括機器運行情況、收割量、小麥含水量等，數據傳回後台匯總後，總體收割情況一目瞭然。
「大數據概念正是來自信息技術的飛速發展和應用，特別是隨著雲計算、物聯網、移動互聯網的應用，數據量迅猛增長。數據來源有兩種，一種與人有關，比如政府、企業等為人們服務時產生的數據;另一種與物有關，在移動泛在、萬物互聯時代，物聯網應用的浪潮將帶動數據量爆發式增長。」李冠宇說。
這也就不難理解，為何當下數據產生的速度如此之快。正如樊會文所分析的，一方面，信息終端大面積普及，信息源大量增加;另一方面，基於雲計算的互聯網信息平台快速增長，數據向平台大規模集中。
大數據與雲計算、物聯網、人工智慧等新一代信息技術之間相互影響、相互促進、相互融合。徐強說，運滿滿通過車聯網設備和信息平台，每天獲取3TB至4TB的數據，運用先進的大數據演算法模型，實現了智能車貨匹配、智能實時調度等。
樊會文認為，雲計算是硬體資源的虛擬化，而大數據是海量數據的高效處理。簡單來說，雲計算是大數據的基礎，有了雲計算才能大量集中數據從而產生大數據。同時，大數據也支撐了雲計算應用創新，帶動雲計算發展。
人工智慧的核心在於大數據支撐。圍棋人工智慧程序「阿爾法狗」打敗柯潔，離不開大數據的支持。「大數據技術能夠通過數據採集、分析等方式，從海量數據中快速獲得有價值的信息，為深度學習等人工智慧演算法提供堅實的素材基礎。反過來，人工智慧技術也促進了大數據技術的進步。兩者相輔相成，任何一方技術的突破都會促進另外一方的發展。」潘文說。
核心價值在於應用
剛剛過去的「6·18」再次掀起網購熱潮。網購消費者基本都被精準推送過廣告信息，如曾瀏覽過電飯煲的消費者，很長一段時間內會在登錄頁面後看到各品牌電飯煲信息。
阿里、京東、360等互聯網平台接觸消費者眾多，也因此獲得了很多數據。但是正如精準推送一樣，不對這些數據進行處理、挖掘就沒法產生價值。比如雷沃收割機傳回的數據進行匯總後還要分析處理，從而得出對收割作業乃至整個農業都有意義的結論才是這些數據的價值所在。
「大數據作為重要的基礎性戰略資源，核心價值在於應用，在於其賦值和賦能作用，在於對大量數據的分析和挖掘後所帶來的決策支撐，能夠為我們的生產生活、經營管理、社會治理、民生服務等各方面帶來高效、便捷、精準的服務。」李冠宇強調。
我們正在步入萬物互聯時代。華為預測，到2025年，物聯網設備的數量將接近1000億個。工信部統計數據顯示，目前我國網民數量超過7億，行動電話用戶規模已經突破13億，均居世界第一。
「全球數據總量呈現指數級增長，企業級用戶擁有的數據量在快速增加。互聯網的社會化生產出巨量數據。」
3. 大數據排序或取重或去重相關問題
大數據排序或取重或去重相關問題
1. 給定a、b兩個文件，各存放50億個url，每個url各佔64位元組，內存限制是4G，讓你找出a、b文件共同的url？
方案1：可以估計每個文件安的大小為50G×64=320G，遠遠大於內存限制的4G。所以不可能將其完全載入到內存中處理。考慮採取分而治之的方法。
s 遍歷文件a，對每個url求取 ，然後根據所取得的值將url分別存儲到1000個小文件（記為 ）中。這樣每個小文件的大約為300M。
s 遍歷文件b，採取和a相同的方式將url分別存儲到1000各小文件（記為 ）。這樣處理後，所有可能相同的url都在對應的小文件（ ）中，不對應的小文件不可能有相同的url。然後我們只要求出1000對小文件中相同的url即可。
s 求每對小文件中相同的url時，可以把其中一個小文件的url存儲到hash_set中。然後遍歷另一個小文件的每個url，看其是否在剛才構建的hash_set中，如果是，那麼就是共同的url，存到文件裡面就可以了。
方案2：如果允許有一定的錯誤率，可以使用Bloom filter，4G內存大概可以表示340億bit。將其中一個文件中的url使用Bloom filter映射為這340億bit，然後挨個讀取另外一個文件的url，檢查是否與Bloom filter，如果是，那麼該url應該是共同的url（注意會有一定的錯誤率）。
2. 有10個文件，每個文件1G，每個文件的每一行存放的都是用戶的query，每個文件的query都可能重復。要求你按照query的頻度排序。 方案1：
s 順序讀取10個文件，按照hash(query)%10的結果將query寫入到另外10個文件（記為 ）中。這樣新生成的文件每個的大小大約也1G（假設hash函數是隨機的）。
s 找一台內存在2G左右的機器，依次對 用hash_map(query, query_count)來統計每個query出現的次數。利用快速/堆/歸並排序按照出現次數進行排序。將排序好的query和對應的query_cout輸出到文件中。這樣得到了10個排好序的文件（記為 ）。
s 對 這10個文件進行歸並排序（內排序與外排序相結合）。
方案2：
一般query的總量是有限的，只是重復的次數比較多而已，可能對於所有的query，一次性就可以加入到內存了。這樣，我們就可以採用trie樹/hash_map等直接來統計每個query出現的次數，然後按出現次數做快速/堆/歸並排序就可以了。
方案3：
與方案1類似，但在做完hash，分成多個文件後，可以交給多個文件來處理，採用分布式的架構來處理（比如MapRece），最後再進行合並。
3. 有一個1G大小的一個文件，裡面每一行是一個詞，詞的大小不超過16位元組，內存限制大小是1M。返回頻數最高的100個詞。
方案1：順序讀文件中，對於每個詞x，取 ，然後按照該值存到5000個小文件（記為 ） 中。這樣每個文件大概是200k左右。如果其中的有的文件超過了1M大小，還可以按照類似的方法繼續往下分，知道分解得到的小文件的大小都不超過1M。對每個小文件，統計每個文件中出現的詞以及相應的頻率（可以採用trie樹/hash_map等），並取出出現頻率最大的100個詞（可以用含100個結點 的最小堆），並把100詞及相應的頻率存入文件，這樣又得到了5000個文件。下一步就是把這5000個文件進行歸並（類似與歸並排序）的過程了。
4. 海量日誌數據，提取出某日訪問網路次數最多的那個IP。
方案1：首先是這一天，並且是訪問網路的日誌中的IP取出來，逐個寫入到一個大文件中。注意到IP是32位的，最多有 個 IP。同樣可以採用映射的方法，比如模1000，把整個大文件映射為1000個小文件，再找出每個小文中出現頻率最大的IP（可以採用hash_map進 行頻率統計，然後再找出頻率最大的幾個）及相應的頻率。然後再在這1000個最大的IP中，找出那個頻率最大的IP，即為所求。
5. 在2.5億個整數中找出不重復的整數，內存不足以容納這2.5億個整數。
方案1：採用2-Bitmap（每個數分配2bit，00表示不存在，01表示出現一次，10表示多次，11無意義）進行，共需內存內存，還可以接受。然後掃描這2.5億個整數，查看Bitmap中相對應位，如果是00變01，01變10，10保持不變。所描完事後，查看bitmap，把對應位是01的整數輸出即可。
方案2：也可採用上題類似的方法，進行劃分小文件的方法。然後在小文件中找出不重復的整數，並排序。然後再進行歸並，注意去除重復的元素。
6. 海量數據分布在100台電腦中，想個辦法高校統計出這批數據的TOP10。
方案1：
s 在每台電腦上求出TOP10，可以採用包含10個元素的堆完成（TOP10小，用最大堆，TOP10大，用最小堆）。比如求TOP10大，我們首先取前10個元素調整成最小堆，如果發現，然後掃描後面的數據，並與堆頂元素比較，如果比堆頂元素大，那麼用該元素替換堆頂，然後再調整為最小堆。最後堆中的元 素就是TOP10大。
s 求出每台電腦上的TOP10後，然後把這100台電腦上的TOP10組合起來，共1000個數據，再利用上面類似的方法求出TOP10就可以了。
7. 怎麼在海量數據中找出重復次數最多的一個？
方案1：先做hash，然後求模映射為小文件，求出每個小文件中重復次數最多的一個，並記錄重復次數。然後找出上一步求出的數據中重復次數最多的一個就是所求（具體參考前面的題）。
8. 上千萬或上億數據（有重復），統計其中出現次數最多的錢N個數據。
方案1：上千萬或上億的數據，現在的機器的內存應該能存下。所以考慮採用hash_map/搜索二叉樹/紅黑樹等來進行統計次數。然後就是取出前N個出現次數最多的數據了，可以用第6題提到的堆機制完成。
9. 1000萬字元串，其中有些是重復的，需要把重復的全部去掉，保留沒有重復的字元串。請怎麼設計和實現？
方案1：這題用trie樹比較合適，hash_map也應該能行。
10. 一個文本文件，大約有一萬行，每行一個詞，要求統計出其中最頻繁出現的前10個詞，請給出思想，給出時間復雜度分析。
方案1：這題是考慮時間效率。用trie樹統計每個詞出現的次數，時間復雜度是O(n*le)（le表示單詞的平準長度）。然後是找出出現最頻繁的前10個詞，可以用堆來實現，前面的題中已經講到了，時間復雜度是O(n*lg10)。所以總的時間復雜度，是O(n*le)與O(n*lg10)中較大 的哪一個。
11. 一個文本文件，找出前10個經常出現的詞，但這次文件比較長，說是上億行或十億行，總之無法一次讀入內存，問最優解。
方案1：首先根據用hash並求模，將文件分解為多個小文件，對於單個文件利用上題的方法求出每個文件件中10個最常出現的詞。然後再進行歸並處理，找出最終的10個最常出現的詞。
12. 100w個數中找出最大的100個數。
方案1：在前面的題中，我們已經提到了，用一個含100個元素的最小堆完成。復雜度為O(100w*lg100)。
方案2：採用快速排序的思想，每次分割之後只考慮比軸大的一部分，知道比軸大的一部分在比100多的時候，採用傳統排序演算法排序，取前100個。復雜度為O(100w*100)。
方案3：採用局部淘汰法。選取前100個元素，並排序，記為序列L。然後一次掃描剩餘的元素x，與排好序的100個元素中最小的元素比，如果比這個最小的要大，那麼把這個最小的元素刪除，並把x利用插入排序的思想，插入到序列L中。依次循環，知道掃描了所有的元素。復雜度為O(100w*100)。
13. 尋找熱門查詢：
搜索引擎會通過日誌文件把用戶每次檢索使用的所有檢索串都記錄下來，每個查詢串的長度為1-255位元組。假設目前有一千萬個記錄，這些查詢串的重復讀比較高，雖然總數是1千萬，但是如果去除重復和，不超過3百萬個。一個查詢串的重復度越高，說明查詢它的用戶越多，也就越熱門。請你統計最熱門的10個 查詢串，要求使用的內存不能超過1G。
(1) 請描述你解決這個問題的思路；
(2) 請給出主要的處理流程，演算法，以及演算法的復雜度。
方案1：採用trie樹，關鍵字域存該查詢串出現的次數，沒有出現為0。最後用10個元素的最小推來對出現頻率進行排序。
14. 一共有N個機器，每個機器上有N個數。每個機器最多存O(N)個數並對它們操作。如何找到 個數中的中數？
方案1：先大體估計一下這些數的范圍，比如這里假設這些數都是32位無符號整數（共有 個）。我們把0到 的整數劃分為N個范圍段，每個段包含 個整數。比如，第一個段位0到 ，第二段為 到 ，…，第N個段為 到 。 然後，掃描每個機器上的N個數，把屬於第一個區段的數放到第一個機器上，屬於第二個區段的數放到第二個機器上，…，屬於第N個區段的數放到第N個機器上。 注意這個過程每個機器上存儲的數應該是O(N)的。下面我們依次統計每個機器上數的個數，一次累加，直到找到第k個機器，在該機器上累加的數大於或等於 ，而在第k-1個機器上的累加數小於 ，並把這個數記為x。那麼我們要找的中位數在第k個機器中，排在第 位。然後我們對第k個機器的數排序，並找出第 個數，即為所求的中位數。復雜度是 的。
方案2：先對每台機器上的數進行排序。排好序後，我們採用歸並排序的思想，將這N個機器上的數歸並起來得到最終的排序。找到第n個便是所求。復雜度是n(i)的。
15. 最大間隙問題
給定n個實數 ，求著n個實數在實軸上向量2個數之間的最大差值，要求線性的時間演算法。
方案1：最先想到的方法就是先對這n個數據進行排序，然後一遍掃描即可確定相鄰的最大間隙。但該方法不能滿足線性時間的要求。故採取如下方法：
s 找到n個數據中最大和最小數據max和min。
s 用n-2個點等分區間[min, max]，即將[min, max]等分為n-1個區間（前閉後開區間），將這些區間看作桶，編號為 ，且桶 的上界和桶i+1的下屆相同，即每個桶的大小相同。每個桶的大小為： 。實際上，這些桶的邊界構成了一個等差數列（首項為min，公差為 ），且認為將min放入第一個桶，將max放入第n-1個桶。
s 將n個數放入n-1個桶中：將每個元素 分配到某個桶（編號為index），其中 ，並求出分到每個桶的最大最小數據。
s最大間隙：除最大最小數據max和min以外的n-2個數據放入n-1個桶中，由抽屜原理可知至少有一個桶是空的，又因為每個桶的大小相同，所以最大間隙不會在同一桶中出現，一定是某個桶的上界和氣候某個桶的下界之間隙，且該量筒之間的桶（即便好在該連個便好之間的桶）一定是空桶。也就是說，最大間隙在桶 i的上界和桶j的下界之間產生 。一遍掃描即可完成。
16. 將多個集合合並成沒有交集的集合：給定一個字元串的集合，格式如： 。要求將其中交集不為空的集合合並，要求合並完成的集合之間無交集，例如上例應輸出 。
(1) 請描述你解決這個問題的思路；
(2) 給出主要的處理流程，演算法，以及演算法的復雜度；
(3) 請描述可能的改進。
方案1：採用並查集。首先所有的字元串都在單獨的並查集中。然後依掃描每個集合，順序合並將兩個相鄰元素合並。例如，對於 ， 首先查看aaa和bbb是否在同一個並查集中，如果不在，那麼把它們所在的並查集合並，然後再看bbb和ccc是否在同一個並查集中，如果不在，那麼也把它們所在的並查集合並。接下來再掃描其他的集合，當所有的集合都掃描完了，並查集代表的集合便是所求。復雜度應該是O(NlgN)的。改進的話，首先可以 記錄每個節點的根結點，改進查詢。合並的時候，可以把大的和小的進行合，這樣也減少復雜度。
17. 最大子序列與最大子矩陣問題
數組的最大子序列問題：給定一個數組，其中元素有正，也有負，找出其中一個連續子序列，使和最大。
方案1：這個問題可以動態規劃的思想解決。設 表示以第i個元素 結尾的最大子序列，那麼顯然 。基於這一點可以很快用代碼實現。
最大子矩陣問題：給定一個矩陣（二維數組），其中數據有大有小，請找一個子矩陣，使得子矩陣的和最大，並輸出這個和。
方案1：可以採用與最大子序列類似的思想來解決。如果我們確定了選擇第i列和第j列之間的元素，那麼在這個范圍內，其實就是一個最大子序列問題。如何確定第i列和第j列可以詞用暴搜的方法進行。
4. 大數據包括哪些
大數據技術龐大復雜，基礎的技術包含數據的採集、數據預處理、分布式存儲、NoSQL數據內庫、容數據倉庫、機器學習、並行計算、可視化等各種技術范疇和不同的技術層面。
大數據主要技術組件：Hadoop、HBase、kafka、Hive、MongoDB、Redis、Spark 、Storm、Flink等。
大數據技術包括數據採集，數據管理，數據分析，數據可視化，數據安全等內容。數據的採集包括感測器採集，系統日誌採集以及網路爬蟲等。數據管理包括傳統的資料庫技術，nosql技術，以及對於針對大規模數據的大數據平台，例如hadoop，spark，storm等。數據分析的核心是機器學習，當然也包括深度學習和強化學習，以及自然語言處理，圖與網路分析等。
5. 大數據包括一些什麼
大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，3、基礎架構：雲存儲、分布式文件存儲等。4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。7、模型預測：預測模型、機器學習、建模模擬。8、結果呈現：雲計算、標簽雲、關系圖等。
6. 序列數據典型應用有哪些
啊？序列化？應該是說一個數據結構，比如二叉樹之類，序列化以後會變成一個char數組或者一個string字元串這樣，方便你存到文件裡面或者通過網路傳輸。然後要恢復的時候就是「反序列化」，把文件里讀出來/從網路收到的char數組或者string恢復成一棵二叉樹或者其他什麼東西。
主要就是方便保存
7. 大數據中什麼是序列化
序列化 (Serialization）是將對象的狀態信息轉換為可以存儲或傳輸的形式的過程。數據序列化用於模塊通訊時，將對象序列化為通信流，高效的傳輸到另一個模塊，並提供反序列化還原數據。對於大數據傳輸場景下序列化的性能、大小也直接影響了數據傳輸的性能。
8. 大數據是什麼
什麼是大數據？
列舉三個常用的大數據定義:
(1)具有較強決策、洞察和流程優化能力的海量、高增長、多樣化的信息資產需要新的處理模式。
——Gartner
(2)海量數據量、快速數據流和動態數據速度、多樣的數據類型和巨大的數據價值。
—— IDC
(3)或者是海量數據、海量數據、大數據，是指所涉及的數據太大，無法在合理的時間內被截取、管理、處理、整理成人類可以解讀的信息。
—— Wiki
大數據的其他定義也差不多，可以用幾個關鍵詞來定義大數據。
首先是「大尺度」，可以從兩個維度來衡量，一是從時間序列中積累大量數據，二是對數據進行深度提煉。
其次，「多樣化」可以是不同的數據格式，比如文字、圖片、視頻等。，可以是不同的數據類別，如人口數據、經濟數據等。，也可以有不同的數據源，如互聯網和感測器等。
第三，「動態」。數據是不斷變化的，它可以隨著時間迅速增加大量的數據，也可以是在空間不斷移動變化的數據。
這三個關鍵詞定義了大數據的形象。
但是，需要一個關鍵能力，就是「處理速度快」。如果有這樣的大規模、多樣化、動態的數據，但是需要很長時間的處理和分析，那就不叫大數據。從另一個角度來說，要實現這些數據的快速處理，肯定沒有辦法手工實現，所以需要藉助機器來實現。
9. 大數據是什麼
什麼是大數據？
大數據是指無法在一定時間內用常規軟體工具對其內容進行抓取、管理和處理的數據集合。大數據技術，是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於大數據的技術，包括大規模並行處理（MPP）資料庫，數據挖掘電網，分布式文件系統，分布式資料庫，雲計算平台，互聯網，和可擴展的存儲系統。
具體來說，大數據具有4個基本特徵：
一是數據體量巨大。網路資料表明，其新首頁導航每天需要提供的數據超過1.5PB（1PB=1024TB），這些數據如果列印出來將超過5千億張A4紙。有資料證實，到目前為止，人類生產的所有印刷材料的數據量僅為200PB。
二是數據類型多樣。現在的數據類型不僅是文本形式，更多的是圖片、視頻、音頻、地理位置信息等多類型的數據，個性化數據占絕對多數。
三是處理速度快。數據處理遵循「1秒定律」，可從各種類型的數據中快速獲得高價值的信息。
四是價值密度低。以視頻為例，一小時的視頻，在不間斷的監控過程中，可能有用的數據僅僅只有一兩秒。