谷歌大數據應用程序

A. 大數據的應用領域有哪些

1.了解和定位客戶

這是大數據目前最廣為人知的應用領域。很多企業熱衷於社交媒體數據、瀏覽器日誌、文本挖掘等各類數據集，通過大數據技術創建預測模型，從而更全面地了解客戶以及他們的行為、喜好。

利用大數據，美國零售商Target公司甚至能推測出客戶何時會有Baby;電信公司可以更好地預測客戶流失;沃爾瑪可以更准確的預測產品銷售情況;汽車保險公司能更真實的了解客戶實際駕駛情況。

滑雪場利用大數據來追蹤和鎖定客戶。如果你是一名狂熱的滑雪者，想像一下，你會收到最喜歡的度假勝地的邀請;或者收到定製化服務的簡訊提醒;或者告知你最合適的滑行線路。。。。。。同時提供互動平台(網站、手機APP)記錄每天的數據——多少次滑坡，多少次翻越等等，在社交媒體上分享這些信息，與家人和朋友相互評比和競爭。

除此之外，政府競選活動也引入了大數據分析技術。一些人認為，奧巴馬在2012年總統大選中獲勝，歸功於他們團隊的大數據分析能力更加出眾。

2.

改善醫療保健和公共衛生

大數據分析的能力可以在幾分鍾內解碼整個DNA序列，有助於我們找到新的治療方法，更好地理解和預測疾病模式。試想一下，當來自所有智能手錶等可穿戴設備的數據，都可以應用於數百萬人及其各種疾病時，未來的臨床試驗將不再局限於小樣本，而是包括所有人!

蘋果公司的一款健康APP ResearchKit有效將手機變成醫學研究設備。通過收集用戶的相關數據，可以追蹤你一天走了多少步，或者提示你化療後感覺如何，帕金森病進展如何等問題。研究人員希望這一過程變得更容易、更自動化，吸引更多的參與者，並提高數據的准確度。

大數據技術也開始用於監測早產兒和患病嬰兒的身體狀況。通過記錄和分析每個嬰兒的每一次心跳和呼吸模式，提前24小時預測出身體感染的症狀，從而及早干預，拯救那些脆弱的隨時可能生命危險的嬰兒。

更重要的是，大數據分析有助於我們監測和預測流行性或傳染性疾病的暴發時期，可以將醫療記錄的數據與有些社交媒體的數據結合起來分析。比如，谷歌基於搜索流量預測流感爆發，盡管該預測模型在2014年並未奏效——因為你搜索「流感症狀」並不意味著真正生病了，但是這種大數據分析的影響力越來越為人所知。

3.提供個性化服務

大數據不僅適用於公司和政府，也適用於我們每個人，比如從智能手錶或智能手環等可穿戴設備採集的數據中獲益。Jawbone的智能手環可以分析人們的卡路里消耗、活動量和睡眠質量等。Jawbone公司已經能夠收集長達60年的睡眠數據，從中分析出一些獨到的見解反饋給每個用戶。從中受益的還有網路平台「尋找真愛」，大多數婚戀網站都使用大數據分析工具和演算法為用戶匹配最合適的對象。

4.

了解和優化業務流程

大數據也越來越多地應用於優化業務流程，比如供應鏈或配送路徑優化。通過定位和識別系統來跟蹤貨物或運輸車輛，並根據實時交通路況數據優化運輸路線。

人力資源業務流程也在使用大數據進行優化。Sociometric Solutions公司通過在員工工牌里植入感測器，檢測其工作場所及社交活動——員工在哪些工作場所走動，與誰交談，甚至交流時的語氣如何。美國銀行在使用中發現呼叫中心表現最好的員工——他們制定了小組輪流休息制度，平均業績提高了23%。

如果在手機、鑰匙、眼鏡等隨身物品上粘貼RFID標簽，萬一不小心丟失就能迅速定位它們。假想一下未來可能創造出貼在任何東西上的智能標簽。它們能告訴你的不僅是物體在哪裡，還可以反饋溫度，濕度，運動狀態等等。這將打開一個全新的大數據時代，「大數據」領域尋求共性的信息和模式，那麼孕育其中的「小數據」著重關注單個產品。

5.

改善城市和國家建設

大數據被用於改善我們城市和國家的方方面面。目前很多大城市致力於構建智慧交通。車輛、行人、道路基礎設施、公共服務場所都被整合在智慧交通網路中，以提升資源運用的效率，優化城市管理和服務。

加州長灘市正在使用智能水表實時檢測非法用水，幫助一些房主減少80%的用水量。洛杉磯利用磁性道路感測器和交通攝像頭的數據來控制交通燈信號，從而優化城市的交通流量。據統計目前已經控制了全市4500個交通燈，將交通擁堵狀況減少了約16%。

6.提升科學研究

大數據帶來的無限可能性正在改變科學研究。歐洲核子研究中心(CERN)在全球遍布了150個數據中心，有65,000個處理器，能同時分析30pb的數據量，這樣的計算能力影響著很多領域的科學研究。比如政府需要的人口普查數據、自然災害數據等，變的更容易獲取和分析，從而為我們的健康和社會發展創造更多的價值。

7.提升機械設備性能

大數據使機械設備更加智能化、自動化。例如，豐田普銳斯配備了攝像頭、全球定位系統以及強大的計算機和感測器，在無人干預的條件下實現自動駕駛。Xcel Energy在科羅拉多州啟動了「智能電網」的首批測試，在用戶家中安裝智能電表，然後登錄網站就可實時查看用電情況。「智能電網」還能夠預測使用情況，以便電力公司為未來的基礎設施需求進行規劃，並防止出現電力耗盡的情況。在愛爾蘭，雜貨連鎖店Tescos的倉庫員工佩戴專用臂帶，追蹤貨架上的商品分配，甚至預測一項任務的完成時間。

8.強化安全和執法能力

大數據在改善安全和執法方面得到了廣泛應用。美國國家安全局(NSA)利用大數據技術，檢測和防止網路攻擊(挫敗恐怖分子的陰謀)。警察運用大數據來抓捕罪犯，預測犯罪活動。信用卡公司使用大數據來檢測欺詐交易等等。

2014年2月，芝加哥警察局對大數據生成的「名單」——有可能犯罪的人員，進行通告和探訪，目的是提前預防犯罪。

9.

提高體育運動技能

如今大多數頂尖的體育賽事都採用了大數據分析技術。用於網球比賽的IBM SlamTracker工具，通過視頻分析跟蹤足球落點或者棒球比賽中每個球員的表現。許多優秀的運動隊也在訓練之外跟蹤運動員的營養和睡眠情況。NFL開發了專門的應用平台，幫助所有球隊根據球場上的草地狀況、天氣狀況、以及學習期間球員的個人表現做出最佳決策，以減少球員不必要的受傷。

還有一件非常酷的事情是智能瑜伽墊：嵌入在瑜伽墊中的感測器能對你的姿勢進行反饋，為你的練習打分，甚至指導你在家如何練習。

10.金融交易

大數據在金融交易領域應用也比較廣泛。大多數股票交易都是通過一定的演算法模型進行決策的，如今這些演算法的輸入會考慮來自社交媒體、新聞網路的數據，以便更全面的做出買賣決策。同時根據客戶的需求和願望，這些演算法模型也會隨著市場的變化而變化。

更多精彩：14_spark體系之分布式計算課程Spark 集群搭建+S

B. 大數據時代的數據管理可以使用哪些軟體

傳統的數據管理，通常要根據業務需要，設計一個基於關系資料庫的應用程序。這樣的系統可以根據一個或者多個數據的特徵以及組合關聯進行查詢和分析，但是缺點是表結構固定、擴展困難、也不通用、只能局限在特定的專有應用場景。在強關聯的數據應用場景下，海量數據條目難以分庫分表，查詢效率會急劇下降，遇到數十億數據條目的時候有可能永遠也得不到結果。
進化型的數據管理採用分布式的半結構化資料庫，（比如使用文檔資料庫MongoDB，KV資料庫Cassendra或者Redis），這樣看起來擴展性好很多，但是當面臨大規模強關聯數據進行關聯分析和查詢的時候異常困難。
但是如果文件系統包含了數十億的文件和數億的目錄，想要快速發現數據，還需要對於數據特徵的標准特徵（例如名字、路徑、大小、訪問時間等）或者應用定義的特徵標簽關聯組合，有效管理數據。
極道的數據管理系統Metaview通過高級的圖引擎來解決這個問題。Metaview把數據和數據特徵都作為點，所有的特徵和數據的關聯，以及數據和數據的關聯作為邊構成了一個龐大的復雜圖。這個圖裡面有數十億個點，也有數十億條邊，通過把這個圖切分成多個小局部圖，分布式的存儲在多個計算資源上，在局部圖和局部圖的關聯之處做特殊處理，利用高級演算法進行並行分析，可以實現大規模、強關聯數據特徵的實時分析。
存儲系統原生的數據感知系統MetaHunter既不需要進行存儲系統掃描，也不需要網關，系統能夠自動將所有的數據特徵和變化動作捕捉到Metaview的後端圖引擎中進行索引。但這需要數據管理系統和存儲系統緊密配合，因為數據管理的特徵感知系統Metahunter的一部分邏輯是在存儲系統中實現的。
數據管理系統Metaview, 1秒內能夠從10億個文件、1億個目錄的文件系統中，根據任意標簽、名字等復雜組合條件快速發現任意指定數據，全量數據統計20秒完成，復雜全量數據分析5分鍾內完成。
極道數據管理系統MetaView結合計算數據流系統Achelous、分布式存儲系統ANNA/ALAMO組成的「三駕馬車」彼此相互配合協同，能夠有效將企業級用戶應用產生的海量數據轉化為數據資產。

C. Google是如何使用雲計算和大數據的

隨著雲計算和大數據的普及，越來越多的IT公司選擇將自己的大數據解決方案部署在雲上面。
雲計算和大數據的結合帶來了什麼便利呢？一個典型的大數據雲又是如何設計和部署的呢？
下面我們以Google Cloud作為例子，講解在工業界里邊是如何實際應用雲。
Google Cloud
Google作為分布式系統和大數據的領導者，開發了眾多跨時代的產品。幾乎每一個Google的產品，寫出一篇paper就可以創造一個開源社區的。
比如MapRece發布之後，開源社區根據Google的一篇論文開發出的Hadoop，BigTable發布之後，開源社區又進一步開發出Hbase等等。可以說沒有Google的創新，就沒有現在開源社區的繁榮。
而Google又把自家的產品，都放在Google Cloud上面，形成了豐富多彩的產品線，吸引了非常多的大大小小的公司如Snapchat等來使用。
Google App Engine (GAE)
我們都知道Web項目都需要大量的Web Service以及為之服務的運維系統。Google在雲計算領域首次嘗試的就是Google App Engine (GAE)，相對比當時的Amazon EC2，GAE只需開發者上傳軟體代碼，其他部署將由Google完成。
用戶只需要熟悉後端語言開發即部署大規模的集群。Google今年更是推出了GAE Flex，可以幫助用戶實現auto-scaling，用戶不再需要自己部署負載均衡的服務了。大部分中小企業的網站幾乎都可以無縫銜接到GAE上。
BigTable
BigTable的底層是註明的Google File System (GFS)，他實現了數據中心級別的可靠的分布式存儲。
也是最早的NoSQL資料庫的一種。各種網站如果有需要永久存儲的數據，一般都可以存放在BigTable里邊，Google Cloud會自動幫你做replication，分布在不同的伺服器節點里邊，這樣實現了可靠的分布式存儲。
Dataflow
Dataflow的底層實現利用了大名鼎鼎的MapRece的升級版Flume。
Dataflow特別方便進行大量的批處理，舉個例子來說，比如要把所有的用戶數據里邊的格式都升級一遍，用GAE或者其他service是很難實現的。

D. 大數據技術基礎由谷歌什麼時間首先提出

現在公認的大數據基礎是谷歌的三駕馬車
DFS分布式文件系統
maprece，分布式計算框架
bigtable，分布式資料庫
分別是2003年，2005年，2006年公開發表的

E. 大數據的軟體是什麼軟體

大數據來處理分析的自六大最好工具_網路經驗（僅供參考）：
http://jingyan..com/article/03b2f78c0471e55ea237aecc.html

F. 谷歌公司如何獲得大數據

谷歌有50多萬台伺服器，是世界上伺服器最多的公司，所存儲的數據可想而知了。—檸檬學院大數據。

G. 常見大數據應用有哪些

Gartner的分析師Doug Laney在講解大數據案例時提到過8個更有新意更典型的案例，可幫助更清晰的理解大數據時代的到來。
1. 梅西百貨的實時定價機制。根據需求和庫存的情況，該公司基於SAS的系統對多達7300萬種貨品進行實時調價。
2. Tipp24 AG針對歐洲博彩業構建的下注和預測平台。該公司用KXEN軟體來分析數十億計的交易以及客戶的特性，然後通過預測模型對特定用戶進行動態的營銷活動。這項舉措減少了90%的預測模型構建時間。SAP公司正在試圖收購KXEN。
3. 沃爾瑪的搜索。這家零售業寡頭為其網站自行設計了最新的搜索引擎Polaris，利用語義數據進行文本分析、機器學習和同義詞挖掘等。根據沃爾瑪的說法，語義搜索技術的運用使得在線購物的完成率提升了10%到15%。「對沃爾瑪來說，這就意味著數十億美元的金額。」Laney說。
4. 快餐業的視頻分析。該公司通過視頻分析等候隊列的長度，然後自動變化電子菜單顯示的內容。如果隊列較長，則顯示可以快速供給的食物;如果隊列較短，則顯示那些利潤較高但准備時間相對長的食品。
5. Morton牛排店的品牌認知。當一位顧客開玩笑地通過推特向這家位於芝加哥的牛排連鎖店訂餐送到紐約Newark機場（他將在一天工作之後抵達該處）時，Morton就開始了自己的社交秀。首先，分析推特數據，發現該顧客是本店的常客，也是推特的常用者。根據客戶以往的訂單，推測出其所乘的航班，然後派出一位身著燕尾服的侍者為客戶提供晚餐。
6. PredPol Inc.。PredPol公司通過與洛杉磯和聖克魯斯的警方以及一群研究人員合作，基於地震預測演算法的變體和犯罪數據來預測犯罪發生的幾率，可以精確到500平方英尺的范圍內。在洛杉磯運用該演算法的地區，盜竊罪和暴力犯罪分布下降了33%和21%。
7. Tesco PLC（特易購）和運營效率。這家超市連鎖在其數據倉庫中收集了700萬部冰箱的數據。通過對這些數據的分析，進行更全面的監控並進行主動的維修以降低整體能耗。
8. American Express（美國運通，AmEx）和商業智能。以往，AmEx只能實現事後諸葛式的報告和滯後的預測。「傳統的BI已經無法滿足業務發展的需要。」Laney認為。於是，AmEx開始構建真正能夠預測忠誠度的模型，基於歷史交易數據，用115個變數來進行分析預測。該公司表示，對於澳大利亞將於之後四個月中流失的客戶，已經能夠識別出其中的24%。

H. 大數據的應用有幾個步驟，分別是什麼

一般來講，典型的數據分析包含六個步驟，分別是明確思路、收集數據、處理數據、分析數據、展現數據以及撰寫報告，下面尚矽谷具體講一講數據分析的六大步驟。

明確數據分析的目的以及思路是確保數據分析過程有效進行的首要條件。 它作用的是可以為數據的收集、處理及分析提供清晰的指引方向。可以說思路是整個分析流程的起點。首先目的不明確則會導致方向性的錯誤。當明確目的後，就要建分析框架，把分析目的分解成若干個不同的分析要點，即如何具體開展數據分析，需要從哪幾個角度進行分析，採用哪些分析指標。只有明確了分析目的，分析框架才能跟著確定下來，最後還要確保分析框架的體系化，使分析更具有說服力。

這一步其實就是具化分析的內容，把一個需要進行數據分析的事件，拆解成為一個又一個的小指標，這樣一來，就不會覺得數據分析無從下手。而且拆解一定要體系化，也就是邏輯化。簡單來說就是先分析什麼，後分析什麼，使得各個分析點之間具有邏輯聯系。避免不知從哪方面入手以及分析的內容和指標被質疑是否合理、完整。所以體系化就是為了讓你的分析框架具有說服力。可以參照的方法論有，用戶行為理論、PEST分析法、5W2H分析法等等。

6、撰寫報告

數據分析報告其實是對整個數據分析過程的一個總結與呈現。通過報告，把數據分析的起因、過程、結果及建議完整地呈現出來，供決策者參考。一份好的數據分析報告，首先需要有一個好的分析框架，並且圖文並茂，層次明晰，能夠讓閱讀者一目瞭然。另外，數據分析報告需要有明確的結論，沒有明確結論的分析稱不上分析，同時也失去了報告的意義，因為我們最初就是為尋找或者求證一個結論才進行分析的，所以千萬不要舍本求末。最後，好的分析報告一定要有建議或解決方案。

I. 常用的大數據工具有哪些

未至科技魔方是一款大數據模型平台，是一款基於服務匯流排與分布式雲計算兩大技術架構的一款數據分析、挖掘的工具平台，其採用分布式文件系統對數據進行存儲，支持海量數據的處理。採用多種的數據採集技術，支持結構化數據及非結構化數據的採集。通過圖形化的模型搭建工具，支持流程化的模型配置。通過第三方插件技術，很容易將其他工具及服務集成到平台中去。數據分析研判平台就是海量信息的採集，數據模型的搭建，數據的挖掘、分析最後形成知識服務於實戰、服務於決策的過程，平台主要包括數據採集部分，模型配置部分，模型執行部分及成果展示部分等。

未至科技小蜜蜂網路信息雷達是一款網路信息定向採集產品，它能夠對用戶設置的網站進行數據採集和更新，實現靈活的網路數據採集目標，為互聯網數據分析提供基礎。
未至科技泵站是一款大數據平台數據抽取工具，實現db到hdfs數據導入功能，藉助Hadoop提供高效的集群分布式並行處理能力，可以採用資料庫分區、按欄位分區、分頁方式並行批處理抽取db數據到hdfs文件系統中，能有效解決大數據傳統抽取導致的作業負載過大抽取時間過長的問題，為大數據倉庫提供傳輸管道。
未至科技雲計算數據中心以先進的中文數據處理和海量數據支撐為技術基礎，並在各個環節輔以人工服務，使得數據中心能夠安全、高效運行。根據雲計算數據中心的不同環節，我們專門配備了系統管理和維護人員、數據加工和編撰人員、數據採集維護人員、平台系統管理員、機構管理員、輿情監測和分析人員等，滿足各個環節的需要。面向用戶我們提供面向政府和面向企業的解決方案。
未至科技顯微鏡是一款大數據文本挖掘工具，是指從文本數據中抽取有價值的信息和知識的計算機處理技術,
包括文本分類、文本聚類、信息抽取、實體識別、關鍵詞標引、摘要等。基於Hadoop
MapRece的文本挖掘軟體能夠實現海量文本的挖掘分析。CKM的一個重要應用領域為智能比對,
在專利新穎性評價、科技查新、文檔查重、版權保護、稿件溯源等領域都有著廣泛的應用。
未至科技數據立方是一款大數據可視化關系挖掘工具，展現方式包括關系圖、時間軸、分析圖表、列表等多種表達方式，為使用者提供全方位的信息展現方式。

J. 大數據應用是開發軟體應用嗎

你說的大數據應用，應該是指大數據技術與應用吧，這個其實是比較寬泛的說法，內開發軟體應用只是其中的一小部容分，或者說環節之一。大數據所涉及到的東西還多。
行業當中大數據相關的崗位也很多，大數據開發工程師、數據分析師、數據挖掘工程師、數據產品經理、數據架構師、可視化研發工程師等等，這些都屬於大數據應用當中需要的崗位人才。具體到各個崗位，需要掌握的技術和需要具備的能力，還有一定的不同，想了解各個崗位，可以更具體的去了解。