⑴ 谷歌怎麼給網頁排序
google的搜索引擎網頁排序策略是，根據網頁質量和內容還有廣告數量和關鍵詞排序（用戶在搜索時使用的關鍵詞），越符合這種條件的網頁越靠前。
當然了，以上僅僅是在用戶未登錄google帳號的時候，如果用戶登錄了賬號呢就是根據之前用戶搜過的東西，常去的網站，所在的國家地區，其次就是上面我提到的進行排序，也就是說，用戶曾經去過的網站有用戶現在想要的內容就優先展示出來，還會根據用戶所處的國家和地區選擇展示語言的偏向，之前搜過的東西如果裡面已經包含可能需要的結果的話那麼就是也會排在後面。
⑵ 了解google用來對網頁進行排序的pagerank演算法，明確哪些因素會影響網頁的pager
一、網頁排名和谷歌演算法的誕生
在谷歌誕生之前那段時間，流行的網頁排名演算法都很類似，它們都使用了一個非常簡單的思想：越是重要的網頁，訪問量就會越大，許多大公司就通過統計網頁的訪問量來進行網頁排名。但是這種排名演算法有兩個很顯著的問題：
1、因為只能夠抽樣統計，所以統計數據不一定準確，而且訪問量的波動會比較大，想要得到准確的統計需要大量的時間和人力，還只能維持很短的有效時間。
2、訪問量並不一定能體現網頁的「重要程度」，可能一些比較早接觸互聯網的網民還記得，那時有很多人推出了專門「刷訪問量」的服務。
那有沒有更好的方法，不統計訪問量就能夠為網頁的重要度排序呢？
就是在這種情況下，1996年初，谷歌公司的創始人，當時還是美國斯坦福大學研究生的佩奇和布林開始了對網頁排序問題的研究。
在1999年，一篇以佩奇為第一作者的論文發表了，論文中介紹了一種叫做PageRank的演算法（具體演算法可查看馬海祥博客《pr值是什麼》的相關介紹），這種演算法的主要思想是：越「重要」的網頁，頁面上的鏈接質量也越高，同時越容易被其它「重要」的網頁鏈接。
於是，演算法完全利用網頁之間互相鏈接的關系來計算網頁的重要程度，將網頁排序徹底變成一個數學問題，終於擺脫了訪問量統計的框框。
二、模擬PageRank演算法的運行過程
在詳細講述這個演算法之前，不妨讓我們用一個游戲，先來簡單模擬一下PageRank演算法的運行過程，以便讀者更好地理解。
三兄弟分30顆豌豆，起初每人10顆，他們每次都要把手裡的豌豆全部平均分給自己喜歡的人，下圖表示了三兄弟各自擁有的初始豌豆數量，以及相互喜歡的關系（箭頭方向表示喜歡，例如老二喜歡老大，老大喜歡老二和老三）。
第一次分配後，我們會得到結果如下：
就這樣，讓游戲一直進行下去，直到他們手中的豌豆數不再變化為止。
那麼這個游戲到底是否可以結束呢，如果可以，最終的結果又是什麼樣的？
在此我們用電腦模擬了這個過程，得出的結果是：老大和老二的盤子里各有12顆豌豆，而老三的盤子里有6顆豌豆，這時候無論游戲怎麼進行下去，盤子里的豌豆數量都不會再變化。
看到這里，讀者可能會問：這個游戲和網頁排序有什麼關系？
實際上，PageRank會給每個網頁一個數值，這個數值越高，就說明這個網頁越「重要」。
而剛剛的游戲中，如果把豌豆的數量看作這個數值（可以不是整數），把孩子們看作網頁，那麼游戲的過程就是PageRank的演算法，而游戲結束時豌豆的分配，就是網頁的PageRank值。
三、PageRank演算法的數學模型
不同於之前的訪問量統計，PageRank求解了這樣一個問題：一個人在網路上瀏覽網頁，每看過一個網頁之後就會隨機點擊網頁上的鏈接訪問新的網頁。
如果當前這個人瀏覽的網頁x已經確定，那麼網頁x上每個鏈接被點擊的概率也是確定的，可以用向量Nx表示。
在這種條件下，這個人點擊了無限多次鏈接後，恰好停留在每個網頁上的概率分別是多少？
在這個模型中，我們用向量Ri來表示點擊了i次鏈接之後可能停留在每個網頁上的概率（則為一開始就打開了每個網頁的概率，後面我們將證明的取值對最終結果沒有影響）。很顯然R i的L1範式為1 ，這也是PageRank演算法本身的要求。
仍以上面的游戲為例，整個瀏覽過程的一開始，我們有：
其中，A表示每一次點擊鏈接概率的矩陣，A的第i列第j行的含義是如果當前訪問的網頁是網頁i，那麼下一次點擊鏈接跳轉到網頁j的概率為 。
這樣設計矩陣A的好處是，通過矩陣A和向量相乘，即可得出點擊一次鏈接後每個網頁可能的停留概率向量。例如，令，可以得到點擊一次鏈接後停留在每個網頁的概率：
之後一直迭代下去，有：
對於上面的例子，迭代結果如下圖：
由上圖我們可以看到，每個網頁停留的概率在振盪之後趨於穩定。
在這種穩定狀態下，我們可以知道，無論如何迭代，都有，這樣我們就獲得了一個方程：
而整個迭代的過程，就是在尋求方程R = AR的解，而無論是多少，迭代無限多次之後，一定會取得令R = AR成立的R值，整個求解R的過程，就如同一個人在一張地圖上的不同位置之間隨機地行走一樣，所以被稱為「隨機行走模型」。
隨機行走模型有一個顯著的特點，那就是每一次迭代的結果只與前一次有關，與更早的結果完全無關，這種過程又被稱為馬爾可夫過程（Markov Process）或馬爾可夫鏈（Markov Chain）。
馬爾可夫過程的數學定義是：如果對於一個隨機變數序列， 其中X n表示時間n的狀態及轉移概率P，有：
即只受的影響，則此過程成為馬爾可夫過程。其中稱作「一步轉移概率」，而兩步、三步轉移概率則可以通過一步轉移概率的積分求得。
當狀態空間有限時，轉移概率可以用用一個矩陣A來表示，稱作轉移矩陣（transition matrix），此時轉移概率的積分即為矩陣的冪，k步轉移概率可以用表示，這也是隨機行走模型中的情況，而對於一個正的（每個元素都為正的）轉移矩陣A ，可以證明一定有：
這就完整解釋了為什麼的取值對最終結果沒有影響。
四、修正「懸掛網頁」帶來的不良影響
但是這里有一個問題：即便的取值對最終結果沒有影響，用R作為網頁排序的依據是否真的合理？
在馬海祥看來，這個其實並不合理，因為當一個網頁只有鏈入鏈接沒有鏈出鏈接的時候，這個網頁就會像一個「黑洞」一樣，將同一個連通子圖中其它網頁流向它的PageRank慢慢「吞掉」（因為演算法中虛擬的用戶一旦進入那樣的網頁，就會由於沒有對外鏈接而永遠停留在那裡），這種網頁我們稱之為「懸掛網頁」（Dangling Link）。
這種「黑洞」效應是如此顯著，以至於在一個連通性良好的互聯網上，哪怕只有一個「懸掛網頁」，也足以使整個互聯網的網頁排序失效，可謂是「一粒老鼠屎壞了一鍋粥」。
為了解決這個問題，佩奇和布林進行了修正，他們意識到，當用戶訪問到「懸掛網頁」時，都不可能也不應該就停留在了這個頁面，而是會自行訪問其它網頁。
雖然對每個用戶來說，自行訪問的網頁與各人的興趣有關，但馬海祥覺得從平均意義上來講，佩奇和布林假定用戶將會在整個互聯網上隨機選取一個網頁進行訪問。
所以他們給PageRank演算法加入了一個新的向量E，它的作用是，按照其中所描述的比例來向全部網頁分配懸掛網頁每一次「吞掉」的PageRank。
這樣，相當於為懸掛網頁添加了鏈向網路上全部網頁的鏈接，避免了懸掛鏈接的出現。
以上就是谷歌背後最重要的PageRank演算法奧秘，與以往那種憑借關鍵詞出現次數所作的排序不同，這種由所有網頁的相互鏈接所確定的排序是不那麼容易做假的，因為做假者再是把自己的網頁吹得天花亂墜，如果沒有真正吸引人的內容，別人不鏈接它，一切就還是枉然。
而且「佩奇排序」還有一個重要特點，那就是它只與互聯網的結構有關，而與用戶具體搜索的東西無關，這意味著排序計算可以單獨進行，而無需在用戶鍵入搜索指令後才臨時進行，谷歌搜索的速度之所以快捷，在很大程度上得益於此。
馬海祥博客點評：
最後，我要強調的一點是，雖然PageRank是Google搜索結果排序的重要依據，並以此發家，不過它並不是全部依據，實際上，Google發展到現在，已同時用了數百種不同的演算法來確定最終顯示給用戶的搜索結果順序。
⑶ Google是如何使用雲計算和大數據的
隨著雲計算和大數據的普及，越來越多的IT公司選擇將自己的大數據解決方案部署在雲上面。
雲計算和大數據的結合帶來了什麼便利呢？一個典型的大數據雲又是如何設計和部署的呢？
下面我們以Google Cloud作為例子，講解在工業界里邊是如何實際應用雲。
Google Cloud
Google作為分布式系統和大數據的領導者，開發了眾多跨時代的產品。幾乎每一個Google的產品，寫出一篇paper就可以創造一個開源社區的。
比如MapRece發布之後，開源社區根據Google的一篇論文開發出的Hadoop，BigTable發布之後，開源社區又進一步開發出Hbase等等。可以說沒有Google的創新，就沒有現在開源社區的繁榮。
而Google又把自家的產品，都放在Google Cloud上面，形成了豐富多彩的產品線，吸引了非常多的大大小小的公司如Snapchat等來使用。
Google App Engine (GAE)
我們都知道Web項目都需要大量的Web Service以及為之服務的運維系統。Google在雲計算領域首次嘗試的就是Google App Engine (GAE)，相對比當時的Amazon EC2，GAE只需開發者上傳軟體代碼，其他部署將由Google完成。
用戶只需要熟悉後端語言開發即部署大規模的集群。Google今年更是推出了GAE Flex，可以幫助用戶實現auto-scaling，用戶不再需要自己部署負載均衡的服務了。大部分中小企業的網站幾乎都可以無縫銜接到GAE上。
BigTable
BigTable的底層是註明的Google File System (GFS)，他實現了數據中心級別的可靠的分布式存儲。
也是最早的NoSQL資料庫的一種。各種網站如果有需要永久存儲的數據，一般都可以存放在BigTable里邊，Google Cloud會自動幫你做replication，分布在不同的伺服器節點里邊，這樣實現了可靠的分布式存儲。
Dataflow
Dataflow的底層實現利用了大名鼎鼎的MapRece的升級版Flume。
Dataflow特別方便進行大量的批處理，舉個例子來說，比如要把所有的用戶數據里邊的格式都升級一遍，用GAE或者其他service是很難實現的。
⑷ 程序問題
有100萬個學生數據，就是1M了，而考分范圍為0-750，有751個數據取值。
建議以文件的方式，把每個學生數據按分數值，放在不同的分數數組或文件中。
打開考生資料庫
--循環體開始
讀取考分數據
以考分數據為文件名或數組名，將考生的其它信息增加記錄方式寫入
下一條記錄
--循環體尾
直到資料庫結尾，退出循環
然後按文件名的次序顯示或者列印。
因為數據量大，而且多次重新排序沒有必要，可以用文件方式保存，並且是將數據輸出到其它文件，可以使用多進程方式。不過缺點是要花費太多時間，優點是一次保存多次查看，至於其它優化演算法，這里已經有朋友提出了，你可以結合一下。
⑸ 對1000000萬個數據排序，用什麼方法快呢
#35讓寫這個程序的人肯定是個瘋子- -#
那麼大數據量還存在TXT里。。汗~~
光打開就要半個小時吧。。。
估計寫出分頁分批讀也要好幾分鍾吧- -#
⑹ 為什麼google三大技術奠定了大數據演算法的基礎
大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處版理的數據集合，是需權要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）,平台有hadoop
⑺ 關於大數據你不可不知的大企業及大布局
關於大數據你不可不知的大企業及大布局_數據分析師考試
如果說有一家科技公司准確定義了「大數據」概念的話，那一定是谷歌。根據搜索研究公司康姆斯科（Comscore）的調查，僅2012年3月一個月的時間，谷歌處理的搜索詞條數量就高達122億條。
谷歌不僅存儲了它的搜索結果中出現的網路連接，還會儲存所有人搜索關鍵詞的行為，它能夠精準地記錄下人們進行搜索行為的時間、內容和方式。這些數據能夠讓谷歌優化廣告排序，並將搜索流量轉化為盈利模式。谷歌不僅能追蹤人們的搜索行為，而且還能夠預測出搜索者下一步將要做什麼。換言之，谷歌能在你意識到自己要找什麼之前預測出你的意圖。這種抓取、存儲並對海量人機數據進行分析，然後據此進行預測的能力，就是所謂的「大數據」。
2012：大數據十字路口？
為什麼大數據突然變得這么火？為什麼《紐約時報》把2012年定義為「大數據的十字路口」？
大數據之所以進入主流大眾的視野，源自三種趨勢的合力:
第一，許多高端消費品公司加強了對大數據的應用。社交網路巨擎 Facebook 使用大數據來追蹤用戶在其網路的行為，通過識別你在它的網路中的好友，從而給出新的好友推薦建議，用戶擁有越多的好友，他們與 Facebook之間的黏度就越高。更多的好友意味著用戶會分享更多照片、發布更多狀態更新、玩更多的游戲。
商業網站LinkdIn則使用大數據在求職者和招聘職位之間建立關聯。有了LinkdIn,獵頭們再也不用向潛在的受聘者打陌生電話來碰運氣，而可以通過簡單的搜索找出潛在受聘者並聯系他們。與此相似，求職者也可以通過聯系網站上其他人，自然而然地將自己推銷給潛在的僱主。
第二，以上兩家公司都在2012年早些時候陸續上市。Facebook 在納斯達克上市,LinkedIn 在紐約證券交易所上市。這兩家企業和谷歌一樣，雖然表面上是消費品公司，然而其本質是大數據企業。除去這兩家，Splunk 也在 2012 年完成了上市,它是一家幫助大中型企業提供運營智能的大數據企業。這些企業的公開上市提高了華爾街對於大數據的興趣。這種興趣帶來了空前的盛況——矽谷的風險投資家們開始前仆後繼地投資大數據企業。大數據將引發下一波創業大潮，而這次浪潮有望讓矽谷在未來幾年取代華爾街。
第三，亞馬遜、Facebook、LinkedIn 和其他以數據為核心消費品的活躍用戶們，開始期待自己在工作中也能獲得暢通無阻地使用大數據的體驗，而不再僅僅限於生活娛樂。用戶們此前一直想不通，既然互聯網零售商亞馬遜可以推薦閱讀書目、推薦電影、推薦可供購買的產品，為什麼他們所在的企業卻做不到類似的事情。
比如，既然汽車租賃公司擁有客戶過去租車的信息和現有可用車輛庫存的信息，這些公司為何就不能在向不同的租車人提供合適的車輛方面做得更智能一點？公司還可以通過新的技術，將公開信息利用起來——比如某個特定市場的狀況，會議活動信息，以及其他可能會影響市場需求和供給的事件。通過將內部供應鏈數據和外部市場數據結合在一起，公司就可以更加精確地預測什麼車輛可用，以及可用時間。
與此類似，零售商應當可以將來自外部的公開數據和內部數據結合在一起，利用這種混合的數據進行產品定價和市場布局。同時還可以同時考慮影響現貨供應能力的多種因素以及消費者購物習慣，包括哪兩種產品相搭配會賣得更好，這樣零售商就可以提升消費者的平均購買量，從而獲得更高的利潤。
谷歌的行動
谷歌的體量和規模，使它擁有比其他大多數企業更多的應用大數據的途徑。谷歌的優勢之一在於，它擁有一支軟體工程師部隊，這使得谷歌能夠從無到有地建立大數據技術。
谷歌的另一個優勢在於它所擁有的基礎設施。谷歌搜索引擎本身的設計，就旨在讓它能夠無縫鏈接成千上萬的伺服器。如果出現更多的處理或存儲需要，抑或某台伺服器崩潰，谷歌的工程師們只要再添加更多的伺服器就能輕松搞定。
谷歌軟體技術的設計也秉持著同樣的基礎設施理念。MapRece（谷歌開發的編程工具，用於大規模數據集的並行運算。——譯者注）和谷歌文件系統（Google File System）就是兩個典型的例子。《連線》雜志在 2012年初夏曾報道稱，這兩個軟體系統「重塑了谷歌建立搜索索引的方式」。
為數眾多的企業如今開始使用Hadoop, 它是MapRece和谷歌文件系統的一種開源衍生產品。Hadoop允許橫跨多台電腦，對龐大的數據集合進行分布式處理。在其他企業剛剛開始使用Hadoop的時候，谷歌早已多年深耕大數據技術，這讓它在行業中獲得了巨大的領先優勢。
如今谷歌正在進一步開放數據處理領域，將其和更多第三方共享。谷歌最近剛剛推出web服務BigQuery。該項服務允許使用者對超大量數據集進行互動式分析。按照谷歌目前的狀況，「超大量」，意味著數十億行數據。BigQuery 就是按指令在雲端運行的數據分析。
除此以外，谷歌還坐擁人們在谷歌網站進行搜索及經過其網路時所產生的大量機器數據。用戶所輸入的每一個搜索請求，都會讓谷歌知道他在尋找什麼，所有人類行為都會在互聯網上留下痕跡路徑，而谷歌佔領了一個絕佳的點位來捕捉和分析該路徑。
不僅如此，谷歌在搜索之外還有更多獲取數據的途徑。企業安裝「谷歌分析（Google Analytics）」之類的產品來追蹤訪問者在其站點的足跡，而谷歌也可獲得這些數據。網站還使用「谷歌廣告聯盟（Google Adsense）」，將來自谷歌廣告客戶網的廣告展示在其站點，因此，谷歌不僅可以洞察自己網站上廣告的展示效果，同樣還可以對其他廣告發布站點的展示效果一覽無余。
將所有這些數據集合在一起所帶來的結果是：企業不僅從最好的技術中獲益，同樣還可以從最好的信息中獲益。在信息技術方面，許多企業可謂耗資巨大，然而在信息技術的組成部分之一——信息領域，谷歌所進行的龐大投入和所獲得的巨大成功，卻罕有企業能望其項背。
亞馬遜步步緊逼
谷歌並不是惟一一個推行大數據的大型技術公司。互聯網零售商亞馬遜已經採取了一些激進的舉動，令其有可能成為谷歌的最大威脅。
曾有分析者預測，亞馬遜2015年營收將超過1000億美元，它即將趕超沃爾瑪成為世界最大的零售商。如同谷歌一樣，亞馬遜也要處理海量數據，只不過它處理數據帶有更強的電商傾向。消費者們在亞馬遜的網站上對想看的電視節目或是想買的產品所進行的每一次搜索，都會讓亞馬遜對該消費者的了解有所增加。基於搜索和產品購買行為，亞馬遜就可以知道接下來應該推薦什麼產品。而亞馬遜的聰明之處還不止於此，它還會在網站上持續不斷地測試新的設計方案，從而找出轉化率最高的方案。
你會認為亞馬遜網站上的某段頁面文字只是碰巧出現的嗎？如果你這樣認為的話，你應該再好好想一想。整個網站的布局、字體大小、顏色、按鈕以及其他所有的設計，其實都是在多次審慎測試後的最優結果。
以數據為導向的方法並不僅限於以上領域，按一位前員工的說法，亞馬遜的企業文化就是冷冰冰的數據導向型文化。數據顯示出什麼是有效的、什麼是無效的，新的商業投資項目必須要有數據的支撐。對數據的長期專注讓亞馬遜能夠以更低的售價提供更好的服務。消費者常常會完全跳過谷歌之類的搜索引擎，直接去亞馬遜網站搜索商品、並進行購買。
爭奪消費者控制權的戰爭硝煙還在彌漫擴散，蘋果、亞馬遜、谷歌，以及微軟，這四家公認的巨頭如今不僅在互聯網上廝殺，在移動領域同樣打得難解難分。鑒於消費者們把越來越多的時間花在手機和平板電腦等移動設備上，坐在電腦前的時間越來越少，因此，那些能進入消費者掌中移動設備的企業，將在銷售和獲取消費者行為信息方面更具有優勢。企業掌握的消費者群體和個體信息越多，它就越能夠更好地制定內容、廣告和產品。
從支撐新興技術企業的基礎設施到消費內容的移動設備，令人難以置信的是，亞馬遜的觸角已觸及到更為廣闊的領域。亞馬遜在幾年前就預見了將伺服器和存儲基礎設施開放給其他人的價值。「亞馬遜網路服務（Amazon Web Services，簡稱 AWS）」是亞馬遜公司知名的面向公眾的雲服務提供者，為新興企業和老牌公司提供可擴展的運算資源。雖然AWS 成立的時間不長，但已有分析者估計它每年的銷售額超過15億美元。
AWS所提供的運算資源為企業開展大數據行動鋪平了道路。當然，企業依然可以繼續投資建立以私有雲為形式的自有基礎設施，而且很多企業還會這樣做。但是如果企業想盡快利用額外的、
可擴展的運算資源，他們還可以方便快捷地在亞馬遜的公共雲上使用多個伺服器。如今亞馬遜引領潮流、備受矚目，靠的不僅是它自己的網站和Kindle之類新的移動設備，支持著數千個熱門站點的基礎設施同樣功不可沒。
AWS帶來的結果是，大數據分析不再需要企業在IT上投入固定成本，如今，獲取數據、分析數據都能夠在雲端簡單迅速地完成。換句話說，企業過去由於無法存儲而不得不拋棄數據，如今它們有能力獲取和分析規模空前的數據。
實現信息優勢
AWS之類的服務與Hadoop之類的開源技術相結合，意味著企業終於能夠嘗到信息技術在多年以前向世人所描繪的果實。
數十年來，人們對所謂「信息技術」的關注一直偏重於其中的「技術」部分。首席信息官的職責只不過是對伺服器、存儲和網路的購買及管理。而今，信息以及對信息的分析和存儲、依據信息進行預測的能力，正成為企業競爭優勢的來源。
信息技術剛剛興起的時候，較早應用信息技術的企業能夠更快地發展，超越他人。微軟在20世紀90年代樹立起威信，這不僅僅得益於它開發了世界上應用最為廣泛的操作系統，還在於它當時在公司內部將電子郵件作為標准溝通機制。
在許多企業仍在猶豫是否採用電子郵件的時候，電子郵件事實上已經成為微軟討論招聘、產品決策、市場戰略之類事務的機制。雖然群發電子郵件的交流在如今已是司空見慣，但在當時，這樣的舉措讓微軟較之其他未採用電子郵件的公司，更加具有速度和協作優勢。擁抱大數據、在不同的組織之間民主化地使用數據，將會給企業帶來與之相似的優勢。諸如谷歌和Facebook之類的企業已經從「數據民主」中獲益。
通過將內部數據分析平台開放給所有跟自己的公司相關的分析師、管理者和執行者，谷歌、Facebook 及其他一些公司已經讓組織中的所有成員都能向數據提出跟商業有關的問題、獲得答案
並迅速行動。 以Facebook為例，它將大數據推廣成為內部的服務，這意味著該服務不僅是為工程師設計的，也是為終端用戶——生產線管理人員設計的，他們需要運用查詢來找出有效的方案。因此，管理者們不需要等待幾天或是幾周的時間來找出網站的哪些改變最有效，或者哪些廣告方式效果最好，他們可以使用內部的大數據服務，而該服務就是為了滿足其需求而設計的，這使得數據分析的結果很容易就可以在員工之間被分享。
過去的二十年是信息技術的時代，接下來二十年的主題仍會是信息技術。這些企業能夠更快地處理數據，而公共數據資源和內部數據資源一體化將帶來獨特的洞見，使他們能夠遠遠超越競爭對手。如同我所撰寫的《大數據的八大定律》（The Top 8 Laws Of Big Data）所言，你分析數據的速度越快，它的預測價值就越大。企業如今正在漸漸遠離批量處理（批量處理指先存儲數據，事件之後再慢慢進行分析處理），轉向實時分析來獲取競爭優勢。
對於高管們而言，好消息是：來自於大數據的信息優勢不再只屬於谷歌、亞馬遜之類的大企業。Hadoop之類的開源技術讓其他企業同樣可以擁有這樣的優勢。老牌財富100強企業和新興初創公司，都能夠以合理的價格，利用大數據來獲得競爭優勢。
大數據的顛覆
大數據帶來的顛覆，不僅是與以往相比可以獲取和分析更多數據的能力，更重要的是獲取和分析等量數據的價格也正在顯著下降，而價格越低，銷量就會越高。然而，隱含其中的諷刺關系正如所謂的「傑文斯悖論」(Jevons Paradox)。經濟學家傑文斯通過觀察工業革命得出該悖論，並以他的名字命名（傑文斯悖論的核心是，資源利用率的提高導致價格降低 , 最終會增加資源的使用量。——譯者注）。科技進步使儲存和分析數據的方式變得更有效率，公司將做更多的數據分析，因此並沒有減少工作。簡而言之，這就是大數據帶來的顛覆。
從亞馬遜到谷歌，從IBM到惠普和微軟，大量的大型技術公司紛紛投身大數據，而基於大數據解決方案，更多初創型企業如雨後春筍般涌現，實現開放源和共享雲。大公司致力於橫向的大數據解決方案，與此同時，小公司則專注於為重要垂直業務提供應用程序。有些產品優化銷售效率，還有些產品通過將不同渠道的營銷業績與實際的產品使用數據相關聯，為未來營銷活動提供建議。這些大數據應用（Big Data Applications，簡稱BDA）意味著小公司不必在內部開發或配備所有大數據技術；在很多情況下，它們可以利用基於雲端的服務來滿足數據分析需求。在技術之外，這些小企業還會開發一些產品，追蹤記錄與健康相關的指標並據此提出改善人們行為的建議。諸如此類的產品有望減少肥胖，提高生活質量，同時降低醫療成本。
大數據路線圖
產業分析研究公司福雷斯特（Forrester）估計，企業數據的總量在以每年 94% 的增長率飆升。這樣的高速增長之下，每個企業都需要一個大數據路線圖。至少，企業應制訂獲取數據的戰略，獲取范圍應從內部電腦系統的常規機器日誌，到線上的用戶交互記錄。即使企業當時並不知道這些數據有什麼用也要這樣做，這些數據的用處隨後或許會突然被發現。
數據所具有的價值遠遠高於你最初的期待，千萬不要隨便拋棄數據。企業還需要一個計劃以應對數據的指數型增長。照片、即時信息以及電子郵件的數量非常龐大，由手機、GPS 及其他設備構成的「感應器」釋放出的數據量甚至還要更大。
理想情況下，企業應該具備一種能夠讓數據分析貫穿於整個組織的視野，分析應該盡可能地接近實時。通過觀察谷歌、亞馬遜、Facebook和其他科技領袖企業，你可以看到大數據之下的種種可能。管理者需要做的就是在組織中融入大數據戰略。
谷歌和亞馬遜這樣的企業，應用大數據進行決策已數年有餘，它們在數據處理上已經獲得了廣泛的成功。而現在，你也可以擁有同樣的能力。
以上是小編為大家分享的關於關於大數據你不可不知的大企業及大布局的相關內容，更多信息可以關注環球青藤分享更多干貨
⑻ 大數據量實時統計排序分頁查詢(並發數較小時)的幾點建議
大數據量實時統計排序分頁查詢的瓶頸不是函數（count，sum等）執行，
不是having, 也不是order by，甚至不是表join, 導致慢的原因就在於「數據量太大本身」
就是將表劃分為M份相互獨立的部分,可以是分表，也可以是不分表但冗餘一個取模結果欄位
實際結果是不分表比分表更加靈活，只需稍加配置，就可以動態切分大表，隨意更改M的大小。
將1條慢sql（大於30秒）拆分成為N條查詢速度巨快的sql(單條sql執行時間控制在20毫秒以內)
然後再web應用中以適當的線程數去並發查詢這些執行時間快的N條小sql再匯總結果
第一步查詢中去並發執行這N條小sql, 只取排序欄位和標識欄位，其他欄位一律丟棄
匯總結果後定位出當前頁面要顯示的pageNum條數據，再進行第二步查詢，取出頁面上需要展示的所有欄位
PS：這一點是至關重要的，其他幾點都可以不看，這點是最關鍵的。慢慢解釋一下：
有三種方式統計所有的記錄，
a) 第一種方式是把資料庫中所有記錄（只取排序欄位和標識欄位並且不做任何sum，count having order by等操作）
全部拉到web應用中，在web應用中完成所有的計算
b) 第二種方式是把資料庫中所有記錄做sum count having等操作之後的所有行數拉到web應用中，在web應用中完成剩餘計算
c) 第三種方式是把資料庫中所有記錄做sum count having order by等操作之後把limit後的數據拉到web應用中，
在web應用中對limit後的數據再計算
顯然，第一種方式 資料庫什麼活都不做只取數據 是不可行的。以lg_order_count_seller為例，1500萬行，
如果只算id, seller_id和order_count 這三個bigint類型，至少需要拉8*3*1500 0000 = 360000000=340M,
拉到內存中之後存儲需要8*4*15000000= 460M,這還不算List是的2的n次方這個特點和計算排序等的內存開銷，
不僅資料庫與web應用機器IO扛不住，就是應用自身恐怕也要OOM了。
第二種方式，所有記錄做sum count having等操作之後,由於是group by seller_id的，總得數據量變為100萬（就是賣家總數），
這樣子一來，共需要拉8*3*100 0000 = 23M,拉到內存之後，需要8*4*100 0000 = 30M, 再算上List是的2的n次方這個特點和
計算排序等的內存開銷也不會超過100M, IO的時間和內存開銷勉強可以考慮接受。
第三種方式，所有記錄做sum count having order by等操作之後把limit後的數據拉到web應用中，因為做了limit，所以，
數據量很小了，無論是IO還是內存開銷都已經很小了。可以忽略。
綜合以上三種，第三種方式適用於頁面的前n頁和後n頁，因為這個limit的數據量隨著頁數的增大而增大，
當大到每個切分後的小表的數據量時就轉為第二種方式了。
第二種方式適用於頁面的第[n+1, totaoPageNum-n]頁。
① 問題描述：
優化之前，還是是一條大慢sql查詢時，由於資料庫排序是穩定排序，
所以當兩條記錄排序欄位值相同時他們在頁面上的頁碼位置是固定的。
優化之後，當並行執行這N條小sql時，由於無法控制這些小sql的先後執行順序，
導致在web應用中當兩條記錄的排序欄位值相同時在頁面上的頁碼位置是隨機的。
② 解決辦法：
除了拉標識欄位(seller_id)和排序欄位(order_count_sum)之外，再取一個unique（id）的欄位，當兩條記錄的排序欄位值相同時，
再用這個unique的欄位（在賣家監控中這個欄位是id）進行第二次排序.這樣就解決了排序不穩定的問題。
③ 也許，看到這里會有疑問，為什麼不用seller_id？seller_id也是唯一， 這樣子不是少取id這個欄位，減少IO了？
seller_id雖然也是唯一，可以輔助排序，但是不要忘記資料庫的排序規則是：
如果兩列的值相等，那麼序號在前的排在前面，這里的序號就是主鍵(自動生成，autoincrement),
如果用seller_id的話還是不能保證排序的穩定性，只能用主鍵id.
把資料庫的連接，掃表，計算等資源優先讓給用戶關注的主要元素，次要元素可等主要元素載入完成之後再載入。
反應在賣家監控頁面中，查數據和查頁頁碼的sql語句基本相同，是在競爭同一資源，
所以，需要做一個策略，優先把資源讓給查數，數據查完之後再去查頁碼。
由於多線程取數據並沒有從本質上提高資料庫性能，所以必須針對大數據量實時統計排序分頁查詢做限流
我這里打個比方：食堂有6個窗口，物流團隊吃飯要買6個菜，平均每買1個菜需要1分鍾的時間，
如果派我一個人去一個窗口買的話需要6分鍾的時間
假如派6個人分別去6個窗口買這6個菜，只需要1分鍾的時間
但是，如果除了物流團隊，再來其他5個團隊呢，也就是說6個團隊每個團隊買6個菜共買36個菜，
這樣子有的團隊先買完，有的團隊後買完，但平均時間還是6分鍾。本質上沒有變化。
所以，對於特定的查詢條件，必須進行限流。讓每分鍾至多有6個團隊買菜，這樣子能使得情況變得不至於太糟糕。
這一點從目前來看只能是展望了，比如mysql資料庫換更為強大的oracle資料庫，
或更換InnoDb引擎為其他，或更換SATA硬碟為SSD 。。。。。。
相同的查詢條件，原來一個頁面查詢時間由於超過60秒超時了，根據1-6點建議優化之後，查詢時間變為2秒至3.5秒之間。
⑼ 跪求一對大數據量浮點數的快速排序演算法啊。。急用！
因為不知道你的數據從哪裡來，是從文本還是手動輸入...所以只提供個思路：
先動態建立個鏈表，用來存浮點數的整數部分，鏈表的每個單元下掛一個小的鏈表（其實只是理解上的小，實際和前面的鏈表是一樣的，下掛的鏈表定義為浮點型的）；這里你需要先定義結構體，含有一個整型數據和整型指針，指針存儲下掛的鏈表地址，下掛鏈表用於存儲浮點數的小數部分，然後用該結構體生成數組。這樣所有數據讀取進來後，都是按整數部分劃分存儲在一個鏈表下面，比如2.0034和2.412都是存儲在數據為2的鏈表下面，3.323和3.12124都是存儲在數據為3的鏈表下面。然後再對各個鏈表進行冒泡法排序或者是隨意一個你覺得可以的排序。
如果說整數部分相同但小數部分不同的數據很多很多，可以再往下細分。
希望能對你有所幫助！
⑽ 資料庫上百萬條，內部排序的原理是什麼
查詢時直接排序即可：
select 欄位1,欄位2,... from 你的表 where 條件 order by 欄位3,欄位4 desc,欄位5 desc
結果：版order by 欄位3,欄位4 desc,欄位5 desc：按欄位3從小到權大、欄位4從大到小、欄位5從大到小的順序排列，不用在內存中操作。