A. 如何使用Python分析大數據
#coding:utf-8
#file: FileSplit.py
import os,os.path,time
def FileSplit(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
number = 100000 #每個小文件中保存100000條數據
dataLine = sFile.readline()
tempData = [] #緩存列表
fileNum = 1
if not os.path.isdir(targetFolder): #如果目標目錄不存在，則創建
os.mkdir(targetFolder)
while dataLine: #有數據
for row in range(number):
tempData.append(dataLine) #將一行數據添加到列表中
dataLine = sFile.readline()
if not dataLine :
break
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tempData) #將列表保存到文件中
tFile.close()
tempData = [] #清空緩存列表
print(tFilename + " 創建於: " + str(time.ctime()))
fileNum += 1 #文件編號
sFile.close()
if __name__ == "__main__" :
FileSplit("access.log","access")
====
#coding:utf-8
#file: Map.py
import os,os.path,re
def Map(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
dataLine = sFile.readline()
tempData = {} #緩存列表
if not os.path.isdir(targetFolder): #如果目標目錄不存在，則創建
os.mkdir(targetFolder)
while dataLine: #有數據
p_re = re.compile(r'(GET|POST)\s(.*?)\sHTTP/1.[01]',re.IGNORECASE) #用正則表達式解析數據
match = p_re.findall(dataLine)
if match:
visitUrl = match[0][1]
if visitUrl in tempData:
tempData[visitUrl] += 1
else:
tempData[visitUrl] = 1
dataLine = sFile.readline() #讀入下一行數據
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tList) #將列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Map("access\\access.log1.txt","access")
Map("access\\access.log2.txt","access")
Map("access\\access.log3.txt","access")
==
#coding:utf-8
#file: Rece.py
import os,os.path,re
def Rece(sourceFolder, targetFile):
tempData = {} #緩存列表
p_re = re.compile(r'(.*?)(\d{1,}$)',re.IGNORECASE) #用正則表達式解析數據
for root,dirs,files in os.walk(sourceFolder):
for fil in files:
if fil.endswith('_map.txt'): #是rece文件
sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')
dataLine = sFile.readline()
while dataLine: #有數據
subdata = p_re.findall(dataLine) #用空格分割數據
#print(subdata[0][0]," ",subdata[0][1])
if subdata[0][0] in tempData:
tempData[subdata[0][0]] += int(subdata[0][1])
else:
tempData[subdata[0][0]] = int(subdata[0][1])
dataLine = sFile.readline() #讀入下一行數據
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')
tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")
tFile = open(tFilename, 'a+') #創建小文件
tFile.writelines(tList) #將列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Rece("access","access")
B. c語言處理文件里的大數據
只能分塊處理了，讀入一塊、處理一塊、存儲一塊，資料庫就是這么乾的。
C. 大數據是學什麼的,工作干什麼
一、學習內容
基礎階段：Linux、Docker、MySQL基礎、Oracle基礎、MongoDB、redis。
hadoop maprece hadoop，HDFS工作原理，YARN介紹及組件介紹。
大數據存儲階段：hbase、hive、sqoop。
大數據架構設計階段：Flume分布式、Zookeeper、Kafka。
大數據實時計算階段：Mahout、Spark、storm。
大數據數據採集階段：Python、Scala。
數據分析：python(含numpy，pandas等)，R，Matlab（選一個即可）
實戰階段：(若選擇python)，機器學習及sklearn使用，深度學習及tensorflow, keras, pytorch等框架使用；
大數據商業實戰階段：實操企業大數據處理業務場景，分析需求、解決方案實施，綜合技術實戰應用。
二、工作崗位有
1、Hadoop開發工程師
Hadoop是一個分布式文件系統(Hadoop Distributed File System)，簡稱HDFS。Hadoop是一個能夠對大量數據進行分布式處理的軟體框架， 以一種可靠、高效、可伸縮的方式進行數據處理。所以說Hadoop解決了大數據如何存儲的問題，因而在大數據培訓機構中是必須學習的課程。
2、數據分析師
數據分析師是數據師的一種，指的是不同行業中，專門從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。在工作中通過運用工具，提取、分析、呈現數據，實現數據的商業意義。
3、數據挖掘工程師
做數據挖掘要從海量數據中發現規律，這就需要一定的數學知識，最基本的比如線性代數、高等代數、凸優化、概率論等。
4、大數據可視化工程師
隨著大數據在人們工作及日常生活中的應用，大數據可視化也改變著人類的對信息的閱讀和理解方式。從網路遷徙到谷歌流感趨勢，再到阿里雲推出縣域經濟可視化產品，大數據技術和大數據可視化都是幕後的英雄。
D. 大數據是什麼大數據和Hadoop之間有什麼聯系
大數據在近些年來越來越火熱，人們在提到大數據遇到了很多相關概念上的問題，比如雲計算、 Hadoop等等。那麼，大數據是什麼、Hadoop是什麼，大數據和Hadoop有什麼關系呢？
大數據概念早在1980年，著名未來學家阿爾文·托夫勒提出的概念。2009年美國互聯網數據中心證實大數據時代的來臨。隨著谷歌MapRece和 GoogleFile System （GFS）的發布，大數據不再僅用來描述大量的數據，還涵蓋了處理數據的速度。目前定義：大數據(big data)，或稱巨量資料，指的是所涉及的資料量規模巨大到無法透過目前主流軟體工具在合理時間內獲取、管理、處理、並整理為幫助企業經營決策。
大數據目前分為四大塊：大數據技術、大數據工程、大數據科學和大數據應用。其中雲計算是屬於大數據技術的范疇，是一種通過Internet以服務 的方式提供動態可伸縮的虛擬化的資源的計算模式。那麼這種計算模式如何實現呢，Hadoop的來臨解決了這個問題，Hadoop是Apache（阿帕切） 的一個開源項目，它是一個對大量數據進行分布式處理的軟體架構，在這個架構下組織的成員HDFS（Hadoop分布式文件系統），MapRece、 Hbase 、Zookeeper（一個針對大型分布式系統的可靠協調系統），hive（基於Hadoop的一個數據倉庫工具）等。
1.雲計算屬於大數據中的大數據技術范疇。
2.雲計算包含大數據。
3.雲和大數據是兩個領域。
雲計算是指利用由大量計算節點構成的可動態調整的虛擬化計算資源，通過並行化和分布式計算技術，實現業務質量的可控的大數據處理的計算技術。而作為雲計算技術中的佼佼者，Hadoop以其低成本和高效率的特性贏得了市場的認可。Hadoop項目名稱來源於創立者Doung Cutting兒子的一個玩具，一頭黃色的大象。
Hadoop項目的目標是建立一個可擴展開源軟體框架，能夠對大數據進行可靠的分布式處理。
Hadoop的框架最核心的設計就是：HDFS和MapRece。HDFS為海量的數據提供了存儲，則MapRece為海量的數據提供了計算。HDFS是一個分布式文件系統，具有低成本、高可靠性性、高吞吐量的特點。MapRece是一個變成模型和軟體框架。
簡單理解，Hadoop是一個開源的大數據分析軟體，或者說編程模式。它是通過分布式的方式處理大數據的，因為開元的原因現在很多的企業或多或少的在運用hadoop的技術來解決一些大數據的問題，在數據倉庫方面hadoop是非常強大的。但在數據集市以及實時的分析展現層面，hadoop也有著明顯的不足，現在一個比較好的解決方案是架設hadoop的數據倉庫而數據集市以及實時分析展現層面使用永洪科技的大數據產品，能夠很好地解決hadoop的分時間長以及其他的問題。
Hadoop大數據技術案例
讓Hadoop和其他大數據技術如此引人注目的部分原因是，他們讓企業找到問題的答案，而在此之前他們甚至不知道問題是什麼。這可能會產生引出新產品的想法，或者幫助確定改善運營效率的方法。不過，也有一些已經明確的大數據用例，無論是互聯網巨頭如谷歌，Facebook和LinkedIn還是更多的傳統企業。它們包括：
情感分析： Hadoop與先進的文本分析工具結合，分析社會化媒體和社交網路發布的非結構化的文本，包括Tweets和Facebook，以確定用戶對特定公司，品牌或產品的情緒。分析既可以專注於宏觀層面的情緒，也可以細分到個人用戶的情緒。
風險建模： 財務公司、銀行等公司使用Hadoop和下一代數據倉庫分析大量交易數據，以確定金融資產的風險，模擬市場行為為潛在的「假設」方案做准備，並根據風險為潛在客戶打分。
欺詐檢測： 金融公司、零售商等使用大數據技術將客戶行為與歷史交易數據結合來檢測欺詐行為。例如，信用卡公司使用大數據技術識別可能的被盜卡的交易行為。
客戶流失分析： 企業使用Hadoop和大數據技術分析客戶行為數據並確定分析模型，該模型指出哪些客戶最有可能流向存在競爭關系的供應商或服務商。企業就能採取最有效的措施挽留欲流失客戶。
用戶體驗分析： 面向消費者的企業使用Hadoop和其他大數據技術將之前單一 客戶互動渠道（如呼叫中心，網上聊天，微博等）數據整合在一起， 以獲得對客戶體驗的完整視圖。這使企業能夠了解客戶交互渠道之間的相互影響，從而優化整個客戶生命周期的用戶體驗。
當然，上述這些都只是大數據用例的舉例。事實上，在所有企業中大數據最引人注目的用例可能尚未被發現。這就是大數據的希望。
E. 大數據專業需要學習什麼知識
學習要根據自身情況來定，如果你是零基礎，那就必須先從基礎java開始學起（大數據支持很多開發語言，但企業用的最多的還是JAVA），接下來學習數據結構、Linux系統操作、關系型資料庫，夯實基礎之後，再進入大數據的學習，具體可以按照如下體系：
第一階段
CORE JAVA （加**的需重點熟練掌握，其他掌握）
Java基礎**
數據類型，運算符、循環，演算法，順序結構程序設計，程序結構，數組及多維數組
面向對象**
構造方法、控制符、封裝
繼承**
多態**
抽象類、介面**
常用類
集合Collection、list**
HashSet、TreeSet、Collection
集合類Map**
異常，File
文件/流**
數據流和對象流**
線程（理解即可）
網路通信（理解即可）
第二階段
數據結構
關系型資料庫
Linux系統操作
Linux操作系統概述，安裝Linux操作系統，圖形界面操作基礎，Linux字元界面基礎，字元界面操作進階，用戶、組群和許可權管理，文件系統管理，軟體包管理與系統備份，Linux網路配置 （主要掌握Linux操作系統的理論基礎和伺服器配置實踐知識，同時通過大量實驗，著重培養動手能力。了解Linux操作系統在行業中的重要地位和廣泛的使用范圍。在學習Linux的基礎上，加深對伺服器操作系統的認識和實踐配置能力。加深對計算機網路基礎知識的理解，並在實踐中加以應用。掌握Linux操作系統的安裝、命令行操作、用戶管理、磁碟管理、文件系統管理、軟體包管理、進程管理、系統監測和系統故障排除。掌握Linux操作系統的網路配置、DNS、DHCP、HTTP、FTP、SMTP和POP3服務的配置與管理。為更深一步學習其它網路操作系統和軟體系統開發奠定堅實的基礎。與此同時，如果大家有時間把javaweb及框架學習一番，會讓你的大數據學習更自由一些）
重點掌握：
常見演算法
資料庫表設計，SQL語句，Linux常見命令
第三階段
Hadoop階段
離線分析階段
實時計算階段
重點掌握：
Hadoop基礎，HDFS，MapRece，分布式集群，Hive，Hbase，Sqoop
，Pig，Storm實時數據處理平台，Spark平台
F. 「大數據」與「海量數據」有哪些區別
」大數據」包含了」海量數據」的含義，而且在內容上超越了海量數據，簡而言之，」回大數據」答是」海量數據」+復雜類型的數據。大數據包括交易和交互數據集在內的所有數據集，其規模或復雜程度超出了常用技術按照合理的成本和時限捕捉、管理及處理這些數據集的能力。
G. 如何讀取txt文件中的大數據
java讀取來txt文件內容。可以作如源下理解：
首先獲得一個文件句柄。File file = new File(); file即為文件句柄。兩人之間連通電話網路了。接下來可以開始打電話了。
通過這條線路讀取甲方的信息：new FileInputStream(file) 目前這個信息已經讀進來內存當中了。接下來需要解讀成乙方可以理解的東西
既然你使用了FileInputStream()。那麼對應的需要使用InputStreamReader()這個方法進行解讀剛才裝進來內存當中的數據
解讀完成後要輸出呀。那當然要轉換成IO可以識別的數據呀。那就需要調用位元組碼讀取的方法BufferedReader()。同時使用bufferedReader()的readline(）方法讀取txt文件中的每一行數據哈。
H. 大數據的Hadoop是做什麼的
Hadoop是一個由抄Apache基金會所開發的分布式系統基礎架構，是用Java語言開發的一個開源分布式計算平台，適合大數據的分布式存儲和計算平台。
Hadoop是目前被廣泛使用的大數據平台，本身就是大數據平台研發人員的工作成果，Hadoop是目前比較常見的大數據支撐性平台。
I. 大數據主要學習什麼呢
大數據來是近五年興起的自行業，發展迅速，大數據需要學習什麼?
大數據需要的語言
Java、Scala、Python和Shell
分布式計算
分布式計算研究的是如何把一個需要非常巨大的計算能力才能解決的問題分成許多小的部分，然後把這些部分分配給許多伺服器進行處理，最後把這些計算結果綜合起來得到最終的結果。
分布式存儲
是將數據分散存儲在多台獨立的設備上。採用的是可擴展的系統結構，利用多台存儲伺服器分擔存儲負荷，利用位置伺服器定位存儲信息，它不但提高了系統的可靠性、可用性和存取效率，還易於擴展。
分布式調度與管理
分布式的集群管理需要有個組件去分配調度資源給各個節點，這個東西叫yarn; 需要有個組件來解決在分布式環境下"鎖"的問題，這個東西叫zookeeper; 需要有個組件來記錄任務的依賴關系並定時調度任務，這個東西叫azkaban。