linux網站爬蟲

① linux下python怎麼寫爬蟲獲取圖片

跟linux有什麼關系，python是跨平台的，爬取圖片的代碼如下：

import urllib.requestimport osimport randomdef url_open(url):
req=urllib.request.Request(url) #為請求設置user-agent,使得程序看起來更像一個人類
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:43.0) Gecko/20100101 Firefox/43.0') #代理IP，使用戶能以不同IP訪問，從而防止被伺服器發現
'''iplist=['1.193.162.123:8000','1.193.162.91:8000','1.193.163.32:8000']
proxy_support=urllib.request.ProxyHandler({'http':random.choice(iplist)})
opener=urllib.request.build_opener(proxy_support)
opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.154 Safari/537.36 LBBROWSER')]

urllib.request.install_opener(opener)'''

response=urllib.request.urlopen(req)
html=response.read() return htmldef get_page(url):

html=url_open(url).decode('utf-8')
a=html.find('current-comment-page')+23
b=html.find(']',a) #print(html[a:b])
return html[a:b]def find_imgs(url):
html=url_open(url).decode('utf-8')
img_addrs=[]

a=html.find('img src=') while a!=-1:
b=html.find('.jpg',a,a+140) if b!=-1: if html[a+9]!='h':
img_addrs.append('http:'+html[a+9:b+4]) else:
img_addrs.append(html[a+9:b+4]) else:
b=a+9

a=html.find('img src=',b) for each in img_addrs:
print(each+'我的列印') return img_addrsdef save_imgs(folder,img_addrs):
for each in img_addrs: #print('one was saved')
filename=each.split('/')[-1] with open(filename,'wb') as f:
img=url_open(each)
f.write(img)def download_mm(folder='ooxx',pages=10):
os.mkdir(folder)
os.chdir(folder)

url=""
page_num=int(get_page(url)) for i in range(pages):
page_num=page_num-1
page_url=url+'page-'+str(page_num)+'#comments'
img_addrs=find_imgs(page_url)
save_imgs(folder,img_addrs)if __name__=='__main__':
download_mm()

完成

運行結果

② 精通Python網路爬蟲之網路爬蟲學習路線

欲精通Python網路爬蟲，必先了解網路爬蟲學習路線，本篇經驗主要解決這個問題。部分內容參考自書籍《精通Python網路爬蟲》。

作者：韋瑋

轉載請註明出處

隨著大數據時代的到來，人們對數據資源的需求越來越多，而爬蟲是一種很好的自動採集數據的手段。

那麼，如何才能精通Python網路爬蟲呢？學習Python網路爬蟲的路線應該如何進行呢？在此為大傢具體進行介紹。

1、選擇一款合適的編程語言

事實上，Python、PHP、JAVA等常見的語言都可以用於編寫網路爬蟲，你首先需要選擇一款合適的編程語言，這些編程語言各有優勢，可以根據習慣進行選擇。在此筆者推薦使用Python進行爬蟲項目的編寫，其優點是：簡潔、掌握難度低。

2、掌握Python的一些基礎爬蟲模塊

當然，在進行這一步之前，你應當先掌握Python的一些簡單語法基礎，然後才可以使用Python語言進行爬蟲項目的開發。

在掌握了Python的語法基礎之後，你需要重點掌握一個Python的關於爬蟲開發的基礎模塊。這些模塊有很多可以供你選擇，比如urllib、requests等等，只需要精通一個基礎模塊即可，不必要都精通，因為都是大同小異的，在此推薦的是掌握urllib，當然你可以根據你的習慣進行選擇。

3、深入掌握一款合適的表達式

學會了如何爬取網頁內容之後，你還需要學會進行信息的提取。事實上，信息的提取你可以通過表達式進行實現，同樣，有很多表達式可以供你選擇使用，常見的有正則表達式、XPath表達式、BeautifulSoup等，這些表達式你沒有必要都精通，同樣，精通1-2個，其他的掌握即可，在此建議精通掌握正則表達式以及XPath表達式，其他的了解掌握即可。正則表達式可以處理的數據的范圍比較大，簡言之，就是能力比較強，XPath只能處理XML格式的數據，有些形式的數據不能處理，但XPath處理數據會比較快。

4、深入掌握抓包分析技術

事實上，很多網站都會做一些反爬措施，即不想讓你爬到他的數據。最常見的反爬手段就是對數據進行隱藏處理，這個時候，你就無法直接爬取相關的數據了。作為爬蟲方，如果需要在這種情況下獲取數據，那麼你需要對相應的數據進行抓包分析，然後再根據分析結果進行處理。一般推薦掌握的抓包分析工具是Fiddler，當然你也可以用其他的抓包分析工具，沒有特別的要求。

5、精通一款爬蟲框架

事實上，當你學習到這一步的時候，你已經入門了。

這個時候，你可能需要深入掌握一款爬蟲框架，因為採用框架開發爬蟲項目，效率會更加高，並且項目也會更加完善。

同樣，你可以有很多爬蟲框架進行選擇，比如Scrapy、pySpider等等，一樣的，你沒必要每一種框架都精通，只需要精通一種框架即可，其他框架都是大同小異的，當你深入精通一款框架的時候，其他的框架了解一下事實上你便能輕松使用，在此推薦掌握Scrapy框架，當然你可以根據習慣進行選擇。

6、掌握常見的反爬策略與反爬處理策略

反爬，是相對於網站方來說的，對方不想給你爬他站點的數據，所以進行了一些限制，這就是反爬。

反爬處理，是相對於爬蟲方來說的，在對方進行了反爬策略之後，你還想爬相應的數據，就需要有相應的攻克手段，這個時候，就需要進行反爬處理。

事實上，反爬以及反爬處理都有一些基本的套路，萬變不離其宗，這些後面作者會具體提到，感興趣的可以關注。

常見的反爬策略主要有：

IP限制

UA限制

Cookie限制

資源隨機化存儲

動態載入技術

……

對應的反爬處理手段主要有：

IP代理池技術

用戶代理池技術

Cookie保存與處理

自動觸發技術

抓包分析技術+自動觸發技術

……

這些大家在此先有一個基本的思路印象即可，後面都會具體通過實戰案例去介紹。

7、掌握PhantomJS、Selenium等工具的使用

有一些站點，通過常規的爬蟲很難去進行爬取，這個時候，你需要藉助一些工具模塊進行，比如PhantomJS、Selenium等，所以，你還需要掌握PhantomJS、Selenium等工具的常規使用方法。

8、掌握分布式爬蟲技術與數據去重技術

如果你已經學習或者研究到到了這里，那麼恭喜你，相信現在你爬任何網站都已經不是問題了，反爬對你來說也只是一道形同虛設的牆而已了。

但是，如果要爬取的資源非常非常多，靠一個單機爬蟲去跑，仍然無法達到你的目的，因為太慢了。

所以，這個時候，你還應當掌握一種技術，就是分布式爬蟲技術，分布式爬蟲的架構手段有很多，你可以依據真實的伺服器集群進行，也可以依據虛擬化的多台伺服器進行，你可以採用urllib+redis分布式架構手段，也可以採用Scrapy+redis架構手段，都沒關系，關鍵是，你可以將爬蟲任務部署到多台伺服器中就OK。

至於數據去重技術，簡單來說，目的就是要去除重復數據，如果數據量小，直接採用資料庫的數據約束進行實現，如果數據量很大，建議採用布隆過濾器實現數據去重即可，布隆過濾器的實現在Python中也是不難的。

以上是如果你想精通Python網路爬蟲的學習研究路線，按照這些步驟學習下去，可以讓你的爬蟲技術得到非常大的提升。

至於有些朋友問到，使用Windows系統還是Linux系統，其實，沒關系的，一般建議學習的時候使用Windows系統進行就行，比較考慮到大部分朋友對該系統比較數據，但是在實際運行爬蟲任務的時候，把爬蟲部署到Linux系統中運行，這樣效率比較高。由於Python的可移植性非常好，所以你在不同的平台中運行一個爬蟲，代碼基本上不用進行什麼修改，只需要學會部署到Linux中即可。所以，這也是為什麼說使用Windows系統還是Linux系統進行學習都沒多大影響的原因之一。

本篇文章主要是為那些想學習Python網路爬蟲，但是又不知道從何學起，怎麼學下去的朋友而寫的。希望通過本篇文章，可以讓你對Python網路爬蟲的研究路線有一個清晰的了解，這樣，本篇文章的目的就達到了，加油！

本文章由作者韋瑋原創，轉載請註明出處。

③ python和linux到底有關系

python和linux兩者間沒什麼關系，python是一門程序設計語言，linux是一個操作系統，向上支持應用軟體的運行，向下控制硬體，是軟體和硬體的過渡層。Python語言可以在Linux系統下學習和開發。

比如，如果是想用Python開發網站（現今流行的、成熟的Python Web框架)就需要使用到Linux平台；如果想使用Python爬蟲爬取數據，在Linux系統上也要更方便一些；還有就是想學習網路安全滲透測試，在Linux上編寫Python自動化測試腳本也很有必要。

(3)linux網站爬蟲擴展閱讀：

可以通過python對linux進行操作，利用python操縱linux的命令為：

1、import os

#返回操作系統類型，值為posix，是linux操作系統，值為nt，是window操作系統

2、print os.name

#返回操作系統的詳細信息

3、print os.uname()

#系統的環境變數

4、print os.environ

print os.environ.get('PATH')

#判斷是否為絕對路徑（不會判斷文件或者目錄是否存在）

5、print os.path.isabs('/tmp/westos')

print os.path.isabs('hello')

#生成絕對路徑

④ linux下nginx如何啟用網站日誌，查看蜘蛛爬蟲

默認的路徑是復你安裝時候指定的制
如果用的LNMP之類的安裝包
你可以在SHELL下
whereisnginx
找到相應的路徑之後
在NGINX下的CONF文件夾里看配置文件，日誌文件如果記錄了話
在配置文件里有路徑的～