beautifulsoupjs渲染

Ⅰ 從python基礎到爬蟲的書有什麼值得推薦

入門：

《深入淺出 Python 》

《Python 編程從入門到實踐》

爬蟲：

《Python 網路數據採集》

《精版通 Python 網路爬蟲》韋瑋權

《Python3 網路爬蟲實戰》崔慶才

數據分析：

《利用 Python 進行數據分析》

《流暢的 python》

Ⅱ 如何用 beautifulsoup抓取js數據

代碼函數如下：
foundTds = soup.findAll(name="td", attrs={"style":"text-align:right;"}, text=re.compile("\d+(,\d+)*\.\d+"));

# !!! here match only the match re.compile text, not whole td tag
print "foundTds=",foundTds; #foundTds= [u'', u'1,']
if(foundTds):
for eachMoney in foundTds:
print "eachMoney=",eachMoney;
# eachMoney= 2
# eachMoney= 1

if __name__ == "__main__":
beautifulsoup_capture_money();

Ⅲ python用beautifulSoup寫爬蟲的一點小問題

我就說說幾點可能性，1是網腔手橡站針對爬蟲程序生成了不同的頁面代碼，處理辦法就是給 requests 請求加偽裝瀏覽器UA頭， 2是網站部分網頁代碼是非同步JS獲取的，這個情況可以考慮去抓取 AJAX 請求自身，或者伍旁使用 PhantomJS 處薯唯理動態內容喲

Ⅳ python爬蟲求一個只用requests庫和beautifulsoup庫抓取淘寶目錄頁面內容的框架。。自己抓不出來。絕望。

1. 可以將網頁下載下來先練習 BeautifulSoup 的解析。

2. requests 請求也是一樣先各個擊破的學猜指虧習。

3. 淘寶的請求回來的頁面 html沒有目錄數據，是因為有可能他們的頁面渲染穗神是通逗乎過 JS 來渲染的，所以你只用 BeautifulSoup 是不行的。需要使用其他支持 JS 的庫。
   

Ⅳ python BeautifulSoup不能解析<script>...<script>之間的內容

什麼意思?你是想把javascript產生的內容自動解析出來還是只提取出字元串中的內容.

Ⅵ Python課程內容都學習什麼啊

這里整理了一份Python全棧開發的學習路線，要學習以下內容：

第一階段：專業核心基礎

階段目標：

1. 熟練掌握Python的開發環境與編程核心知識

2. 熟練運用Python面向對象知識進行程序開發

3. 對Python的核心庫和組件有深入理解

4. 熟練應用SQL語句進行資料庫常用操作

5. 熟練運用Linux操作系統命令及環境配置

6. 熟練使用MySQL，掌握資料庫高級操作

7. 能綜合運用所學知識完成項目

知識點：

Python編程基礎、Python面向對象、Python高級進階、MySQL資料庫、Linux操作系統。

1、Python編程基礎，語法規則，函數與參數，數據類型，模塊與包，文件IO，培養扎實的Python編程基本功，同時對Python核心對象和庫的編程有熟練的運用。

2、Python面向對象，核心對象，異常處理，多線程，網路編程，深入理解面向對象編程，異常處理機制，多線程原理，網路協議知識，並熟練運用於項目中。

3、類的原理，MetaClass，下劃線的特殊方法，遞歸，魔術方法，反射，迭代器，裝飾器，UnitTest，Mock。深入理解面向對象底層原理，掌握Python開發高級進階技術，理解單元測試技術。

4、資料庫知識，範式，MySQL配置，命令，建庫建表，數據的增刪改查，約束，視圖，存儲過程，函數，觸發器，事務，游標，PDBC，深入理解資料庫管理系統通用知識及MySQL資料庫的使用與管理。為Python後台開發打下堅實基礎。

5、Linux安裝配置，文件目錄操作，VI命令，管理，用戶與許可權，環境配置，Docker，Shell編程Linux作為一個主流的伺服器操作系統，是每一個開發工程師必須掌握的重點技術，並且能夠熟練運用。

第二階段：PythonWEB開發

階段目標：

1. 熟練掌握Web前端開發技術，HTML，CSS，JavaScript及前端框架

2. 深入理解Web系統中的前後端交互過程與通信協議

3. 熟練運用Web前端和Django和Flask等主流框架完成Web系統開發

4. 深入理解網路協議，分布式，PDBC，AJAX，JSON等知識

5. 能夠運用所學知識開發一個MiniWeb框架，掌握框架實現原理

6. 使用Web開發框架實現貫穿項目

知識點：

Web前端編程、Web前端高級、Django開發框架、Flask開發框架、Web開發項目實戰。

1、Web頁面元素，布局，CSS樣式，盒模型，JavaScript，JQuery與Bootstrap掌握前端開發技術，掌握JQuery與BootStrap前端開發框架，完成頁面布局與美化。

2、前端開發框架Vue，JSON數據，網路通信協議，Web伺服器與前端交互熟練使用Vue框架，深入理解HTTP網路協議，熟練使用Swagger，AJAX技術實現前後端交互。

3、自定義Web開發框架，Django框架的基本使用，Model屬性及後端配置，Cookie與Session，模板Templates，ORM數據模型，Redis二級緩存，RESTful，MVC模型掌握Django框架常用API，整合前端技術，開發完整的WEB系統和框架。

4、Flask安裝配置，App對象的初始化和配置，視圖函數的路由，Request對象，Abort函數，自定義錯誤，視圖函數的返回值，Flask上下文和請求鉤子，模板，資料庫擴展包Flask-Sqlalchemy，資料庫遷移擴展包Flask-Migrate，郵件擴展包Flask-Mail。掌握Flask框架的常用API，與Django框架的異同，並能獨立開發完整的WEB系統開發。

第三階段：爬蟲與數據分析

階段目標：

1. 熟練掌握爬蟲運行原理及常見網路抓包工具使用，能夠對HTTP及HTTPS協議進行抓包分析

2. 熟練掌握各種常見的網頁結構解析庫對抓取結果進行解析和提取

3. 熟練掌握各種常見反爬機制及應對策略，能夠針對常見的反爬措施進行處理

4. 熟練使用商業爬蟲框架Scrapy編寫大型網路爬蟲進行分布式內容爬取

5. 熟練掌握數據分析相關概念及工作流程

6. 熟練掌握主流數據分析工具Numpy、Pandas和Matplotlib的使用

7. 熟練掌握數據清洗、整理、格式轉換、數據分析報告編寫

8. 能夠綜合利用爬蟲爬取豆瓣網電影評論數據並完成數據分析全流程項目實戰

知識點：

網路爬蟲開發、數據分析之Numpy、數據分析之Pandas。

1、爬蟲頁面爬取原理、爬取流程、頁面解析工具LXML，Beautifulfoup，正則表達式，代理池編寫和架構、常見反爬措施及解決方案、爬蟲框架結構、商業爬蟲框架Scrapy，基於對爬蟲爬取原理、網站數據爬取流程及網路協議的分析和了解，掌握網頁解析工具的使用，能夠靈活應對大部分網站的反爬策略，具備獨立完成爬蟲框架的編寫能力和熟練應用大型商業爬蟲框架編寫分布式爬蟲的能力。

2、Numpy中的ndarray數據結構特點、numpy所支持的數據類型、自帶的數組創建方法、算術運算符、矩陣積、自增和自減、通用函數和聚合函數、切片索引、ndarray的向量化和廣播機制，熟悉數據分析三大利器之一Numpy的常見使用，熟悉ndarray數據結構的特點和常見操作，掌握針對不同維度的ndarray數組的分片、索引、矩陣運算等操作。

3、Pandas裡面的三大數據結構，包括Dataframe、Series和Index對象的基本概念和使用，索引對象的更換及刪除索引、算術和數據對齊方法，數據清洗和數據規整、結構轉換，熟悉數據分析三大利器之一Pandas的常見使用，熟悉Pandas中三大數據對象的使用方法，能夠使用Pandas完成數據分析中最重要的數據清洗、格式轉換和數據規整工作、Pandas對文件的讀取和操作方法。

4、matplotlib三層結構體系、各種常見圖表類型折線圖、柱狀圖、堆積柱狀圖、餅圖的繪制、圖例、文本、標線的添加、可視化文件的保存，熟悉數據分析三大利器之一Matplotlib的常見使用，熟悉Matplotlib的三層結構，能夠熟練使用Matplotlib繪制各種常見的數據分析圖表。能夠綜合利用課程中所講的各種數據分析和可視化工具完成股票市場數據分析和預測、共享單車用戶群里數據分析、全球幸福指數數據分析等項目的全程實戰。

第四階段：機器學習與人工智慧

階段目標：

1. 理解機器學習相關的基本概念及系統處理流程

2. 能夠熟練應用各種常見的機器學習模型解決監督學習和非監督學習訓練和測試問題，解決回歸、分類問題

3. 熟練掌握常見的分類演算法和回歸演算法模型，如KNN、決策樹、隨機森林、K-Means等

4. 掌握卷積神經網路對圖像識別、自然語言識別問題的處理方式，熟悉深度學習框架TF裡面的張量、會話、梯度優化模型等

5. 掌握深度學習卷積神經網路運行機制，能夠自定義卷積層、池化層、FC層完成圖像識別、手寫字體識別、驗證碼識別等常規深度學習實戰項目

知識點：

1、機器學習常見演算法、sklearn數據集的使用、字典特徵抽取、文本特徵抽取、歸一化、標准化、數據主成分分析PCA、KNN演算法、決策樹模型、隨機森林、線性回歸及邏輯回歸模型和演算法。熟悉機器學習相關基礎概念，熟練掌握機器學習基本工作流程，熟悉特徵工程、能夠使用各種常見機器學習演算法模型解決分類、回歸、聚類等問題。

2、Tensorflow相關的基本概念，TF數據流圖、會話、張量、tensorboard可視化、張量修改、TF文件讀取、tensorflow playround使用、神經網路結構、卷積計算、激活函數計算、池化層設計，掌握機器學習和深度學習之前的區別和練習，熟練掌握深度學習基本工作流程，熟練掌握神經網路的結構層次及特點，掌握張量、圖結構、OP對象等的使用，熟悉輸入層、卷積層、池化層和全連接層的設計，完成驗證碼識別、圖像識別、手寫輸入識別等常見深度學習項目全程實戰。

Ⅶ python怎麼抓取微信閱

抓取微信公眾號的文章

一.思路分析

目前所知曉的能夠抓取的方法有：

1、微信APP中微信公眾號文章鏈接的直接抓取（http://mp.weixin.qq.com/s?__biz=MjM5MzU4ODk2MA==&mid=2735446906&idx=1&sn=&scene=0#rd）

2、通過微信合作方搜狗搜索引擎（http://weixin.sogou.com/），發送相應請求來間接抓取

第1種方法中，這種鏈接不太好獲取，而且他的規律不是特別清晰。

因此本文採用的是方法2----通過給 weixin.sogou.com 發送即時請求來實時解析抓取數據並保存到本地。

二.爬取過程

1、首先在搜狗的微信搜索頁面測試一下，這樣能夠讓我們的思路更加清晰

在搜索引擎上使用微信公眾號英文名進行「搜公眾號」操作（因為公眾號英文名是公眾號唯一的，而中文名可能會有重復，同時公眾號名字一定要完全正確，不然可能搜到很多東西，這樣我們可以減少數據的篩選工作，只要找到這個唯一英文名對應的那條數據即可），即發送請求到'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_= ' % 'python'，並從頁面中解析出搜索結果公眾號對應的主頁跳轉鏈接。

2.獲取主頁入口內容

使用request , urllib,urllib2,或者直接使用webdriver+phantomjs等都可以

這里使用的是request.get()的方法獲取入口網頁內容

[python]view plain

• #爬蟲偽裝頭部設置

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT6.3;WOW64;rv:51.0)Gecko/20100101Firefox/51.0'}

• #設置操作超時時長

• self.timeout=5

• #爬蟲模擬在一個request.session中完成

• self.s=requests.Session()




[python]view plain

• #搜索入口地址，以公眾為關鍵字搜索該公眾號

• defget_search_result_by_keywords(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

3.獲取公眾號地址

從獲取到的網頁內容中，得到公眾號主頁地址， 這一步驟有很多方法， beautifulsoup、webdriver，直接使用正則，pyquery等都可以

這里使用的是pyquery的方法來查找公眾號主頁入口地址

[python]view plain

• #獲得公眾號主頁地址

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

4.獲取公眾號主頁的文章列表

首先需要載入公眾號主頁，這里用的是phantomjs+webdriver, 因為這個主頁的內容需要JS 渲染載入，採用之前的方法只能獲得靜態的網頁內容

[python]view plain

• #使用webdriver載入公眾號主頁內容，主要是js渲染的部分

• defget_selenium_js_html(self,url):

• browser=webdriver.PhantomJS()

• browser.get(url)

• time.sleep(3)

• #執行js得到整個頁面內容

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

得到主頁內容之後，獲取文章列表，這個文章列表中有我們需要的內容

[python]view plain

• #獲取公眾號文章內容

• defparse_wx_articles_by_html(self,selenium_html):

• doc=pq(selenium_html)

• print'開始查找內容msg'

• returndoc('div[class="weui_media_boxappmsg"]')

• #有的公眾號僅僅有10篇文章，有的可能多一點

• #returndoc('div[class="weui_msg_card"]')#公眾號只有10篇文章文章的

5.解析每一個文章列表，獲取我們需要的信息

6.處理對應的內容

包括文章名字，地址，簡介，發表時間等

7.保存文章內容

以html的格式保存到本地

同時將上一步驟的內容保存成excel 的格式

8.保存json數據

這樣，每一步拆分完，爬取公眾號的文章就不是特別難了。

三、源碼

第一版源碼如下：

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

• importsys

• reload(sys)

• sys.setdefaultencoding('utf-8')

• fromurllibimportquote

• frompyqueryimportPyQueryaspq

• fromseleniumimportwebdriver

• importrequests

• importtime

• importre

• importjson

• importos

• classweixin_spider:

• def__init__(self,kw):

• '構造函數'

• self.kw=kw

• #搜狐微信搜索鏈接

• #self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&_sug_=n&_sug_type_='%quote(self.kw)

• self.sogou_search_url='http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_='%quote(self.kw)

• #爬蟲偽裝

• self.headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64;rv:47.0)Gecko/20100101FirePHP/0refox/47.0FirePHP/0.7.4.1'}

• #操作超時時長

• self.timeout=5

• self.s=requests.Session()

• defget_search_result_by_kw(self):

• self.log('搜索地址為：%s'%self.sogou_search_url)

• returnself.s.get(self.sogou_search_url,headers=self.headers,timeout=self.timeout).content

• defget_wx_url_by_sougou_search_html(self,sougou_search_html):

• '根據返回sougou_search_html，從中獲取公眾號主頁鏈接'

• doc=pq(sougou_search_html)

• #printdoc('p[class="tit"]')('a').attr('href')

• #printdoc('div[class=img-box]')('a').attr('href')

• #通過pyquery的方式處理網頁內容，類似用beautifulsoup，但是pyquery和jQuery的方法類似，找到公眾號主頁地址

• returndoc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

• defget_selenium_js_html(self,wx_url):

• '執行js渲染內容，並返回渲染後的html內容'

• browser=webdriver.PhantomJS()

• browser.get(wx_url)

• time.sleep(3)

• #執行js得到整個dom

• html=browser.execute_script("returndocument.documentElement.outerHTML")

• returnhtml

• defparse_wx_articles_by_html(self,selenium_html):

• '從selenium_html中解析出微信公眾號文章'

• doc=pq(selenium_html)

• returndoc('div[class="weui_msg_card"]')

• defswitch_arctiles_to_list(self,articles):

• '把articles轉換成數據字典'

• articles_list=[]

• i=1

• ifarticles:

• forarticleinarticles.items():

• self.log(u'開始整合(%d/%d)'%(i,len(articles)))

• articles_list.append(self.parse_one_article(article))

• i+=1

• #break

• returnarticles_list

• defparse_one_article(self,article):

• '解析單篇文章'

• article_dict={}

• article=article('.weui_media_box[id]')

• title=article('h4[class="weui_media_title"]').text()

• self.log('標題是：%s'%title)

• url='http://mp.weixin.qq.com'+article('h4[class="weui_media_title"]').attr('hrefs')

• self.log('地址為：%s'%url)

• summary=article('.weui_media_desc').text()

• self.log('文章簡述：%s'%summary)

• date=article('.weui_media_extra_info').text()

• self.log('發表時間為：%s'%date)

• pic=self.parse_cover_pic(article)

• content=self.parse_content_by_url(url).html()

• contentfiletitle=self.kw+'/'+title+'_'+date+'.html'

• self.save_content_file(contentfiletitle,content)

• return{

• 'title':title,

• 'url':url,

• 'summary':summary,

• 'date':date,

• 'pic':pic,

• 'content':content

• }

• defparse_cover_pic(self,article):

• '解析文章封面圖片'

• pic=article('.weui_media_hd').attr('style')

• p=re.compile(r'background-image:url(.∗?)')

• rs=p.findall(pic)

• self.log('封面圖片是：%s'%rs[0]iflen(rs)>0else'')

• returnrs[0]iflen(rs)>0else''

• defparse_content_by_url(self,url):

• '獲取文章詳情內容'

• page_html=self.get_selenium_js_html(url)

• returnpq(page_html)('#js_content')

• defsave_content_file(self,title,content):

• '頁面內容寫入文件'

• withopen(title,'w')asf:

• f.write(content)

• defsave_file(self,content):

• '數據寫入文件'

• withopen(self.kw+'/'+self.kw+'.txt','w')asf:

• f.write(content)

• deflog(self,msg):

• '自定義log函數'

• printu'%s:%s'%(time.strftime('%Y-%m-%d%H:%M:%S'),msg)

• defneed_verify(self,selenium_html):

• '有時候對方會封鎖ip，這里做一下判斷，檢測html中是否包含id=verify_change的標簽，有的話，代表被重定向了，提醒過一陣子重試'

• returnpq(selenium_html)('#verify_change').text()!=''

• defcreate_dir(self):

• '創建文件夾'

• ifnotos.path.exists(self.kw):

• os.makedirs(self.kw)

• defrun(self):

• '爬蟲入口函數'

• #Step0：創建公眾號命名的文件夾

• self.create_dir()

• #Step1：GET請求到搜狗微信引擎，以微信公眾號英文名稱作為查詢關鍵字

• self.log(u'開始獲取，微信公眾號英文名為：%s'%self.kw)

• self.log(u'開始調用sougou搜索引擎')

• sougou_search_html=self.get_search_result_by_kw()

• #Step2：從搜索結果頁中解析出公眾號主頁鏈接

• self.log(u'獲取sougou_search_html成功，開始抓取公眾號對應的主頁wx_url')

• wx_url=self.get_wx_url_by_sougou_search_html(sougou_search_html)

• self.log(u'獲取wx_url成功，%s'%wx_url)

• #Step3：Selenium+PhantomJs獲取js非同步載入渲染後的html

• self.log(u'開始調用selenium渲染html')

• selenium_html=self.get_selenium_js_html(wx_url)

• #Step4:檢測目標網站是否進行了封鎖

• ifself.need_verify(selenium_html):

• self.log(u'爬蟲被目標網站封鎖，請稍後再試')

• else:

• #Step5:使用PyQuery，從Step3獲取的html中解析出公眾號文章列表的數據

• self.log(u'調用selenium渲染html完成，開始解析公眾號文章')

• articles=self.parse_wx_articles_by_html(selenium_html)

• self.log(u'抓取到微信文章%d篇'%len(articles))

• #Step6:把微信文章數據封裝成字典的list

• self.log(u'開始整合微信文章數據為字典')

• articles_list=self.switch_arctiles_to_list(articles)

• #Step7:把Step5的字典list轉換為Json

• self.log(u'整合完成，開始轉換為json')

• data_json=json.mps(articles_list)

• #Step8:寫文件

• self.log(u'轉換為json完成，開始保存json數據到文件')

• self.save_file(data_json)

• self.log(u'保存完成，程序結束')

• #main

• if__name__=='__main__':

• gongzhonghao=raw_input(u'輸入要爬取的公眾號')

• ifnotgongzhonghao:

• gongzhonghao='python6359'

• weixin_spider(gongzhonghao).run()

第二版代碼：

對代碼進行了一些優化和整改，主要：

1.增加了excel存貯

2.對獲取文章內容規則進行修改

3.豐富了注釋

本程序已知缺陷： 如果公眾號的文章內容包括視視頻，可能會報錯。

[python]view plain

• #!/usr/bin/python

• #coding:utf-8

Ⅷ 關於蟲師的pdf中python+selenium的多進程執行測試用例失敗的問題

#之前用過如下代碼爬過豆瓣用戶，效率還可以
#好像叫gevent協稱模塊來著，你可以試試。

#!/usr/bin/envpython
#coding:utf-8
fromseleniumimportwebdriver
fromselenium.webdriver.phantomjs.
fromgeventimportmonkey

monkey.patch_all()
importgevent
importsys
importtime
defdoJob(urls,name):
	service_args=[
	
	]
	browser=webdriver.PhantomJS(executable_path=r'D:TestProjectphantomjsinphantomjs.exe',service_args=service_args)
	wr=open('done/'+name+'.txt','w')
	forurlinurls:
		browser.get(url)
		time.sleep(1)
		soup=BeautifulSoup(browser.page_source.encode('utf-8'))
		findNames=soup.findAll('div',attrs={'class':'name'})
		iffindNamesisNone:
			printurl
		forsubinfindNames:
			n=sub.a.string.encode('utf8')ifsub.a.stringisnotNoneelse''
			pl=sub.span.string.encode('utf8')ifsub.span.stringisnotNoneelse''
			wr.write(n+','+pl)
			wr.write('
')
	wr.close()
	browser.quit()
files={'culture':[],'travel':[],'ent':[],'fashion':[],'life':[],'tech':[]}
forkey_fninfiles:
	withopen(key_fn+'.link','r')asf:
		files[key_fn]=f.read().split('
')
gevent.joinall([
		gevent.spawn(doJob,files['culture'],'culture'),
		gevent.spawn(doJob,files['travel'],'travel'),
		gevent.spawn(doJob,files['ent'],'ent'),
		gevent.spawn(doJob,files['fashion'],'fashion'),
		gevent.spawn(doJob,files['life'],'life'),
		gevent.spawn(doJob,files['tech'],'tech'),
])

Ⅸ python 用 beautifulsoup 獲得 <div id="z"></div>的東西

一、你取到的跟瀏覽器不一樣，這一般是因為內容是js生成或者js以ajax取到然後更新進去的。
想要自己寫代碼解決恐怕你要自己分析一下網頁所帶的js的功能了，或者想偷懶的話用webbrowser之類的模塊通過瀏覽器來取得內容。
二、要取div的id屬性用BeautifulSoup即可達到目的，要是裝了PyQuery的就更簡單，下面給個BeautifulSoup的例子：
from bs4 import BeautifulSoup
sp = BeautifulSoup('<div id="z"></div>')
assert(sp.div['id'],'z')
print sp.div['id']

Ⅹ Selemium 實戰

Q1: 怎麼在ip被封之後實現自動更換代理池內的代理？

A1: 用random.choice 隨機選取ip

Q2: 如何用一句通俗的語言解釋清楚request、beautifulsoup和selenium三者與瀏覽器之間的關系？

A2: bs4將html變成樹結構，lxml將html變成文件結構，都是為了方便查找。re為匹配模式。
BeautifulSoup：處理速度快，同時可以 連續 查找，主要 用於靜態網頁

經過BeautifulSoup處理以後，編碼方式都變成了Unicode,需要將其變成所燃悶需的編碼方式：可以利用encode(『需要的和舉編碼』)，還可以利用 BeautifulSoup(網頁/html, lxml/xml」).prettify(『皮棚彎需要的編碼』) 可以利用soup.original_encoding檢測原來的編碼。

Selenium：主要用於 動態網頁 ，查找速度慢，解析時要注意 .find_ elements by_xpath和.find element _by_xpath有區別，同時利用瀏覽器時要配置。 .PhantomJS：
drive=webdriver.PhantomJS(『D:Anaconda2phantomjswindow sin phantomjs.exe』)

Q3: 構建好代理池後，如何在一次爬蟲中自動切換代理？ 比如代理無效，或者代理ip被封，這時自動切換下一個ip。

A3: 首先你要有一個ip代理池（如果比較豪可以自己買真實ip自行搭建，好處獨享有技術門檻,或者找第三方ip代理商對接,好吃廉價,但ip不獨享）， 真實ip需要自己寫程序來代理轉發，第三方ip代理商則會提供相關轉發API,直接調用就可以，這東西沒什麼技術難度

Q4: ip_list.append(f'{protpcol}://{ip}:{port}')這里的f是格式化？

A4: