Ⅰ 如何「爬數據」
簡單籠統的說，爬數據搞定以下幾個部分，就可以小打小鬧一下了。
一、指定URL的模式，比如知乎問題的URL為http://hu.com/question/xxxx，然後抓取html的內容就可以了。用的工具，如果你正則很好，可以用正則，覺得正則費腦子的，可以用html解析DOM節點來處理內容。如果你抓取的內容有其固有特點，如新聞內容，可以用正文抓取演算法，其實就是找html中最長的幾行字元串。
二、用javascript動態生成內容的抓取，不建議使用headless，效率比較低下，建議使用一些開源的庫去直接執行js代碼，獲得你想要的結果。
了解頁面里的程序邏輯是很重要的，知道動態內容是怎麼生成的，使用一定的方法，一樣會像拿html一樣，很容易的拿到你想要的結果。動態生成要麼是本地執行計算，要麼是從伺服器另發起請求獲得一定的結果，顯示或再進行本地計算。對前者，你要找到他本地執行的那段代碼，原樣拿過來，在javascript環境執行一遍拿到結果。對後者，找到那個請求，獲得對應的結果，一般這個結果也會是javascript代碼或者json格式的字元串，重新解析即可。
三、登錄，有很多數據你是需要登錄後才能查看的。如果對方使用https，基本就無解了。好在很多國內標榜全站使用https的網站都是偽https，抓包一樣全都可以抓到，比較復雜的會將用戶名或密碼進行二次加密，並且和時間相關，直接提交用戶名密碼是無效的，必須同時提交以當前時間為參數進行二次加密後的結果，還是那句話，了解頁面里的程序邏輯是很重要的。
四、驗證碼，你抓取過多過快時，網站一般會要求你輸入驗證碼證明你不是程序，是人工在操作，似乎國內有幫你輸入驗證碼的雲服務，來搞定這部分，或者用程序解析驗證碼，但錯誤率太高。還有一種比較無賴的方法就是使用多條ADSL或VPN，來回切換IP，不斷換IP進行抓取，把單IP抓取速度控制在網站允許的范圍內，另外什麼換header頭里的agent啥的比較簡單，就不多說了。
五、內容圖片化，一些敏感信息，如商城裡的價格，分類網站里的用戶手機號，會被網站直接用圖片的方式進行顯示。這里你使用雲服務成本太高，使用程序解析圖片，如果出錯，這條信息基本就沒用了，切換IP也一樣是圖片，所以基本也是無解的。
六、補充，爬蟲還有很多細節和針對性的處理方法，出於學習的目的，要多思考，比如移動互聯網這么火熱，很多網站，有點實力的都會出移動客戶端，在移動客戶端內，他還是使用圖片顯示嗎？現在html5出來了，很多移動客戶端都是html+js進行再封裝處理的。