1、如果是定向爬取幾個頁面，做一些簡單的頁面解析，爬取效率不是核心要求，那麼用什麼語言差異不大。
當然要是頁面結構復雜，正則表達式寫得巨復雜，尤其是用過那些支持xpath的類庫/爬蟲庫後，就會發現此種方式雖然入門門檻低，但擴展性、可維護性等都奇差。因此此種情況下還是推薦採用一些現成的爬蟲庫，諸如xpath、多線程支持還是必須考慮的因素。
2、如果是定向爬取，且主要目標是解析js動態生成的內容
此時候，頁面內容是有js/ajax動態生成的，用普通的請求頁面->解析的方法就不管用了，需要藉助一個類似firefox、chrome瀏覽器的js引擎來對頁面的js代碼做動態解析。
此種情況下，推薦考慮casperJS+phantomjs或slimerJS+phantomjs ，當然諸如selenium之類的也可以考慮。
3、如果爬蟲是涉及大規模網站爬取，效率、擴展性、可維護性等是必須考慮的因素時候
大規模爬蟲爬取涉及諸多問題：多線程並發、I/O機制、分布式爬取、消息通訊、判重機制、任務調度等等，此時候語言和所用框架的選取就具有極大意義了。
PHP對多線程、非同步支持較差，不建議採用。
NodeJS：對一些垂直網站爬取倒可以，但由於分布式爬取、消息通訊等支持較弱，根據自己情況判斷。
Python：強烈建議，對以上問題都有較好支持。尤其是Scrapy框架值得作為第一選擇。優點諸多：支持xpath；基於twisted，性能不錯；有較好的調試工具；
此種情況下，如果還需要做js動態內容的解析，casperjs就不適合了，只有基於諸如chrome V8引擎之類自己做js引擎。
至於C、C++雖然性能不錯，但不推薦，尤其是考慮到成本等諸多因素；對於大部分公司還是建議基於一些開源的框架來做，不要自己發明輪子，做一個簡單的爬蟲容易，但要做一個完備的爬蟲挺難的。
像我搭建的微信公眾號內容聚合的網站 就是基於Scrapy做的，當然還涉及消息隊列等。可以參考下圖：
具體內容可以參考 一個任務調度分發服務的架構
❷ Node.js爬蟲抓取<embed>
因為你這個embed裡面沒內容，這些都是它的attribute
❸ NodeJS 有沒有流行的爬蟲框架
Nodejs推薦框架如下：
phantomjs
htmlparser和jsdom
github上有個spiderman的項目
其他：如果可以的話，我還是推內薦python的scrapy，技術比較容成熟，應用廣泛
希望能夠對你有幫助。
❹ nodejs 爬蟲能不能模擬登陸
nodejs，來superagent，wireshark。
nodejs沒什麼可介紹的。
superagent是nodejs眾多源插件之一，用npm命令安裝。是一個超輕的ajax api，有著可讀性強，高度靈活，學習曲線低的優點。
wireshark是一個抓包工具，很強大。之後我們需要用它來分析post請求與cookie。
❺ Python和nodeJS哪個更適合做爬蟲
我覺得第二個更適合做爬蟲
❻ 寫爬蟲Python，Node.js 相對哪個比較適合
稍微談談我的使用感受，PHP不會，用過Python和Node.js。
簡單的定向爬取：
Python + urlib2 + RegExp + bs4
或者
Node.js + co，任專一一款dom框架或者html parser + Request + RegExp 擼起來也是很順手。屬
對我來說上面兩個選擇差不多是等價的，但主要我JS比較熟，現在選擇Node平台會多一些。
上規模的整站爬取：
Python + Scrapy
如果說上面兩個方案里DIY 的 spider是小米加步槍，那Scrapy簡直就是重工加農炮，好用到不行，自定義爬取規則，http錯誤處理，XPath，RPC，Pipeline機制等等等。而且，由於Scrapy是基於Twisted實現的，所以同時兼顧有非常好的效率，相對來說唯一的缺點就是安裝比較麻煩，依賴也比較多，我還算是比較新的osx，一樣沒辦法直接pip install scrapy
另外如果在spider中引入xpath的話，再在chrome上安裝xpath的插件，那麼解析路徑一目瞭然，開發效率奇高。
❼ Python，Nodejs 哪個比較適合寫爬蟲
首選python，python的第三方庫多，而且資料也多，簡單易懂
❽ 如何通過nodeJs爬蟲獲取數據簡單實現代碼
var http=require('http');
var cheerio=require('cheerio');//頁面獲取到的數據模塊
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
/*所要獲取到的目標數組
var courseData=[{
chapterTitle:"",
videosData:{
videoTitle:title,
videoId:id,
videoPrice:price
}
}] */
var $=cheerio.load(html);
var courseData=[];
var chapters=$(".list-collapse");
chapters.each(function(item){
var chapterTitle=$(this).find(".collapse-head").find("label").text();
var videos=$(this).find(".listview5").children("li");
var chaptersData={
chaptersTitle:chapterTitle,
videosData:[]
}
videos.each(function(item){
var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
var videoId=$(this).find(".ml10").attr('data-lesson-id');
var vadeoPrice=$(this).find(".colblue").text();
chaptersData.videosData.push({
title:videoTitle,
id:videoId,
price:vadeoPrice
})
})
courseData.push(chaptersData)
})
return courseData
}
function printCourseInfo(courseData){
courseData.forEach(function(item){
console.log(item.chaptersTitle+'\n');
item.videosData.forEach(function(item){
console.log(item.title+'【'+item.id+'】'+item.price+'\n')
})
})
}
http.get(url,function(res){
html="";
res.on("data",function(data){
html+=data
})
res.on('end',function(){
var courseData=filterData(html);
printCourseInfo(courseData)
})
})
❾ nodejs怎麼才能用爬蟲爬取https網頁
爬蟲爬https站點抄處理，方法步驟如下：
1、百襲度蜘蛛爬蟲Spider爬取HTTPS網站
1)、根據網頁中的超鏈接是否是HTTPS，網路中會有一些超鏈，如果是HTTPS會認為是HTTPS站點。
2)、根據站長平台提交入口的提交方式，例如主動提交，如果在文件當中提交的是HTTPS鏈接會以HTTPS的形式來發現。
3)、參考前鏈的抓取相對路徑，第一個網頁是HTTPS的，網站內容裡面的路徑提供的是相對路徑，會認為這種鏈接是HTTPS。
4)、參考鏈接的歷史狀況，使用這種方式的原因主要是為了糾錯，如果錯誤提取HTTPS會遇到兩種情況，一種因為HTTPS不可訪問會抓取失敗，第二即使能抓成功可能展現出來的可能不是站長希望的，所以會有一定的糾錯。
2、HTTPS鏈接的抓取
現在比較常見的兩種，第一種是純HTTPS抓取，就是它沒有HTTP的版本，第二個是通過HTTP重定向到HTTPS，這兩種都能正常的進行抓取跟HTTP抓取的效果是一樣的。
3、HTTPS的展現
對於HTTPS數據，展現端會有明顯的提示