scrapy中文教程pdf

Ⅰ Python编程基础之（五）Scrapy爬虫框架

经过前面四章的学习，我们已经可以使用Requests库、Beautiful Soup库和Re库，编写基本的Python爬虫程序了。那么这一章就来学习一个专业的网络爬虫框架--Scrapy。没错，是框架，而不是像前面介绍的函数功能库。

Scrapy是一个快速、功能强大的网络爬虫框架。

可能大家还不太了解什么是框架，爬虫框架其实是实现爬虫功能的一个软件结构和功能组件的集合。

简而言之， Scrapy就是一个爬虫程序的半成品，可以帮助用户实现专业的网络爬虫。

使用Scrapy框架，不需要你编写大量的代码，Scrapy已经把大部分工作都做好了，允许你调用几句代码便自动生成爬虫程序，可以节省大量的时间。

当然，框架所生成的代码基本是一致的，如果遇到一些特定的爬虫任务时，就不如自己使用Requests库搭建来的方便了。

PyCharm安装

测试安装：

出现框架版本说明安装成功。

掌握Scrapy爬虫框架的结构是使用好Scrapy的重中之重！

先上图：

整个结构可以简单地概括为： “5+2”结构和3条数据流

5个主要模块（及功能）：

（1）控制所有模块之间的数据流。

（2）可以根据条件触发事件。

（1）根据请求下载网页。

（1）对所有爬取请求进行调度管理。

（1）解析DOWNLOADER返回的响应--response。

（2）产生爬取项--scraped item。

（3）产生额外的爬取请求--request。

（1）以流水线方式处理SPIDER产生的爬取项。

（2）由一组操作顺序组成，类似流水线，每个操作是一个ITEM PIPELINES类型。

（3）清理、检查和查重爬取项中的HTML数据并将数据存储到数据库中。

2个中间键：

（1）对Engine、Scheler、Downloader之间进行用户可配置的控制。

（2）修改、丢弃、新增请求或响应。

（1）对请求和爬取项进行再处理。

（2）修改、丢弃、新增请求或爬取项。

3条数据流：

（1）：图中数字 1-2

1：Engine从Spider处获得爬取请求--request。

2：Engine将爬取请求转发给Scheler，用于调度。

（2）：图中数字 3-4-5-6

3：Engine从Scheler处获得下一个要爬取的请求。

4：Engine将爬取请求通过中间件发送给Downloader。

5：爬取网页后，Downloader形成响应--response，通过中间件发送给Engine。

6：Engine将收到的响应通过中间件发送给耐如Spider处理。

（3）：图中数字 7-8-9

7：Spider处理响应后产生爬取项--scraped item。

8：Engine将爬取项发送给Item Pipelines。

9：Engine将爬取请求发送给Scheler。

任务处理流程：从Spider的初始爬取请求开始爬取，Engine控制各模块数据流，不间断从Scheler处获得爬取请求，直至请求为空，最后到Item Pipelines存储数据结束。

作为用户，只需配置好Scrapy框架的Spider和Item Pipelines，也就是数据流的入口与出口，便可完成一个爬虫程序的搭建激含。Scrapy提供了简单的爬虫命令语句，帮助用户一键配置剩余文件，那我们便来看看有哪些好用的命令吧。

Scrapy采用命令行创建和运行爬虫

PyCharm打开Terminal，启动Scrapy：

Scrapy基本命令行格式：

具体常用命令如下：

下面用一个例子来学习一下命令的使用：

1.建立一个Scrapy爬虫工程，在已启动的Scrapy中继续输入：

执行该命令，系统会在PyCharm的工程文件中自动创建一个工程，命明亩笑名为pythonDemo。

2.产生一个Scrapy爬虫，以教育部网站为例http://www.moe.gov.cn：

命令生成了一个名为demo的spider，并在Spiders目录下生成文件demo.py。

命令仅用于生成demo.py文件，该文件也可以手动生成。

观察一下demo.py文件：

3.配置产生的spider爬虫，也就是demo.py文件：

4.运行爬虫，爬取网页：

如果爬取成功，会发现在pythonDemo下多了一个t20210816_551472.html的文件，我们所爬取的网页内容都已经写入该文件了。

以上就是Scrapy框架的简单使用了。

Request对象表示一个HTTP请求，由Spider生成，由Downloader执行。

Response对象表示一个HTTP响应，由Downloader生成，有Spider处理。

Item对象表示一个从HTML页面中提取的信息内容，由Spider生成，由Item Pipelines处理。Item类似于字典类型，可以按照字典类型来操作。

Ⅱ GitHub 上有哪些值得推荐的开源电子书

语言无关类
操作系统

• 鸟哥的Linux私房菜 (简体)

• Linux 系统高级编程

• The Linux Command Line (中英文版)

• Linux 设备驱动 (第三版)

• 深入分析Linux内核源码

• UNIX TOOLBOX

• Docker中文指南

• Docker —— 从入门到实践

• FreeRADIUS新手入门

• Mac 开发配置手册

• FreeBSD 使用手册

• Linux 命令行(中文版)

• 智能系统

• 一步步搭建物联网系统

• web服务器

• Nginx开发从入门到精通 (淘宝团队出品)

• 版本控制

• Git教程 （本文由 @廖雪峰 创作，如果觉得本教程对您有帮助，可以去 iTunes 购买）

• git – 简易指南

• 猴子都能懂的GIT入门

• Git 参考手册

• Pro Git

• Git Magic

• GotGitHub

• Git Community Book 中文版

• Mercurial 使用教程

• HgInit (中文版)

• 沉浸式学 Git

• Git-Cheat-Sheet （感谢 @flyhigher139 翻译了中文版）

• GitHub秘籍

• NoSQL

• NoSQL数据库笔谈 (PDF)

• Redis 设计与实现

• Redis 命令参考

• 带有详细注释的 Redis 3.0 代码

• 带有详细注释的 Redis 2.6 代码

• The Little MongoDB Book

• The Little Redis Book

• Neo4j 简体中文手册 v1.8

• Neo4j .rb 中文资源

• MySQL

• MySQL索引背后的数据结构及算法原理

• 项目相关

• 持续集成（第二版） (译言网)

• 让开发自动化系列专栏

• 追求代码质量

• selenium 中文文档

• Joel谈软件

• 约耳谈软体(Joel on Software)

• Web

• 关于浏览器和网络的 20 项须知

• 前端知识体系

• 浏览器开发工具的秘密

• Chrome 开发者工具中文手册

• Chrome扩展开发文档

• Grunt中文文档

• 移动Web前端知识库

• 正则表达式30分钟入门教程

• 前端开发体系建设日记

• 移动前端开发收藏夹

• jsON风格指南

• HTTP 接口设计指北

• 前端资源分享（一）

• 前端资源分享（二）

• 前端代码规范 及 最佳实践

• w3school教程整理

• 大数据

• 大数据/数据挖掘/推荐系统/机器学习相关资源

• 编程艺术

• 程序员编程艺术

• 每个程序员都应该了解的内存知识(译)【第一部分】

• 取悦的工序：如何理解游戏 (豆瓣阅读，免费书籍)

• 其他

• OpenWrt智能、自动、透明翻墙路由器教程

• 语言相关类 AWK

• awk程序设计语言

• C/C++

• C++ 并发编程指南 (@傅海平ICT)

• Linux C编程一站式学习 (宋劲杉, 北京亚嵌教育研究中心)

• CGDB中文手册

• 100个gdb小技巧

• 100个gcc小技巧

• ZMQ 指南

• How to Think Like a Computer Scientist (中英文版)

• 跟我一起写Makefile(PDF)

• GNU make中文手册

• GNU make 指南

• Google C++ 风格指南

• C/C++ Primer (by @andycai)

• 简单易懂的C魔法

• Cmake 实践 (PDF版)

• C++ FAQ LITE(中文版)

• C++ Primer 5th Answers

• CSS/HTML

• 学习CSS布局

• 通用 CSS 笔记、建议与指导

• CSS参考手册

• Emmet 文档

• 前端代码规范 (腾讯alloyteam团队)

• Dart

• Dart 语言导览

• Fortran

• Fortran77和90/95编程入门

• java

• 实时 Java 系列

• Apache Shiro 用户指南

• 使用 Eclipse 和 Java SE 6 创建独立 Web Services 应用程序

• 第 1 部分: Web Services 服务端应用程序

• 第 2 部分: Web 服务客户端应用程序

• JavaServer Faces 1.2 入门

• 第 1 部分: 构建基本应用程序

• 第 2 部分: JSF 生命周期、转换、检验和阶段监听器

• 用 Eclipse Europa 进行 Web 开发

• 第 1 部分: Eclipse Java EE

• 第 2 部分: PHP 开发工具

• 第 3 部分: Ruby Development Toolkit 和 RadRails

• 使用 JavaServer Faces 构建 Apache Geronimo 应用程序

• 第 1 部分: 使用 Eclipse 和 Apache MyFaces Core 构建基本的应用程序

• 第 2 部分: 在 JavaServer Faces 中使用 Tomahawk

• 第 3 部分: 使用 ajax4jsf 添加 Ajax 功能

• 第 4 部分: 使用 Apache Trinidad 组件扩展 JSF

• 第 5 部分: 将 JSF 应用程序与 Spring 集成

• Apache Geronimo 和 Spring 框架

• 第 1 部分: 开发方法学

• 第 2 部分: 构建第一个应用程序

• 第 3 部分: 集成 DAO 与 ORM

• 第 4 部分: 混合使用 Spring AOP 和 Spring Web Flow

• 第 5 部分: Spring MVC

• 第 6 部分: Spring MVC：使用 Web 视图技术

• 终极 mashup —— Web 服务和语义 Web

• 第 1 部分: 使用与组合 Web 服务

• 第 2 部分: 管理 Mashup 数据缓存

• 第 3 部分: 理解 RDF 和 RDFs

• 第 4 部分: 创建本体

• 第 5 部分: 切换 Web 服务

• Jersey 2.x 用户指南

• MyBatis中文文档

• JavaScript

• Google JavaScript 代码风格指南

• Airbnb JavaScript 规范

• JavaScript 标准参考教程（alpha）

• Javascript编程指南 (源码)

• javascript 的 12 个怪癖

• JavaScript 秘密花园

• JavaScript核心概念及实践 (PDF) (此书已由人民邮电出版社出版发行，但作者依然免费提供PDF版本，希望开发者们去购买，支持作者)

• 《JavaScript 模式》翻译，此书中文版有售，但是纸质书翻译的还没有这个版本翻译的好

• 命名函数表达式探秘 (注:原文由为之漫笔翻译，原始地址无法打开，所以此处地址为我博客上的备份)

• 学用 JavaScript 设计模式 (开源中国)

• 深入理解JavaScript系列

• ECMAScript 6 入门 (作者：阮一峰)

• jQuery

• jQuery 解构

• 简单易懂的JQuery魔法

• How to write jQuery plugin

• Node.js

• Node入门

• 七天学会NodeJS

• Nodejs Wiki Book (繁体中文)

• express.js 中文文档

• koa 中文文档

• 使用 Express + MongoDB 搭建多人博客

• Express框架

• nodejs文档

• Node.js 包教不包会

• Learn You The Node.js For Much Win! (中文版)

• Node debug 三法三例

• underscore.js

• Underscore.js中文文档

• backbone.js

• backbone.js入门教程 (PDF)

• Backbone.js入门教程第二版

• Developing Backbone.js Applications(中文版)

• AngularJS

• AngularJS最佳实践和风格指南

• AngularJS中译本

• AngularJS入门教程

• 构建自己的AngularJS

• 在Windows环境下用Yeoman构建AngularJS项目

• zepto 简明中文手册

• Sea.js

• Hello Sea.js

• CoffeeScript

• CoffeeScript Cookbook

• The Little Book on CoffeeScript中文版

• ExtJS

• Ext4.1.0 中文文档

• Chrome扩展及应用开发

• JavaScript入门教程

• PHP

• PHP调试技术手册(PDF)

• XDebug 2中文手册(译) (CHM)

• PHP之道

• PHP 最佳实践

• PHP安全最佳实践

• 深入理解PHP内核

• PHP扩展开发及内核应用

• CodeIgniter 用户指南

• Laravel4 中文文档

• Laravel 入门

• Symfony2中文文档 (未译完)

• Phalcon中文文档（翻译进行中）

• YiiBook几本Yii框架的在线教程

• 简单易懂的PHP魔法

• swoole文档及入门教程

• iOS

• iOS开发60分钟入门

• iOS7人机界面指南

• Google Objective-C Style Guide 中文版

• iPhone 6 屏幕揭秘

• Apple Watch开发初探

• 马上着手开发 iOS 应用程序

• 网易斯坦福大学公开课：iOS 7应用开发字幕文件

• Android

• Android Design(中文版)

• Google Android官方培训课程中文版

• Android学习之路

• Python

• 小白的Python教程

• 简明Python教程

• 零基础学Python

• Python 2.7 官方教程中文版

• Python 3.3 官方教程中文版

• 深入 Python 3

• PEP8 Python代码风格规范

• Google Python 风格指南 中文版

• Python入门教程 (PDF)

• Python的神奇方法指南

• 笨办法学 Python （PDF版下载）

• Django 文档中文版

• Django 最佳实践

• The Django Book 中文版

• web.py 0.3 新手指南

• Web.py Cookbook 简体中文版

• Dive Into Python 中文版

• Bottle 文档中文版 (需翻墙)

• Flask 文档中文版

• Jinja2 文档中文版

• Werkzeug 文档中文版

• Flask之旅

• Introction to Tornado 中文翻译

• Python自然语言处理中文版 （感谢陈涛同学的翻译，也谢谢 @shwley 联系了作者）

• Python 绘图库 matplotlib 官方指南中文翻译

• Scrapy 0.25 文档

• ThinkPython

• Ruby

• Ruby 风格指南

• Rails 风格指南

• 笨方法学 Ruby

• Ruby on Rails 指南

• Ruby on Rails 实战圣经

• Ruby on Rails Tutorial 原书第 2 版 (本书网页版免费提供，电子版以 PDF、EPub 和 Mobi 格式提供购买，仅售 9.9 美元)

• 编写Ruby的C拓展

• Ruby 源码解读

• Shell

• Shell脚本编程30分钟入门

• Go

• Go编程基础

• Go入门指南

• 学习Go语言 (PDF)

• Go Web 编程 (此书已经出版，希望开发者们去购买，支持作者的创作)

• Go实战开发 (当我收录此项目时，作者已经写完第三章，如果读完前面章节觉得有帮助，可以给作者捐赠，以鼓励作者的继续创作)

• Network programming with Go 中文翻译版本

• Groovy

• 实战 Groovy 系列

• LaTeX

• 一份其实很短的 LaTeX 入门文档

• 一份不太简短的 LATEX 2ε 介绍 （PDF版）

• LISP

• ANSI Common Lisp 中文翻译版

• Lua

• Lua编程入门

• Haskell

• Real World Haskell 中文版

• R

• R语言忍者秘笈

• Scala

• Scala课堂 (Twitter的Scala中文教程)

• Effective Scala(Twitter的Scala最佳实践的中文翻译)

• Scala指南

• Swift

• The Swift Programming Language 中文版

• Perl

• Modern Perl 中文版

• Perl 程序员应该知道的事

• Prolog

• 笨办法学Prolog

• Vim中文文档

• Vimscript

• 笨方法学Vimscript 中译本

• Vim中文文档

• 读书笔记及其它 读书笔记

• 编译原理（紫龙书）中文第2版习题答案

• 把《编程珠玑》读薄

• Effective C++读书笔记

• Golang 学习笔记、Python 学习笔记、C 学习笔记 (PDF)

• Jsoup 学习笔记

• 学习笔记: Vim、Python、memcached

• 图灵开放书翻译计划–C++、Python、Java等

• 蒂姆·奥莱利随笔 （由译言网翻译，电子版免费）

• Octave 入门 （PDF版）

• SICP 解题集

• 精彩博客集合

• 正则表达式简明参考

Ⅲ Mac安装Scrapy教程及安装成功后找不到Scrapy解决

安装步骤：
安装相关依赖

进入githup 中 setup.py查看相关依赖：

在终端中查看是否安装：

没有安装的直接pip install 直接安装就好了

最后安装Scrapy： pip3 install Scrapy(我的Mac有2.7 和3.5两个版本）

检验是否安装成功
scrapy -h
我已经安装成功但是提示老蠢 scrapy：command not found

为某一个文件在另外侍郑陪一个位置建立一个同不的链接，这个命令最常用的参数丛迅是-s,具体用法是：ln -s 源文件 目标文件

Ⅳ pycharm community2021安装教程 pycharmscrapy安装

PyCharm Community 2021 安装教程及 PyCharm 中 Scrapy 安装步骤

一、PyCharm Community 2021 安装教程

1. 下载安装包

   • 前往 PyCharm 官方网站，根据自己的操作系统（如 Windows）选择对应的安装包。
   • 推荐下载 PyCharm Community 版本，因为它是开源且免费的，适合日常学习和使用。

2. 安装软件

   • 双击下载的安装包，按照屏幕上的指示进行安装。
   • 在安装过程中，可以选择安装路径和其他相关设置，通常默认设置即可。

3. 启动 PyCharm

   • 安装完成后，双击 PyCharm 图标启动软件。
   • 如果是首次启动，可能需要进行一些初始化设置，如选择项目路径、配置 Python 解释器等。

二、在 PyCharm 中安装 Scrapy

1. 打开 PyCharm

   • 创建一个新项目或打开一个已有项目。

2. 配置 Python 解释器

   • 在 PyCharm 的顶部菜单栏中选择“File” - “Settings”。
   • 在“Settings”窗口中，选择“Project” - “Project Interpreter”。
   • 确保已正确配置 Python 解释器，如果没有，可以点击“Add Interpreter”进行添加。

3. 安装 Scrapy

   • 在“Project Interpreter”窗口中，点击右侧的“+”号按钮。
   • 在弹出的搜索框中输入“Scrapy”，然后点击“Install Package”进行安装。
   • 等待安装完成，Scrapy 将被添加到当前项目的 Python 解释器中。

4. 使用 Scrapy

   • 安装完成后，可以在 PyCharm 的 Terminal（终端）中使用 Scrapy 命令。
   • 例如，可以输入 scrapy startproject myproject 来创建一个新的 Scrapy 项目。

三、注意事项

• 在安装和配置过程中，请确保网络连接稳定，以便顺利下载和安装所需的软件包。
• 如果在安装 Scrapy 或其他软件包时遇到问题，可以检查 Python 解释器配置是否正确，或者尝试在命令行中手动安装。
• PyCharm 社区版虽然功能足够日常使用，但如果需要更高级的功能，可以考虑升级到专业版。