pymongo教程

Ⅰ Python无法连接mongodb：'mole' object has no attribute 'Connection'

>>> from pymongo import MongoClient
>>> client=MongoClient()#链接默认的host和port
>>> client
MongoClient('localhost', 27017)
pymongo 中没有Connection这个方法

Ⅱ 简单讲解sql语句中的group by的使用方法

1.概述
group
by
就是依据by
后面的规则对数据分组，所谓的分组就是讲数据集划分成若干个'小组'，针对若干个小组做处理。
2.语法规则
SELECT
column_name,
aggregate_function(column_name)
FROM
table_name
WHERE
column_name
operator
value
GROUP
BY
column_name
3.举例说明
我们有这样一个订单表：

我们希望统计每一个用户订单的总金额，我们可以借助
group
by
来实现：
select
Customer,sum(OrderPrice)
as
total_price
group
by
Customer;
出现下面的结果集：
Bush
2000
Carter
1700
Adams
2000
实际上是先讲数据按照Customer分组，然后统计每一组orderPrice的总和，最后以一组作为一行展现出来。
如果去掉group
by
语句就会出现下面的结果：
它是讲所有的price相加得到最后的总和，与我们的预期是不一样的。
4.注意点
如果出现下面的写法：
select
类别,
sum(数量)
as
数量之和,
摘要from
Agroup
by
类别order
by
类别
desc
会报错，因为select
的字段要么包含在group
by
后面作为分组的依据，要么包含在聚合函数中，否则摘要的那一列无法匹配到一行。
因此可以采用如下的写法：
select
类别,
sum(数量)
AS
数量之和from
Agroup
by
类别order
by
sum(数量)
desc
如果想使用多列分组，可以采用group
by
all语法：
select
Customer,OrderDate,sum(OrderPrice)
group
by
all
Customer,OrderDate
5.where
和having的区别
where
是在查询分组前，讲不符合where
条件的行去掉，即在分组钱过滤数据，where
条件中不能包含聚合函数
having
是筛选满足条件的组，即在分组之后过滤数据，having语句中常常包含聚合函数，用having过滤出特定的组。
举例：
select
Customer,sum(OrderPrice)
as
total_price
group
by
Customer
having
total_price>1700;
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
您可能感兴趣的文章:一篇文章带你了解数据库中group
by的用法MySQL
group
by对单字分组序和多字段分组的方法讲解pymongo中group
by的操作方法教程

Ⅲ python爬虫学习教程哪个好

第一阶段

Python开发基础和核心特性1.变量及运算符2.分支及循环3.循环及字符串4.列表及嵌套列表5.字典及项目练习6.函数的使用7.递归及文件处理8.文件9.面向对象10.设计模式及异常处理11.异常及模块的使用12.坦克大战13.核心编程14.高级特性15.内存管理

第二阶段

数据库和linux基础1.并发编程2.网络通信3.MySQL4.Linux5.正则表达式

第三阶段

web前端开发基础1.html基本标签2.css样式3.css浮动和定位4.js基础5.js对象和函数6.js定时器和DOM7.js事件响应8.使用jquery9.jquery动画特效10.Ajax异步网络请求

第四阶段

Python Web框架阶段1.Django-Git版本控制2.Django-博客项目3.Django-商城项目4.Django模型层5.Django入门6.Django模板层7.Django视图层8.Tornado框架

第五阶段

Python 爬虫实战开发1.Python爬虫基础2.Python爬虫Scrapy框架

Ⅳ 有哪些你看了以后大呼过瘾的数据分析书

作为数据分析师，有需要经典的数据分析书籍需要我们仔细阅读。按照难度，可以分为三个难度：入门篇、进阶篇以及高级篇。

《利用Python进行数据分析》，重点介绍了Pandas、Numpy以及matplotlib等Python库，并告诉你如何利用这些库高效地解决各式各样的数据分析问题。

《数据分析实战》，这本书结合8个真实的商业案例，旨在帮助你建立解决商业难题的数据分析手段。此外，还罗列了诸如柱状图、交叉分析、AB测试、多元回归分析、逻辑回归分析、主成分分析、聚类、决策树分析、机器学习等数据分析方法。

Ⅳ 请教一个python 链接mongodb问题

在这周学习Python tornado的过程中，接触了新的数据库mongo.
在刚开始连接的过程中，就出现了如下的问题，特此记录一下。
AttributeError: 'mole' object has no attribute 'Connection'

python版本2.7.11
pymongo版本3.3.0

根据网上的教程，首先导入pymongo，连接第一步的步骤大都是如下的
import pymongo
conn = pymongo.Connection('localhost',27017)

然后就报错啦啦啦啦！
AttributeError: 'mole' object has no attribute 'Connection'

然后发现我看的pymongo教程大都是几年前的，pymongo的版本应该也比较低。
后面网络，google了一下，原来是新的pymongo中取消了Connection这个方法。
新的版本需要新建一个client，然后才是连接。
>>> from pymongo import MongoClient
>>> client=MongoClient()
>>> client
MongoClient('localhost', 27017)

mongo_client – Tools for connecting to MongoDB

Ⅵ 盘点Python常用的模块和包

模块

1.定义

计算机在开发过程中，代码越写越多，也就越难以维护，所以为了编写可维护的代码，我们会把函数进行分组，放在不同的文件里。在python里，一个.py文件就是一个模块。

2.优点：

提高代码的可维护性。

提高代码的复用，当模块完成时就可以在其他代码中调用。

引用其他模块，包含python内置模块和其他第三方模块。

避免函数名和变量名等名称冲突。

python内建模块：

1.sys模块

2.random模块

3.os模块：

os.path:讲解

https://www.cnblogs.com/yufeihlf/p/6179547.html

数据可视化

1.matplotlib :

是Python可视化程序库的泰斗，它的设计和在1980年代被设计的商业化程序语言MATLAB非常接近。比如pandas和Seaborn就是matplotlib的外包，它们让你能用更少的代码去调用 matplotlib的方法。

访问：

https://matplotlib.org/

颜色：

https://www.cnblogs.com/darkknightzh/p/6117528.html

教程：

https://wizardforcel.gitbooks.io/matplotlib-user-guide/3.1.html

2.Seaborn：

它是构建在matplotlib的基础上的，用简洁的代码来制作好看的图表。Seaborn跟matplotlib最大的区别就是它的默认绘图风格和色彩搭配都具有现代美感。

访问：

http://seaborn.pydata.org/index.html

3.ggplot：

gplot 跟 matplotlib 的不同之处是它允许你叠加不同的图层来完成一幅图

访问：

http://ggplot.yhathq.com/

4.Mayavi：

Mayavi2完全用Python编写，因此它不但是一个方便实用的可视化软件，而且可以方便地用Python编写扩展，嵌入到用户编写的Python程序中，或者直接使用其面向脚本的API：mlab快速绘制三维图

访问：http://code.enthought.com/pages/mayavi-project.html

讲解：https://blog.csdn.net/ouening/article/details/76595427https://www.jianshu.com/p/81e6f4f1cdd8

5.TVTK：

TVTK库对标准的VTK库进行包装，提供了Python风格的API、支持Trait属性和numpy的多维数组。

VTK (http://www.vtk.org/) 是一套三维的数据可视化工具，它由C++编写，包涵了近千个类帮助我们处理和显示数据

讲解：https://docs.huihoo.com/scipy/scipy-zh-cn/tvtk_intro.html

机器学习

1.Scikit-learn

是一个简单且高效的数据挖掘和数据分析工具，易上手，可以在多个上下文中重复使用。它基于NumPy, SciPy 和 matplotlib，开源，可商用（基于 BSD 许可）。

访问：

讲解：https://blog.csdn.net/finafily0526/article/details/79318401

2.Tensorflow

最初由谷歌机器智能科研组织中的谷歌大脑团队（Google Brain Team）的研究人员和工程师开发。该系统设计的初衷是为了便于机器学习研究，能够更快更好地将科研原型转化为生产项目。

相关推荐：《Python视频教程》

Web框架

1.Tornado

访问：http://www.tornadoweb.org/en/stable/

2.Flask

访问：http://flask.pocoo.org/

3.Web.py

访问：http://webpy.org/

4.django

https://www.djangoproject.com/

5.cherrypy

http://cherrypy.org/

6.jinjs

http://docs.jinkan.org/docs/jinja2/

GUI 图形界面

1.Tkinter

https://wiki.python.org/moin/TkInter/

2.wxPython

https://www.wxpython.org/

3.PyGTK

http://www.pygtk.org/

4.PyQt

https://sourceforge.net/projects/pyqt/

5.PySide

http://wiki.qt.io/Category:LanguageBindings::PySide

科学计算

教程

https://docs.huihoo.com/scipy/scipy-zh-cn/index.html#

1.numpy

访问

http://www.numpy.org/

讲解

https://blog.csdn.net/lm_is_dc/article/details/81098805

2.sympy

sympy是一个Python的科学计算库，用一套强大的符号计算体系完成诸如多项式求值、求极限、解方程、求积分、微分方程、级数展开、矩阵运算等等计算问题

访问

https://docs.sympy.org/0.7.1/guide.html#guide

讲解

https://www.jianshu.com/p/339c91ae9f41

解方程

https://www.cnblogs.com/zyg123/p/10549354.html

3.SciPy

官网

https://www.scipy.org/

讲解

https://blog.csdn.net/wsp_1138886114/article/details/80444621

4.pandas

官网

http://pandas.pydata.org/

讲解

https://www.cnblogs.com/linux-wangkun/p/5903945.html

5.blaze

官网

http://blaze.readthedocs.io/en/latest/index.html

密码学

1.cryptography

https://pypi.python.org/pypi/cryptography/

2.hashids

http://www.oschina.net/p/hashids

3.Paramiko

http://www.paramiko.org/

4.Passlib

https://pythonhosted.org/passlib/

5.PyCrypto

https://pypi.python.org/pypi/pycrypto

6.PyNacl

http://pynacl.readthedocs.io/en/latest/

爬虫相关

requests

http://www.python-requests.org/

scrapy

https://scrapy.org/

pyspider

https://github.com/binux/pyspider

portia

https://github.com/scrapinghub/portia

html2text

https://github.com/Alir3z4/html2text

BeautifulSoup

https://www.crummy.com/software/BeautifulSoup/

lxml

http://lxml.de/

selenium

http://docs.seleniumhq.org/

mechanize

https://pypi.python.org/pypi/mechanize

PyQuery

https://pypi.python.org/pypi/pyquery/

creepy

https://pypi.python.org/pypi/creepy

gevent

一个高并发的网络性能库

http://www.gevent.org/

图像处理

bigmoyan

http://scikit-image.org/

Python Imaging Library(PIL)

http://www.pythonware.com/procts/pil/

pillow：

http://pillow.readthedocs.io/en/latest/

自然语言处理

1.nltk：

http://www.nltk.org/

教程

https://blog.csdn.net/wizardforcel/article/details/79274443

2.snownlp

https://github.com/isnowfy/snownlp

3.Pattern

https://github.com/clips/pattern

4.TextBlob

http://textblob.readthedocs.io/en/dev/

5.Polyglot

https://pypi.python.org/pypi/polyglot

6.jieba：

https://github.com/fxsjy/jieba

数据库驱动

mysql-python

https://sourceforge.net/projects/mysql-python/

PyMySQL

https://github.com/PyMySQL/PyMySQL

PyMongo

https://docs.mongodb.com/ecosystem/drivers/python/

pymongo

MongoDB库

访问：https://pypi.python.org/pypi/pymongo/

redis

Redis库

访问：https://pypi.python.org/pypi/redis/

cxOracle

Oracle库

访问：https://pypi.python.org/pypi/cx_Oracle

SQLAlchemy

SQL工具包及对象关系映射（ORM）工具

访问：http://www.sqlalchemy.org/

peewee，

SQL工具包及对象关系映射（ORM）工具

访问：https://pypi.python.org/pypi/peewee

torndb

Tornado原装DB

访问：https://github.com/bdarnell/torndb

Web

pycurl

URL处理工具

smtplib模块

发送电子邮件

其他库暂未分类

1.PyInstaller：

是一个十分有用的第三方库，它能够在Windows、Linux、 Mac OS X 等操作系统下将 Python 源文件打包，通过对源文件打包， Python 程序可以在没有安装 Python 的环境中运行，也可以作为一个 独立文件方便传递和管理。

2.Ipython

一种交互式计算和开发环境

讲解

https://www.cnblogs.com/zzhzhao/p/5295476.html

命令

ls、cd 、run、edit、clear、exist

Ⅶ 无法连接到MongoDB Python Python问题，怎么解决

在这周学习python tornado的过程中，接触了新的数据库mongo.

在刚开始连接的过程中，就出现了如下的问题，特此记录一下。

AttributeError: 'mole' object has no attribute 'Connection'

python版本2.7.11

pymongo版本3.3.0

根据网上的教程，首先导入pymongo，连接第一步的步骤大都是如下的

import pymongo conn = pymongo.Connection('localhost',27017)
然后就报错啦啦啦啦！AttributeError: 'mole' object has no attribute 'Connection'
然后发现我看的pymongo教程大都是几年前的，pymongo的版本应该也比较低。后面网络，google了一下，原来是新的pymongo中取消了Connection这个方法。新的版本需要新建一个client，然后才是连接。>>> from pymongo import MongoClient >>> client=MongoClient() >>> client MongoClient('localhost', 27017)

• mongo_client– Tools for connecting to MongoDB

Ⅷ 数据挖掘方向，Python中还需要学习哪些内容

就题论题，还包括：
1. Python 数据库连接库，例如MySQL 连接库的应用，这决定你的数据从哪里来。这里面涉及到sql语法和数据库基本知识，是你在学习的时候必须一起学会的。
2. Python 做基本数据计算和预处理的库，包括numpy ，scipy，pandas 这三个用得最多。
3. 数据分析和挖掘库，主要是sklearn，Statsmodels。前者是最广泛的机器学习库，后者是侧重于统计分析的库。（要知道统计分析大多时候和数据挖掘都错不能分开使用）
4. 图形展示库。matpotlib，这是用的最多的了。
说完题主本身 要求，楼上几位说的对，你还需要一些关于数据挖掘算法的基本知识和认知，否则即使你调用相关库得到结果，很可能你都不知道怎么解读，如何优化，甚至在什么场景下还如何选择算法等。因此基本知识你得了解。主要包括：
1.统计学相关，看看深入浅出数据分析和漫画统计学吧，虽然是入门的书籍，但很容易懂。
2.数据挖掘相关，看看数据挖掘导论吧，这是讲算法本身得书。
剩下的就是去实践了。有项目就多参与下项目，看看真正的数据挖掘项目是怎么开展的，流程怎样等。没有项目可以去参加一些数据挖掘或机器学习方面的大赛，也是增加经验得好方法。

Ⅸ Python爬虫可以爬取什么

Python爬虫可以爬取的东西有很多，Python爬虫怎么学？简单的分析下：

如果你仔细观察，就不难发现，懂爬虫、学习爬虫的人越来越多，一方面，互联网可以获取的数据越来越多，另一方面，像 Python这样的编程语言提供越来越多的优秀工具，让爬虫变得简单、容易上手。

利用爬虫我们可以获取大量的价值数据，从而获得感性认识中不能得到的信息，比如：

知乎：爬取优质答案，为你筛选出各话题下最优质的内容。

淘宝、京东：抓取商品、评论及销量数据，对各种商品及用户的消费场景进行分析。

安居客、链家：抓取房产买卖及租售信息，分析房价变化趋势、做不同区域的房价分析。

拉勾网、智联：爬取各类职位信息，分析各行业人才需求情况及薪资水平。

雪球网：抓取雪球高回报用户的行为，对股票市场进行分析和预测。

爬虫是入门Python最好的方式，没有之一。Python有很多应用的方向，比如后台开发、web开发、科学计算等等，但爬虫对于初学者而言更友好，原理简单，几行代码就能实现基本的爬虫，学习的过程更加平滑，你能体会更大的成就感。

掌握基本的爬虫后，你再去学习Python数据分析、web开发甚至机器学习，都会更得心应手。因为这个过程中，Python基本语法、库的使用，以及如何查找文档你都非常熟悉了。

对于小白来说，爬虫可能是一件非常复杂、技术门槛很高的事情。比如有人认为学爬虫必须精通 Python，然后哼哧哼哧系统学习 Python 的每个知识点，很久之后发现仍然爬不了数据；有的人则认为先要掌握网页的知识，遂开始 HTMLCSS，结果入了前端的坑，瘁……

但掌握正确的方法，在短时间内做到能够爬取主流网站的数据，其实非常容易实现，但建议你从一开始就要有一个具体的目标。

在目标的驱动下，你的学习才会更加精准和高效。那些所有你认为必须的前置知识，都是可以在完成目标的过程中学到的。这里给你一条平滑的、零基础快速入门的学习路径。

1.学习 Python 包并实现基本的爬虫过程

2.了解非结构化数据的存储

3.学习scrapy，搭建工程化爬虫

4.学习数据库知识，应对大规模数据存储与提取

5.掌握各种技巧，应对特殊网站的反爬措施

6.分布式爬虫，实现大规模并发采集，提升效率

一

学习 Python 包并实现基本的爬虫过程

大部分爬虫都是按“发送请求——获得页面——解析页面——抽取并储存内容”这样的流程来进行，这其实也是模拟了我们使用浏览器获取网页信息的过程。

Python中爬虫相关的包很多：urllib、requests、bs4、scrapy、pyspider 等，建议从requests+Xpath 开始，requests 负责连接网站，返回网页，Xpath 用于解析网页，便于抽取数据。

如果你用过 BeautifulSoup，会发现 Xpath 要省事不少，一层一层检查元素代码的工作，全都省略了。这样下来基本套路都差不多，一般的静态网站根本不在话下，豆瓣、糗事网络、腾讯新闻等基本上都可以上手了。

当然如果你需要爬取异步加载的网站，可以学习浏览器抓包分析真实请求或者学习Selenium来实现自动化，这样，知乎、时光网、猫途鹰这些动态的网站也可以迎刃而解。

二

了解非结构化数据的存储

爬回来的数据可以直接用文档形式存在本地，也可以存入数据库中。

开始数据量不大的时候，你可以直接通过 Python 的语法或 pandas 的方法将数据存为csv这样的文件。

当然你可能发现爬回来的数据并不是干净的，可能会有缺失、错误等等，你还需要对数据进行清洗，可以学习 pandas 包的基本用法来做数据的预处理，得到更干净的数据。

三

学习 scrapy，搭建工程化的爬虫

掌握前面的技术一般量级的数据和代码基本没有问题了，但是在遇到非常复杂的情况，可能仍然会力不从心，这个时候，强大的 scrapy 框架就非常有用了。

scrapy 是一个功能非常强大的爬虫框架，它不仅能便捷地构建request，还有强大的 selector 能够方便地解析 response，然而它最让人惊喜的还是它超高的性能，让你可以将爬虫工程化、模块化。

学会 scrapy，你可以自己去搭建一些爬虫框架，你就基本具备爬虫工程师的思维了。

四

学习数据库基础，应对大规模数据存储

爬回来的数据量小的时候，你可以用文档的形式来存储，一旦数据量大了，这就有点行不通了。所以掌握一种数据库是必须的，学习目前比较主流的 MongoDB 就OK。

MongoDB 可以方便你去存储一些非结构化的数据，比如各种评论的文本，图片的链接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因为这里要用到的数据库知识其实非常简单，主要是数据如何入库、如何进行提取，在需要的时候再学习就行。

五

掌握各种技巧，应对特殊网站的反爬措施

当然，爬虫过程中也会经历一些绝望啊，比如被网站封IP、比如各种奇怪的验证码、userAgent访问限制、各种动态加载等等。

遇到这些反爬虫的手段，当然还需要一些高级的技巧来应对，常规的比如访问频率控制、使用代理IP池、抓包、验证码的OCR处理等等。

往往网站在高效开发和反爬虫之间会偏向前者，这也为爬虫提供了空间，掌握这些应对反爬虫的技巧，绝大部分的网站已经难不到你了.

六

分布式爬虫，实现大规模并发采集

爬取基本数据已经不是问题了，你的瓶颈会集中到爬取海量数据的效率。这个时候，相信你会很自然地接触到一个很厉害的名字：分布式爬虫。

分布式这个东西，听起来很恐怖，但其实就是利用多线程的原理让多个爬虫同时工作，需要你掌握 Scrapy + MongoDB + Redis 这三种工具。

Scrapy 前面我们说过了，用于做基本的页面爬取，MongoDB 用于存储爬取的数据，Redis 则用来存储要爬取的网页队列，也就是任务队列。

所以有些东西看起来很吓人，但其实分解开来，也不过如此。当你能够写分布式的爬虫的时候，那么你可以去尝试打造一些基本的爬虫架构了，实现一些更加自动化的数据获取。

你看，这一条学习路径下来，你已然可以成为老司机了，非常的顺畅。所以在一开始的时候，尽量不要系统地去啃一些东西，找一个实际的项目（开始可以从豆瓣、小猪这种简单的入手），直接开始就好。

因为爬虫这种技术，既不需要你系统地精通一门语言，也不需要多么高深的数据库技术，高效的姿势就是从实际的项目中去学习这些零散的知识点，你能保证每次学到的都是最需要的那部分。

当然唯一麻烦的是，在具体的问题中，如何找到具体需要的那部分学习资源、如何筛选和甄别，是很多初学者面临的一个大问题。

以上就是我的回答，希望对你有所帮助，望采纳。