pymongo教程

Ⅰ Python無法連接mongodb：'mole' object has no attribute 'Connection'

>>> from pymongo import MongoClient
>>> client=MongoClient()#鏈接默認的host和port
>>> client
MongoClient('localhost', 27017)
pymongo 中沒有Connection這個方法

Ⅱ 簡單講解sql語句中的group by的使用方法

1.概述
group
by
就是依據by
後面的規則對數據分組，所謂的分組就是講數據集劃分成若干個'小組'，針對若干個小組做處理。
2.語法規則
SELECT
column_name,
aggregate_function(column_name)
FROM
table_name
WHERE
column_name
operator
value
GROUP
BY
column_name
3.舉例說明
我們有這樣一個訂單表：

我們希望統計每一個用戶訂單的總金額，我們可以藉助
group
by
來實現：
select
Customer,sum(OrderPrice)
as
total_price
group
by
Customer;
出現下面的結果集：
Bush
2000
Carter
1700
Adams
2000
實際上是先講數據按照Customer分組，然後統計每一組orderPrice的總和，最後以一組作為一行展現出來。
如果去掉group
by
語句就會出現下面的結果：
它是講所有的price相加得到最後的總和，與我們的預期是不一樣的。
4.注意點
如果出現下面的寫法：
select
類別,
sum(數量)
as
數量之和,
摘要from
Agroup
by
類別order
by
類別
desc
會報錯，因為select
的欄位要麼包含在group
by
後面作為分組的依據，要麼包含在聚合函數中，否則摘要的那一列無法匹配到一行。
因此可以採用如下的寫法：
select
類別,
sum(數量)
AS
數量之和from
Agroup
by
類別order
by
sum(數量)
desc
如果想使用多列分組，可以採用group
by
all語法：
select
Customer,OrderDate,sum(OrderPrice)
group
by
all
Customer,OrderDate
5.where
和having的區別
where
是在查詢分組前，講不符合where
條件的行去掉，即在分組錢過濾數據，where
條件中不能包含聚合函數
having
是篩選滿足條件的組，即在分組之後過濾數據，having語句中常常包含聚合函數，用having過濾出特定的組。
舉例：
select
Customer,sum(OrderPrice)
as
total_price
group
by
Customer
having
total_price>1700;
以上就是本文的全部內容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
您可能感興趣的文章:一篇文章帶你了解資料庫中group
by的用法MySQL
group
by對單字分組序和多欄位分組的方法講解pymongo中group
by的操作方法教程

Ⅲ python爬蟲學習教程哪個好

第一階段

Python開發基礎和核心特性1.變數及運算符2.分支及循環3.循環及字元串4.列表及嵌套列表5.字典及項目練習6.函數的使用7.遞歸及文件處理8.文件9.面向對象10.設計模式及異常處理11.異常及模塊的使用12.坦克大戰13.核心編程14.高級特性15.內存管理

第二階段

資料庫和linux基礎1.並發編程2.網路通信3.MySQL4.Linux5.正則表達式

第三階段

web前端開發基礎1.html基本標簽2.css樣式3.css浮動和定位4.js基礎5.js對象和函數6.js定時器和DOM7.js事件響應8.使用jquery9.jquery動畫特效10.Ajax非同步網路請求

第四階段

Python Web框架階段1.Django-Git版本控制2.Django-博客項目3.Django-商城項目4.Django模型層5.Django入門6.Django模板層7.Django視圖層8.Tornado框架

第五階段

Python 爬蟲實戰開發1.Python爬蟲基礎2.Python爬蟲Scrapy框架

Ⅳ 有哪些你看了以後大呼過癮的數據分析書

作為數據分析師，有需要經典的數據分析書籍需要我們仔細閱讀。按照難度，可以分為三個難度：入門篇、進階篇以及高級篇。

《利用Python進行數據分析》，重點介紹了Pandas、Numpy以及matplotlib等Python庫，並告訴你如何利用這些庫高效地解決各式各樣的數據分析問題。

《數據分析實戰》，這本書結合8個真實的商業案例，旨在幫助你建立解決商業難題的數據分析手段。此外，還羅列了諸如柱狀圖、交叉分析、AB測試、多元回歸分析、邏輯回歸分析、主成分分析、聚類、決策樹分析、機器學習等數據分析方法。

Ⅳ 請教一個python 鏈接mongodb問題

在這周學習Python tornado的過程中，接觸了新的資料庫mongo.
在剛開始連接的過程中，就出現了如下的問題，特此記錄一下。
AttributeError: 'mole' object has no attribute 'Connection'

python版本2.7.11
pymongo版本3.3.0

根據網上的教程，首先導入pymongo，連接第一步的步驟大都是如下的
import pymongo
conn = pymongo.Connection('localhost',27017)

然後就報錯啦啦啦啦！
AttributeError: 'mole' object has no attribute 'Connection'

然後發現我看的pymongo教程大都是幾年前的，pymongo的版本應該也比較低。
後面網路，google了一下，原來是新的pymongo中取消了Connection這個方法。
新的版本需要新建一個client，然後才是連接。
>>> from pymongo import MongoClient
>>> client=MongoClient()
>>> client
MongoClient('localhost', 27017)

mongo_client – Tools for connecting to MongoDB

Ⅵ 盤點Python常用的模塊和包

模塊

1.定義

計算機在開發過程中，代碼越寫越多，也就越難以維護，所以為了編寫可維護的代碼，我們會把函數進行分組，放在不同的文件里。在python里，一個.py文件就是一個模塊。

2.優點：

提高代碼的可維護性。

提高代碼的復用，當模塊完成時就可以在其他代碼中調用。

引用其他模塊，包含python內置模塊和其他第三方模塊。

避免函數名和變數名等名稱沖突。

python內建模塊：

1.sys模塊

2.random模塊

3.os模塊：

os.path:講解

https://www.cnblogs.com/yufeihlf/p/6179547.html

數據可視化

1.matplotlib :

是Python可視化程序庫的泰斗，它的設計和在1980年代被設計的商業化程序語言MATLAB非常接近。比如pandas和Seaborn就是matplotlib的外包，它們讓你能用更少的代碼去調用 matplotlib的方法。

訪問：

https://matplotlib.org/

顏色：

https://www.cnblogs.com/darkknightzh/p/6117528.html

教程：

https://wizardforcel.gitbooks.io/matplotlib-user-guide/3.1.html

2.Seaborn：

它是構建在matplotlib的基礎上的，用簡潔的代碼來製作好看的圖表。Seaborn跟matplotlib最大的區別就是它的默認繪圖風格和色彩搭配都具有現代美感。

訪問：

http://seaborn.pydata.org/index.html

3.ggplot：

gplot 跟 matplotlib 的不同之處是它允許你疊加不同的圖層來完成一幅圖

訪問：

http://ggplot.yhathq.com/

4.Mayavi：

Mayavi2完全用Python編寫，因此它不但是一個方便實用的可視化軟體，而且可以方便地用Python編寫擴展，嵌入到用戶編寫的Python程序中，或者直接使用其面向腳本的API：mlab快速繪制三維圖

訪問：http://code.enthought.com/pages/mayavi-project.html

講解：https://blog.csdn.net/ouening/article/details/76595427https://www.jianshu.com/p/81e6f4f1cdd8

5.TVTK：

TVTK庫對標準的VTK庫進行包裝，提供了Python風格的API、支持Trait屬性和numpy的多維數組。

VTK (http://www.vtk.org/) 是一套三維的數據可視化工具，它由C++編寫，包涵了近千個類幫助我們處理和顯示數據

講解：https://docs.huihoo.com/scipy/scipy-zh-cn/tvtk_intro.html

機器學習

1.Scikit-learn

是一個簡單且高效的數據挖掘和數據分析工具，易上手，可以在多個上下文中重復使用。它基於NumPy, SciPy 和 matplotlib，開源，可商用（基於 BSD 許可）。

訪問：

講解：https://blog.csdn.net/finafily0526/article/details/79318401

2.Tensorflow

最初由谷歌機器智能科研組織中的谷歌大腦團隊（Google Brain Team）的研究人員和工程師開發。該系統設計的初衷是為了便於機器學習研究，能夠更快更好地將科研原型轉化為生產項目。

相關推薦：《Python視頻教程》

Web框架

1.Tornado

訪問：http://www.tornadoweb.org/en/stable/

2.Flask

訪問：http://flask.pocoo.org/

3.Web.py

訪問：http://webpy.org/

4.django

https://www.djangoproject.com/

5.cherrypy

http://cherrypy.org/

6.jinjs

http://docs.jinkan.org/docs/jinja2/

GUI 圖形界面

1.Tkinter

https://wiki.python.org/moin/TkInter/

2.wxPython

https://www.wxpython.org/

3.PyGTK

http://www.pygtk.org/

4.PyQt

https://sourceforge.net/projects/pyqt/

5.PySide

http://wiki.qt.io/Category:LanguageBindings::PySide

科學計算

教程

https://docs.huihoo.com/scipy/scipy-zh-cn/index.html#

1.numpy

訪問

http://www.numpy.org/

講解

https://blog.csdn.net/lm_is_dc/article/details/81098805

2.sympy

sympy是一個Python的科學計算庫，用一套強大的符號計算體系完成諸如多項式求值、求極限、解方程、求積分、微分方程、級數展開、矩陣運算等等計算問題

訪問

https://docs.sympy.org/0.7.1/guide.html#guide

講解

https://www.jianshu.com/p/339c91ae9f41

解方程

https://www.cnblogs.com/zyg123/p/10549354.html

3.SciPy

官網

https://www.scipy.org/

講解

https://blog.csdn.net/wsp_1138886114/article/details/80444621

4.pandas

官網

http://pandas.pydata.org/

講解

https://www.cnblogs.com/linux-wangkun/p/5903945.html

5.blaze

官網

http://blaze.readthedocs.io/en/latest/index.html

密碼學

1.cryptography

https://pypi.python.org/pypi/cryptography/

2.hashids

http://www.oschina.net/p/hashids

3.Paramiko

http://www.paramiko.org/

4.Passlib

https://pythonhosted.org/passlib/

5.PyCrypto

https://pypi.python.org/pypi/pycrypto

6.PyNacl

http://pynacl.readthedocs.io/en/latest/

爬蟲相關

requests

http://www.python-requests.org/

scrapy

https://scrapy.org/

pyspider

https://github.com/binux/pyspider

portia

https://github.com/scrapinghub/portia

html2text

https://github.com/Alir3z4/html2text

BeautifulSoup

https://www.crummy.com/software/BeautifulSoup/

lxml

http://lxml.de/

selenium

http://docs.seleniumhq.org/

mechanize

https://pypi.python.org/pypi/mechanize

PyQuery

https://pypi.python.org/pypi/pyquery/

creepy

https://pypi.python.org/pypi/creepy

gevent

一個高並發的網路性能庫

http://www.gevent.org/

圖像處理

bigmoyan

http://scikit-image.org/

Python Imaging Library(PIL)

http://www.pythonware.com/procts/pil/

pillow：

http://pillow.readthedocs.io/en/latest/

自然語言處理

1.nltk：

http://www.nltk.org/

教程

https://blog.csdn.net/wizardforcel/article/details/79274443

2.snownlp

https://github.com/isnowfy/snownlp

3.Pattern

https://github.com/clips/pattern

4.TextBlob

http://textblob.readthedocs.io/en/dev/

5.Polyglot

https://pypi.python.org/pypi/polyglot

6.jieba：

https://github.com/fxsjy/jieba

資料庫驅動

mysql-python

https://sourceforge.net/projects/mysql-python/

PyMySQL

https://github.com/PyMySQL/PyMySQL

PyMongo

https://docs.mongodb.com/ecosystem/drivers/python/

pymongo

MongoDB庫

訪問：https://pypi.python.org/pypi/pymongo/

redis

Redis庫

訪問：https://pypi.python.org/pypi/redis/

cxOracle

Oracle庫

訪問：https://pypi.python.org/pypi/cx_Oracle

SQLAlchemy

SQL工具包及對象關系映射（ORM）工具

訪問：http://www.sqlalchemy.org/

peewee，

SQL工具包及對象關系映射（ORM）工具

訪問：https://pypi.python.org/pypi/peewee

torndb

Tornado原裝DB

訪問：https://github.com/bdarnell/torndb

Web

pycurl

URL處理工具

smtplib模塊

發送電子郵件

其他庫暫未分類

1.PyInstaller：

是一個十分有用的第三方庫，它能夠在Windows、Linux、 Mac OS X 等操作系統下將 Python 源文件打包，通過對源文件打包， Python 程序可以在沒有安裝 Python 的環境中運行，也可以作為一個 獨立文件方便傳遞和管理。

2.Ipython

一種互動式計算和開發環境

講解

https://www.cnblogs.com/zzhzhao/p/5295476.html

命令

ls、cd 、run、edit、clear、exist

Ⅶ 無法連接到MongoDB Python Python問題，怎麼解決

在這周學習python tornado的過程中，接觸了新的資料庫mongo.

在剛開始連接的過程中，就出現了如下的問題，特此記錄一下。

AttributeError: 'mole' object has no attribute 'Connection'

python版本2.7.11

pymongo版本3.3.0

根據網上的教程，首先導入pymongo，連接第一步的步驟大都是如下的

import pymongo conn = pymongo.Connection('localhost',27017)
然後就報錯啦啦啦啦！AttributeError: 'mole' object has no attribute 'Connection'
然後發現我看的pymongo教程大都是幾年前的，pymongo的版本應該也比較低。後面網路，google了一下，原來是新的pymongo中取消了Connection這個方法。新的版本需要新建一個client，然後才是連接。>>> from pymongo import MongoClient >>> client=MongoClient() >>> client MongoClient('localhost', 27017)

• mongo_client– Tools for connecting to MongoDB

Ⅷ 數據挖掘方向，Python中還需要學習哪些內容

就題論題，還包括：
1. Python 資料庫連接庫，例如MySQL 連接庫的應用，這決定你的數據從哪裡來。這裡面涉及到sql語法和資料庫基本知識，是你在學習的時候必須一起學會的。
2. Python 做基本數據計算和預處理的庫，包括numpy ，scipy，pandas 這三個用得最多。
3. 數據分析和挖掘庫，主要是sklearn，Statsmodels。前者是最廣泛的機器學習庫，後者是側重於統計分析的庫。（要知道統計分析大多時候和數據挖掘都錯不能分開使用）
4. 圖形展示庫。matpotlib，這是用的最多的了。
說完題主本身 要求，樓上幾位說的對，你還需要一些關於數據挖掘演算法的基本知識和認知，否則即使你調用相關庫得到結果，很可能你都不知道怎麼解讀，如何優化，甚至在什麼場景下還如何選擇演算法等。因此基本知識你得了解。主要包括：
1.統計學相關，看看深入淺出數據分析和漫畫統計學吧，雖然是入門的書籍，但很容易懂。
2.數據挖掘相關，看看數據挖掘導論吧，這是講演算法本身得書。
剩下的就是去實踐了。有項目就多參與下項目，看看真正的數據挖掘項目是怎麼開展的，流程怎樣等。沒有項目可以去參加一些數據挖掘或機器學習方面的大賽，也是增加經驗得好方法。

Ⅸ Python爬蟲可以爬取什麼

Python爬蟲可以爬取的東西有很多，Python爬蟲怎麼學？簡單的分析下：

如果你仔細觀察，就不難發現，懂爬蟲、學習爬蟲的人越來越多，一方面，互聯網可以獲取的數據越來越多，另一方面，像 Python這樣的編程語言提供越來越多的優秀工具，讓爬蟲變得簡單、容易上手。

利用爬蟲我們可以獲取大量的價值數據，從而獲得感性認識中不能得到的信息，比如：

知乎：爬取優質答案，為你篩選出各話題下最優質的內容。

淘寶、京東：抓取商品、評論及銷量數據，對各種商品及用戶的消費場景進行分析。

安居客、鏈家：抓取房產買賣及租售信息，分析房價變化趨勢、做不同區域的房價分析。

拉勾網、智聯：爬取各類職位信息，分析各行業人才需求情況及薪資水平。

雪球網：抓取雪球高回報用戶的行為，對股票市場進行分析和預測。

爬蟲是入門Python最好的方式，沒有之一。Python有很多應用的方向，比如後台開發、web開發、科學計算等等，但爬蟲對於初學者而言更友好，原理簡單，幾行代碼就能實現基本的爬蟲，學習的過程更加平滑，你能體會更大的成就感。

掌握基本的爬蟲後，你再去學習Python數據分析、web開發甚至機器學習，都會更得心應手。因為這個過程中，Python基本語法、庫的使用，以及如何查找文檔你都非常熟悉了。

對於小白來說，爬蟲可能是一件非常復雜、技術門檻很高的事情。比如有人認為學爬蟲必須精通 Python，然後哼哧哼哧系統學習 Python 的每個知識點，很久之後發現仍然爬不了數據；有的人則認為先要掌握網頁的知識，遂開始 HTMLCSS，結果入了前端的坑，瘁……

但掌握正確的方法，在短時間內做到能夠爬取主流網站的數據，其實非常容易實現，但建議你從一開始就要有一個具體的目標。

在目標的驅動下，你的學習才會更加精準和高效。那些所有你認為必須的前置知識，都是可以在完成目標的過程中學到的。這里給你一條平滑的、零基礎快速入門的學習路徑。

1.學習 Python 包並實現基本的爬蟲過程

2.了解非結構化數據的存儲

3.學習scrapy，搭建工程化爬蟲

4.學習資料庫知識，應對大規模數據存儲與提取

5.掌握各種技巧，應對特殊網站的反爬措施

6.分布式爬蟲，實現大規模並發採集，提升效率

一

學習 Python 包並實現基本的爬蟲過程

大部分爬蟲都是按「發送請求——獲得頁面——解析頁面——抽取並儲存內容」這樣的流程來進行，這其實也是模擬了我們使用瀏覽器獲取網頁信息的過程。

Python中爬蟲相關的包很多：urllib、requests、bs4、scrapy、pyspider 等，建議從requests+Xpath 開始，requests 負責連接網站，返回網頁，Xpath 用於解析網頁，便於抽取數據。

如果你用過 BeautifulSoup，會發現 Xpath 要省事不少，一層一層檢查元素代碼的工作，全都省略了。這樣下來基本套路都差不多，一般的靜態網站根本不在話下，豆瓣、糗事網路、騰訊新聞等基本上都可以上手了。

當然如果你需要爬取非同步載入的網站，可以學習瀏覽器抓包分析真實請求或者學習Selenium來實現自動化，這樣，知乎、時光網、貓途鷹這些動態的網站也可以迎刃而解。

二

了解非結構化數據的存儲

爬回來的數據可以直接用文檔形式存在本地，也可以存入資料庫中。

開始數據量不大的時候，你可以直接通過 Python 的語法或 pandas 的方法將數據存為csv這樣的文件。

當然你可能發現爬回來的數據並不是干凈的，可能會有缺失、錯誤等等，你還需要對數據進行清洗，可以學習 pandas 包的基本用法來做數據的預處理，得到更干凈的數據。

三

學習 scrapy，搭建工程化的爬蟲

掌握前面的技術一般量級的數據和代碼基本沒有問題了，但是在遇到非常復雜的情況，可能仍然會力不從心，這個時候，強大的 scrapy 框架就非常有用了。

scrapy 是一個功能非常強大的爬蟲框架，它不僅能便捷地構建request，還有強大的 selector 能夠方便地解析 response，然而它最讓人驚喜的還是它超高的性能，讓你可以將爬蟲工程化、模塊化。

學會 scrapy，你可以自己去搭建一些爬蟲框架，你就基本具備爬蟲工程師的思維了。

四

學習資料庫基礎，應對大規模數據存儲

爬回來的數據量小的時候，你可以用文檔的形式來存儲，一旦數據量大了，這就有點行不通了。所以掌握一種資料庫是必須的，學習目前比較主流的 MongoDB 就OK。

MongoDB 可以方便你去存儲一些非結構化的數據，比如各種評論的文本，圖片的鏈接等等。你也可以利用PyMongo，更方便地在Python中操作MongoDB。

因為這里要用到的資料庫知識其實非常簡單，主要是數據如何入庫、如何進行提取，在需要的時候再學習就行。

五

掌握各種技巧，應對特殊網站的反爬措施

當然，爬蟲過程中也會經歷一些絕望啊，比如被網站封IP、比如各種奇怪的驗證碼、userAgent訪問限制、各種動態載入等等。

遇到這些反爬蟲的手段，當然還需要一些高級的技巧來應對，常規的比如訪問頻率控制、使用代理IP池、抓包、驗證碼的OCR處理等等。

往往網站在高效開發和反爬蟲之間會偏向前者，這也為爬蟲提供了空間，掌握這些應對反爬蟲的技巧，絕大部分的網站已經難不到你了.

六

分布式爬蟲，實現大規模並發採集

爬取基本數據已經不是問題了，你的瓶頸會集中到爬取海量數據的效率。這個時候，相信你會很自然地接觸到一個很厲害的名字：分布式爬蟲。

分布式這個東西，聽起來很恐怖，但其實就是利用多線程的原理讓多個爬蟲同時工作，需要你掌握 Scrapy + MongoDB + Redis 這三種工具。

Scrapy 前面我們說過了，用於做基本的頁面爬取，MongoDB 用於存儲爬取的數據，Redis 則用來存儲要爬取的網頁隊列，也就是任務隊列。

所以有些東西看起來很嚇人，但其實分解開來，也不過如此。當你能夠寫分布式的爬蟲的時候，那麼你可以去嘗試打造一些基本的爬蟲架構了，實現一些更加自動化的數據獲取。

你看，這一條學習路徑下來，你已然可以成為老司機了，非常的順暢。所以在一開始的時候，盡量不要系統地去啃一些東西，找一個實際的項目（開始可以從豆瓣、小豬這種簡單的入手），直接開始就好。

因為爬蟲這種技術，既不需要你系統地精通一門語言，也不需要多麼高深的資料庫技術，高效的姿勢就是從實際的項目中去學習這些零散的知識點，你能保證每次學到的都是最需要的那部分。

當然唯一麻煩的是，在具體的問題中，如何找到具體需要的那部分學習資源、如何篩選和甄別，是很多初學者面臨的一個大問題。

以上就是我的回答，希望對你有所幫助，望採納。