網(wǎng)絡(luò )爬蟲(chóng)（又被稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò )機器人），是一種根據一定的規則，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或則腳本。那么要學(xué)會(huì )并精通Python網(wǎng)絡(luò )爬蟲(chóng)，我們須要打算什么知識和工具那？

　　1 Python基礎知識

　　Python作為現今最流行的編程語(yǔ)言之一爬蟲(chóng)工具，其強悍之處也是毋庸置疑的，利用Python寫(xiě)網(wǎng)路爬蟲(chóng)是最好不過(guò)的選擇啦，所以萬(wàn)丈高樓平地起，學(xué)習網(wǎng)路爬蟲(chóng)最最基本的就是要把握Python編程的基礎知識，了解以下幾點(diǎn)即可：

　　基本數據結構數據類(lèi)型控制流函數的使用模塊的使用Python學(xué)習教程推薦：

　?。?）廖雪峰之Python教程。具體學(xué)習網(wǎng)址百度一下就可以，其講解堪稱(chēng)通俗易懂，學(xué)習上去特別快。

　?。?）Python簡(jiǎn)明教程

　　2 開(kāi)發(fā)環(huán)境

　　操作系統：Windows7及以上

　　Python版本：Python3.x

　　代碼開(kāi)發(fā)環(huán)境：個(gè)人比較推薦PyCharm作為自己的IDE，當然你也可以按照自己的使用習慣選擇代碼編輯器，如Notepad++等

　　3 Python庫

　　一般網(wǎng)路爬蟲(chóng)所需根據的庫有：

　　urllib和urllib2庫

　　這兩個(gè)庫是學(xué)習爬蟲(chóng)最基本的庫，其才能將URL所指定的網(wǎng)路資源（HTML）獲得，并可用正則表達式對其內容進(jìn)行提取爬蟲(chóng)工具，進(jìn)而得到我們想要的結果。

　　Pythonre模塊

　　re模塊是Python提供的用于字符串匹配非常好用的工具，其設計思想就是借助一種描述性語(yǔ)言來(lái)定義字符串的規則，凡是符合這一規則的字符串，則表明就匹配成功，這就是我們熟悉的正則表達式。利用re模塊提供的抒發(fā)功能，我們可以很方便從爬取到的網(wǎng)頁(yè)內容中匹配出須要的內容數據。

　　BeautifulSoup庫

　　此庫是一個(gè)強悍的解析文檔工具箱，其才能將我們爬取的到HTML頁(yè)面內容解析成一個(gè)復雜的樹(shù)狀結構，每一個(gè)節點(diǎn)都是一個(gè)Python對象，具體講在前面給你們詳盡講解。

　　以上介紹都是一些基本爬取所需的庫，當然假如你想做一個(gè)有深度的爬蟲(chóng)，還須要把握如requests庫、pymongo庫、selenium庫等，等把握的差不多了，還可以學(xué)習一下爬蟲(chóng)框架Scrapy。