爬蟲(chóng)框架是哪些？常見(jiàn)的 Python 爬蟲(chóng)框架有什么？學(xué)習爬蟲(chóng)的人對爬蟲(chóng)框架并不陌生，在爬蟲(chóng)漸漸入門(mén)以后，可以有兩個(gè)選擇。 一個(gè)是深入學(xué)習， 比如設計模式相關(guān)的一些知識， 強化 Python 相關(guān)知識，自己動(dòng)手造輪子爬蟲(chóng)框架， 繼續為自己的爬蟲(chóng)降低分布式，多線(xiàn)程等功能擴充。另一條路便是學(xué)習一些優(yōu)秀的框架， 先把這種框架用熟， 可以確保才能應付一些基本的爬蟲(chóng) 任務(wù)，也就是可以解決基本的爬蟲(chóng)問(wèn)題，然后再深入學(xué)習它的源碼等知識，進(jìn)一步加強。所以，爬蟲(chóng)框架就是前人積累出來(lái)的，可以滿(mǎn)足自己爬蟲(chóng)需求，又可以以此提高自己的爬蟲(chóng) 水平。那么，爬蟲(chóng)框架都有什么呢？常見(jiàn) python 爬蟲(chóng)框架(1)Scrapy:很強悍的爬蟲(chóng)框架，可以滿(mǎn)足簡(jiǎn)單的頁(yè)面爬?。ū热缈梢悦魑弥?url pattern 的 情況） 。用這個(gè)框架可以輕松爬出來(lái)如亞馬遜商品信息之類(lèi)的數據。但是對于稍稍復雜一點(diǎn) 的頁(yè)面爬蟲(chóng)框架，如 weibo 的頁(yè)面信息，這個(gè)框架就滿(mǎn)足不了需求了。(2)Crawley: 高速爬取對應網(wǎng)站的內容， 支持關(guān)系和非關(guān)系數據庫， 數據可以導入為 JSON、 XML 等(3)Portia:可視化爬取網(wǎng)頁(yè)內容(4)newspaper:提取新聞、文章以及內容剖析(5)python-goose:java 寫(xiě)的文章提取工具(6)Beautiful Soup:名氣大，整合了一些常用爬蟲(chóng)需求。缺點(diǎn)：不能加載 JS。(7)mechanize:優(yōu)點(diǎn)：可以加載 JS。缺點(diǎn)：文檔嚴重缺位。不過(guò)通過(guò)官方的 example 以及 人肉嘗試的方式，還是勉強能用的。(8)selenium:這是一個(gè)調用瀏覽器的 driver， 通過(guò)這個(gè)庫你可以直接調用瀏覽器完成個(gè)別操 作，比如輸入驗證碼。(9)cola:一個(gè)分布式爬蟲(chóng)框架。項目整體設計有點(diǎn)糟，模塊間耦合度較高。