Python網(wǎng)絡(luò )爬蟲(chóng)學(xué)習筆記（五）

　　微信公眾號文章爬取

　　以搜狗的陌陌搜索平臺“”作為爬取入口，可以在搜索欄輸入相應關(guān)鍵詞來(lái)搜索相關(guān)微信公眾號文章。我們以“機器學(xué)習”作為搜索關(guān)鍵詞?？梢钥匆?jiàn)搜索后的地址欄中內容為：

　　%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0&_sug_type_=&sut=1872&lkt=1%2C86%2C86&s_from=input&_sug_=n&type=2&sst0=95&page=2&ie=utf8&w=01019900&dr=1

　　通過(guò)觀(guān)察，可以發(fā)覺(jué)如此幾個(gè)關(guān)鍵數組：

　　type：控制檢索信息的類(lèi)型query：我們懇求的搜索關(guān)鍵詞page：控制頁(yè)數

　　所以我們的網(wǎng)址結構可以構造為：

　　關(guān)鍵詞&type=2&page=頁(yè)碼

　　然后，我們在每一個(gè)搜索頁(yè)中爬取文章的思路是：

　　檢索對應關(guān)鍵詞得到的相應文章檢索結果，并在該頁(yè)面上將文章的鏈接提取下來(lái)在文章的鏈接被提取以后，根據這種鏈接地址采集文章中的具體標題和內容

　　通過(guò)查看文章列表頁(yè)的源代碼可以找到相應文章的URL以及要爬取的內容，列表頁(yè)面如下：

　　其中第一篇文章網(wǎng)址部份的源代碼如下所示：

機器學(xué)習法則:ML工程的最佳實(shí)踐

圖片源自:Westworld Season 2作者無(wú)邪機器學(xué)習研究者,人工智障推進(jìn)者.Martin Zinkevich 在2016年將 google 內容多年關(guān)于機器學(xué)...

程序人生document.write(timeConvert('1526875397'))

　　所以我們可以將提取文章網(wǎng)址的正則表達式構造為：

　　'

　　這樣就可以依據相關(guān)函數與代碼提取出指定頁(yè)數的文章網(wǎng)址。但是依據正則表達式提取出的網(wǎng)址不是真實(shí)地址，會(huì )出現參數錯誤。提取出的地址比真實(shí)地址多了一些“&amp；”字符串，我們通過(guò)url.replace("amp;","")去掉多余字符串。

　　這樣就提取了文章的地址，可以依照文章地址爬取相應網(wǎng)頁(yè)，并通過(guò)代理服務(wù)器的方式，解決官方屏蔽IP的問(wèn)題。

　　整個(gè)爬取陌陌文章的思路如下：

　　建立三個(gè)自定義函數：實(shí)現使用代理服務(wù)器爬去指定網(wǎng)址并返回結果；實(shí)現獲得多個(gè)頁(yè)面的所有文章鏈接；實(shí)現依據文章鏈接爬取指定標題和內容并寫(xiě)入文件中。使用代理服務(wù)器爬取指定網(wǎng)址的內容實(shí)現獲取多個(gè)頁(yè)面的所有文章鏈接時(shí)，需要對關(guān)鍵詞使用urllib.request.quote(key)進(jìn)行編碼，并通過(guò)for循環(huán)一次爬取各頁(yè)的文章中設置的服務(wù)器函數實(shí)現。實(shí)現依據文章鏈接爬取指定標題和內容寫(xiě)入對應文件，使用for循環(huán)一次爬取。代碼中假如發(fā)生異常，要進(jìn)行延時(shí)處理。

　　具體代碼如下：