爬蟲(chóng)如何抓取微信公眾號文章

　　第二部分文章：python爬蟲(chóng)如何抓取微信官方帳戶(hù)文章（二)

　　下一篇文章是如何連接python爬蟲(chóng)以實(shí)現每天抓取微信公眾號的推送文章

　　由于我最近在法庭上執業(yè)，因此我需要一些官方帳戶(hù)數據，然后將其放入網(wǎng)頁(yè)中以進(jìn)行顯示以便于查看。我之前寫(xiě)過(guò)一些爬蟲(chóng)，但是它們都對網(wǎng)站數據進(jìn)行爬蟲(chóng)。這次我認為這很容易，但是遇到了很多麻煩，在這里與您分享。

　　1、使用采集器搜尋數據的最基本也是最重要的事情是找到目標網(wǎng)站的url地址，然后遍歷該地址以一個(gè)或多個(gè)線(xiàn)程對其進(jìn)行搜尋。通常，后續的爬網(wǎng)地址主要是通過(guò)兩種方式獲得的，一種是基于頁(yè)面分頁(yè)來(lái)計算URL地址的規律，通常后跟參數page = num，另一種是過(guò)濾出當前地址的標簽。頁(yè)面，然后將該URL作為后續的抓取地址。不幸的是，這兩種方法都不能在微信公眾號中使用，因為官方帳號的文章地址之間沒(méi)有關(guān)聯(lián)，并且不可能通過(guò)一個(gè)文章地址找到所有文章地址

　　2、那么我們如何獲得官方帳戶(hù)的歷史文章地址？一種方法是通過(guò)搜狗微信網(wǎng)站搜索目標官方帳戶(hù)，您可以看到最新的文章文章，但這僅僅是最新的一篇無(wú)法獲取歷史記錄文章。如果要每天進(jìn)行爬網(wǎng)，則可以使用此方法每天進(jìn)行爬網(wǎng)。圖片是這樣的：

　　3、當然，我們需要很多結果，因此我們仍然必須找到一種方法來(lái)獲取所有歷史文本，少說(shuō)廢話(huà)，然后直達主題：

<p>4、找到歷史記錄文章后，我們如何編寫(xiě)程序以獲取所有URL地址？ ，首先讓我們分析一下瀏覽器在單擊官方帳戶(hù)名，調出檢查頁(yè)面，單擊網(wǎng)絡(luò )，首先清除所有數據，然后單擊目標官方帳戶(hù)時(shí)的行為，您可以看到以下界面：