querylist采集微信公眾號文章(Python批量抓取公眾號文章

)

　　PS：如需Python學(xué)習資料，可點(diǎn)擊下方鏈接自行獲取

　　Python免費學(xué)習資料和*敏*感*詞*流答案點(diǎn)擊加入

　　爬取的方法有很多種。今天給大家分享一個(gè)更簡(jiǎn)單的方法，就是通過(guò)微信公眾號后臺的“超鏈接”功能進(jìn)行爬取?？赡苡械呐笥堰€沒(méi)有接觸過(guò)微信公眾號后臺，這里放個(gè)圖讓大家了解一下

　　

　　這里有的朋友可能會(huì )說(shuō)，我后臺無(wú)法登錄公眾號，怎么辦？ ? ?

　　沒(méi)關(guān)系，雖然每個(gè)爬蟲(chóng)的目的都是為了得到我們想要的結果，但這不是我們學(xué)習的重點(diǎn)。我們學(xué)習的重點(diǎn)是爬取過(guò)程，也就是我們如何獲取目標數據，所以無(wú)法公開(kāi)登錄 看完這篇文章后，后臺的朋友可能無(wú)法獲取到最終爬取結果，但看完這篇文章你也會(huì )有所收獲。

　　一、前期準備

　　選擇要抓取的目標公眾號

　　點(diǎn)擊超鏈接-進(jìn)入編輯超鏈接界面-輸入我們需要抓取的搜索目標公眾號

　　今天我們以“數據分析”公眾號的爬取為例給大家介紹

　　

　　點(diǎn)擊公眾號查看每個(gè)文章對應的標題信息

　　

　　我們這次爬蟲(chóng)的目標是獲取文章的標題和對應的鏈接。

　　二、開(kāi)始爬取

　　爬蟲(chóng)的三個(gè)步驟：

　　1、請求網(wǎng)頁(yè)

　　首先導入我們使用這個(gè)爬蟲(chóng)需要的第三方庫

　　import re#用來(lái)解析網(wǎng)頁(yè)

import requests#用來(lái)請求網(wǎng)頁(yè)

import csv#用來(lái)保存數據

import time#用來(lái)設置每次爬取間隔的時(shí)間

　　找到我們抓取的目標數據所在的位置，點(diǎn)擊搜索得到的包，獲取目標URL和請求頭信息

　　

　　請求網(wǎng)頁(yè)

　　headers={

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',

'cookie': 'pgv_pvi=2389011456; RK=x4Sdy3WsT4; ptcz=4a2fe0ffda6742a230c94f168291afcce2bd001e5d6615132b55da90559cd463; pgv_pvid=6989331736; _ga=GA1.2.735850052.1585832762; ptui_loginuin=1207020736; ua_id=iJuK7hnHjcUE0e2dAAAAAHzCRcatCWOiHc-hdkhSDL4=; __guid=166713058.1972731636944397800.1590316882436.5461; openid2ticket_oY8wqwesgvgkdQ69wUeM5UxhOV5c=ION52/k2w4M3o44iht5BRt5yCyxP/3IaRXJ84RIpRZA=; mm_lang=zh_CN; pac_uid=0_5ecd1592971c3; uin=o1240069166; skey=@YLtvDuKyj; pgv_info=ssid=s4875389884; pgv_si=s8410697728; uuid=62839906b2a77b5f098cd91979af8b33; rand_info=CAESIC53TQFCwjIe4ZsrTRKvSs+ocfs4UTsj9swrrNwosjCd; slave_bizuin=3240807523; data_bizuin=3240807523; bizuin=3240807523; data_ticket=AiTk/OFWXCKxhaenCvEuP06mwWTI6YqCyt+74hoaXaNtKBbcnq//ZTXHzqByMhK6; slave_sid=YndxeFhCSkU5OUJtdFYycW9zN29FcG51NU5GNElBM3I2RF9wVjJBRGx2bWxrTXdiMDZFYzllUWNaMlN4N0RsOTlVMDRxZFZEMjJXdlRZcXBVOGptQ2ZDSVZiOEJlQW5BZDVCWlkzSnJ6WWNPWVRiN1J0cldCd0pvbTc3RGRiMm9pZ3ZISTl6WWhDUmNCZ2s3; slave_user=gh_5d822fe7fd08; xid=9794daa60db66fcf7a65c4054e3d68ce; mmad_session=43d4e5247a6b025b67ba3abd48d27a309ec4713911b6ef6f23cddb4b9953e771354ad1572fbc3fa895051725e95abb887cf2d03e9864084974db75c8588189699ea5b20b8fe35073831446ef98d24de600f107fe69d79646a3dd2907ab712e1f11de1c56c245721266e7088080fefde3; ts_last=mp.weixin.qq.com/cgi-bin/frame; ts_uid=1963034896; monitor_count=15'

}#請求頭信息，這里cookie信息必須添加，否則得不到網(wǎng)頁(yè)信息

url='https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin=0&count=5&fakeid=MjM5MjAxMDM4MA==&type=9&query=&token=59293242&lang=zh_CN&f=json&ajax=1'

response=requests.get(url,headers=headers)#得到響應內容

response.encoding='utf-8'#設置響應內容為utf-8格式

html=response.text#得到網(wǎng)頁(yè)的文本形式

print(html)

　　這里的請求頭信息必須加上cookie信息，否則無(wú)法獲取網(wǎng)頁(yè)信息

　　網(wǎng)頁(yè)的請求結果如下圖所示。紅框標記了我們需要的文章title 和文章 鏈接

　　

　　2、分析網(wǎng)頁(yè)

　　從網(wǎng)頁(yè)響應結果我們可以看到，每個(gè)文章的標題和鏈接分別位于“title”標簽和“cover”標簽后面，所以我們可以直接使用正則表達式來(lái)解析它們

　　title=re.findall('"title":"(.*?)"',html)#得到文章標題

cover=re.findall('"cover":"(.*?)"',html)#得到文章鏈接

all=zip(title,cover)#利用zip方法，將兩個(gè)列表中的數據一一對應

print(list(all))#list是對zip方法得到的數據進(jìn)行解壓

　　解析后的結果如下

　　

　　3、保存數據

　　for data in all:#for循環(huán)遍歷列表

time.sleep(3)#每爬取一篇文章間隔3秒，以防觸發(fā)反爬

with open('C:\Users\Administrator\Desktop\爬取公眾號文章.csv','a',encoding='utf-8-sig') as file:

#將數據保存到桌面

write=csv.writer(file)

write.writerow(data)

　　到此這個(gè)爬蟲(chóng)就完成了，我們來(lái)看看最終的結果

　　

　　完整代碼

　　import re#用來(lái)解析網(wǎng)頁(yè)

import requests#用來(lái)請求網(wǎng)頁(yè)

import csv#用來(lái)保存數據

import time#用來(lái)設置每次爬取間隔的時(shí)間

# 請求網(wǎng)頁(yè)

index=0

headers={

'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',

'cookie': 'pgv_pvi=2389011456; RK=x4Sdy3WsT4; ptcz=4a2fe0ffda6742a230c94f168291afcce2bd001e5d6615132b55da90559cd463; pgv_pvid=6989331736; _ga=GA1.2.735850052.1585832762; ptui_loginuin=1207020736; ua_id=iJuK7hnHjcUE0e2dAAAAAHzCRcatCWOiHc-hdkhSDL4=; __guid=166713058.1972731636944397800.1590316882436.5461; openid2ticket_oY8wqwesgvgkdQ69wUeM5UxhOV5c=ION52/k2w4M3o44iht5BRt5yCyxP/3IaRXJ84RIpRZA=; mm_lang=zh_CN; pac_uid=0_5ecd1592971c3; uin=o1240069166; skey=@YLtvDuKyj; pgv_info=ssid=s4875389884; pgv_si=s8410697728; uuid=62839906b2a77b5f098cd91979af8b33; rand_info=CAESIC53TQFCwjIe4ZsrTRKvSs+ocfs4UTsj9swrrNwosjCd; slave_bizuin=3240807523; data_bizuin=3240807523; bizuin=3240807523; data_ticket=AiTk/OFWXCKxhaenCvEuP06mwWTI6YqCyt+74hoaXaNtKBbcnq//ZTXHzqByMhK6; slave_sid=YndxeFhCSkU5OUJtdFYycW9zN29FcG51NU5GNElBM3I2RF9wVjJBRGx2bWxrTXdiMDZFYzllUWNaMlN4N0RsOTlVMDRxZFZEMjJXdlRZcXBVOGptQ2ZDSVZiOEJlQW5BZDVCWlkzSnJ6WWNPWVRiN1J0cldCd0pvbTc3RGRiMm9pZ3ZISTl6WWhDUmNCZ2s3; slave_user=gh_5d822fe7fd08; xid=9794daa60db66fcf7a65c4054e3d68ce; mmad_session=43d4e5247a6b025b67ba3abd48d27a309ec4713911b6ef6f23cddb4b9953e771354ad1572fbc3fa895051725e95abb887cf2d03e9864084974db75c8588189699ea5b20b8fe35073831446ef98d24de600f107fe69d79646a3dd2907ab712e1f11de1c56c245721266e7088080fefde3; ts_last=mp.weixin.qq.com/cgi-bin/frame; ts_uid=1963034896; monitor_count=15'

}#請求頭信息，這里cookie信息必須添加，否則得不到網(wǎng)頁(yè)信息

for i in range(2):#設置for循環(huán)實(shí)現翻頁(yè)，爬取多頁(yè)內容，這里range括號內的參數可以更改

url='https://mp.weixin.qq.com/cgi-bin/appmsg?action=list_ex&begin='+str(index)+'&count=5&fakeid=MjM5MjAxMDM4MA==&type=9&query=&token=59293242&lang=zh_CN&f=json&ajax=1'

response=requests.get(url,headers=headers)#得到響應內容

response.encoding='utf-8'#設置響應內容為utf-8格式

html=response.text#得到網(wǎng)頁(yè)的文本形式

# 解析網(wǎng)頁(yè)

title=re.findall('"title":"(.*?)"',html)#得到文章標題

cover=re.findall('"cover":"(.*?)"',html)#得到文章鏈接

all=zip(title,cover)#利用zip方法，將兩個(gè)列表中的數據一一對應

# print(list(all))#list是對zip方法得到的數據進(jìn)行解壓

# 保存數據

for data in all:#for循環(huán)遍歷列表

time.sleep(3)#每爬取一篇文章間隔3秒，以防出發(fā)反爬

with open('C:\Users\Administrator\Desktop\爬取公眾號文章.csv','a',encoding='utf-8-sig') as file:

#將數據保存到桌面

write=csv.writer(file)

write.writerow(data)

pass

pass

index += 5