python爬蟲(chóng)公眾號所有信息，并批量下載公眾號視頻

　　目錄

　　前言

　　本文的文字及圖片來(lái)源于網(wǎng)路,僅供學(xué)習、交流使用,不具有任何商業(yè)用途,版權歸原作者所有,如有問(wèn)題請及時(shí)聯(lián)系我們以作處理。

　　作者： 數據剖析實(shí)戰

　　PS：如有須要Python學(xué)習資料的小伙伴可以加點(diǎn)擊下方鏈接自行獲取

　　主要功能一、獲取公眾號信息：標題、摘要、封面、文章URL

　　操作步驟：

　　1、先自己申請一個(gè)公眾號 2、登錄自己的帳號，新建文章圖文，點(diǎn)擊超鏈接

　　代碼

　　 1 import re

2 ?

3 import requests

4 import jsonpath

5 import json

6 ?

7 headers = {

8 "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",

9 "Host": "mp.weixin.qq.com",

10 "Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",

11 "Cookie": "自己獲取信息時(shí)的cookie"

12 }

13 ?

14 def getInfo():

15 for i in range(80):

16 # token random 需要要自己的 begin：參數傳入

17 url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))

18 ?

19 response = requests.get(url, headers = headers)

20 ?

21 jsonRes = response.json()

22 ?

23 ?

24 titleList = jsonpath.jsonpath(jsonRes, "$..title")

25 coverList = jsonpath.jsonpath(jsonRes, "$..cover")

26 urlList = jsonpath.jsonpath(jsonRes, "$..link")

27 ?

28 # 遍歷 構造可存儲字符串

29 for index in range(len(titleList)):

30 title = titleList[index]

31 cover = coverList[index]

32 url = urlList[index]

33 ?

34 scvStr = "%s,%s, %s,\n" % (title, cover, url)

35 with open("info.csv", "a+", encoding="gbk", newline='') as f:

36 f.write(scvStr)

　　獲取結果(成功)：

　　

　　二、獲取文章內視頻：實(shí)現批量下載

　　通過(guò)對單篇視頻文章分析，我找到了這個(gè)鏈接：

　　

　　通過(guò)網(wǎng)頁(yè)打開(kāi)發(fā)覺(jué)，是視頻的網(wǎng)頁(yè)下載鏈接：

　　

　　哎，好像有點(diǎn)意思了，找到了視頻的網(wǎng)頁(yè)純下載鏈接，那就開(kāi)始吧。

　　發(fā)現鏈接里的有一個(gè)關(guān)鍵參數vid 不知道哪來(lái)的？ 和獲取到的其他信息也沒(méi)有關(guān)系，那就只能硬來(lái)了。

　　通過(guò)對單文章的url懇求信息里發(fā)覺(jué)了這個(gè)參數，然后進(jìn)行獲取。

　　1 response = requests.get(url_wxv, headers=headers)

2 ?

3 # 我用的是正則，也可以使用xpath

4 jsonRes = response.text # 匹配:wxv_1105179750743556096

5 dirRe = r"wxv_.{19}"

6 result = re.search(dirRe, jsonRes)

7 ?

8 wxv = result.group(0)

9 print(wxv)

　　視頻下載：

　　 1 def getVideo(video_title, url_wxv):

2 video_path = './videoFiles/' + video_title + ".mp4"

3 ?

4 # 頁(yè)面可下載形式

5 video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv

6 response = requests.get(video_url_temp, headers=headers)

7 content = response.content.decode()

8 content = json.loads(content)

9 url_info = content.get("url_info")

10 video_url2 = url_info[0].get("url")

11 print(video_url2)

12 ?

13 # 請求要下載的url地址

14 html = requests.get(video_url2)

15 # content返回的是bytes型也就是二進(jìn)制的數據。

16 html = html.content

17 with open(video_path, 'wb') as f:

18 f.write(html)

　　那么所有信息就都完成了，進(jìn)行code組裝。

　　a、獲取公眾號信息

　　b、篩選單篇文章信息

　　c、獲取vid信息

　　d、拼接視頻頁(yè)面下載URL

　　e、下載視頻，保存

　　代碼實(shí)驗結果：

　　

　　

　　.