querylist采集微信公眾號文章(每天更新視頻:熊孩子和萌寵搞笑視頻,笑聲不斷快樂(lè )常伴 )
優(yōu)采云 發(fā)布時(shí)間: 2022-02-08 22:10querylist采集微信公眾號文章(每天更新視頻:熊孩子和萌寵搞笑視頻,笑聲不斷快樂(lè )常伴
)
每天更新視頻:熊孩子的日常生活,萌寵的日常生活,熊孩子和萌寵的搞笑視頻,笑聲不斷伴隨著(zhù)快樂(lè )!
獲取公眾號信息
標題、摘要、封面、文章URL
腳步:
1、先申請公眾號
2、登錄您的帳戶(hù),創(chuàng )建一個(gè)新的文章 圖形,然后單擊超鏈接
3、彈出搜索框,搜索你需要的公眾號,查看歷史記錄文章
4、通過(guò)抓包獲取信息,定位到請求的url
通過(guò)查看信息,我們找到了我們需要的關(guān)鍵內容:title、abstract、cover 和 文章 URL,并確定這就是我們需要的 URL。通過(guò)點(diǎn)擊下一頁(yè),多次獲取url,發(fā)現只有random和bengin的參數變化
所以主要信息URL是可以的。
那么讓我們開(kāi)始吧:
原來(lái)我們需要修改的參數是:token、random、cookie
這兩個(gè)值的來(lái)源,可以得到url
# -*- coding: utf-8 -*-
import re
import requests
import jsonpath
import json
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36",
"Host": "mp.weixin.qq.com",
"Referer": "https://mp.weixin.qq.com/cgi-bin/appmsg?t=media/appmsg_edit&action=edit&type=10&isMul=1&isNew=1&lang=zh_CN&token=1862390040",
"Cookie": "自己獲取信息時(shí)的cookie"
}
def getInfo():
for i in range(80):
# token random 需要要自己的 begin:參數傳入
url = "https://mp.weixin.qq.com/cgi-bin/appmsg?token=1904193044&lang=zh_CN&f=json&ajax=1&random=0.9468236563826882&action=list_ex&begin={}&count=5&query=&fakeid=MzI4MzkzMTc3OA%3D%3D&type=9".format(str(i * 5))
response = requests.get(url, headers = headers)
jsonRes = response.json()
titleList = jsonpath.jsonpath(jsonRes, "$..title")
coverList = jsonpath.jsonpath(jsonRes, "$..cover")
urlList = jsonpath.jsonpath(jsonRes, "$..link")
# 遍歷 構造可存儲字符串
for index in range(len(titleList)):
title = titleList[index]
cover = coverList[index]
url = urlList[index]
scvStr = "%s,%s, %s,\n" % (title, cover, url)
with open("info.csv", "a+", encoding="gbk", newline='') as f:
f.write(scvStr)
得到結果(成功):
獲取 文章 里面的視頻
實(shí)現批量下載通過(guò)分??析單個(gè)視頻文章,找到了這個(gè)鏈接:
打開(kāi)網(wǎng)頁(yè)找到,也就是視頻的網(wǎng)頁(yè)下載鏈接:
嘿嘿,好像有點(diǎn)意思。找到了視頻網(wǎng)頁(yè)的純下載鏈接,開(kāi)始吧。
我發(fā)現鏈接中有一個(gè)關(guān)鍵參數vid。我不知道它是從哪里來(lái)的?
與獲取的其他信息無(wú)關(guān),只能強制。
該參數在單文章的url請求信息中找到,然后獲取。
response = requests.get(url_wxv, headers=headers)
# 我用的是正則,也可以使用xpath
jsonRes = response.text # 匹配:wxv_1105179750743556096
dirRe = r"wxv_.{19}"
result = re.search(dirRe, jsonRes)
wxv = result.group(0)
print(wxv)
視頻下載:
def getVideo(video_title, url_wxv):
video_path = './videoFiles/' + video_title + ".mp4"
# 頁(yè)面可下載形式
video_url_temp = "https://mp.weixin.qq.com/mp/videoplayer?action=get_mp_video_play_url&preview=0&__biz=MzI4MzkzMTc3OA==&mid=2247488495&idx=4&vid=" + wxv
response = requests.get(video_url_temp, headers=headers)
content = response.content.decode()
content = json.loads(content)
url_info = content.get("url_info")
video_url2 = url_info[0].get("url")
print(video_url2)
# 請求要下載的url地址
html = requests.get(video_url2)
# content返回的是bytes型也就是二進(jìn)制的數據。
html = html.content
with open(video_path, 'wb') as f:
f.write(html)
然后所有的信息都完成了,代碼就組裝好了。
一個(gè)。獲取公眾號信息
灣。篩選單個(gè)文章信息
C。獲取視頻信息
d。拼接視頻頁(yè)面下載地址
e. 下載視頻并保存
代碼實(shí)驗結果: