querylist采集微信公眾號文章(微信公眾號爬取方式)

　　最近在做自己的一個(gè)項目，涉及到需要通過(guò)python爬取微信公眾號文章。由于微信的獨特方法，無(wú)法直接爬取。在研究了一些 文章 之后，我可能會(huì )有一個(gè)想法。而且網(wǎng)上能查到的解決方案都沒(méi)有問(wèn)題，但是里面的代碼由于一些第三方庫的改動(dòng)，基本無(wú)法使用。本文章是寫(xiě)給需要爬取公眾號文章的朋友，文章最后也會(huì )提供python源碼下載。

　　##公眾號抓取方式

　　爬取公眾號主要有兩種方式。一是通過(guò)搜狗搜索微信公眾號頁(yè)面找到文章地址，然后爬取具體的文章內容；注冊公眾號然后通過(guò)公眾號的搜索界面查詢(xún)文章的地址，然后根據地址爬取文章的內容。

　　這兩種方案各有優(yōu)缺點(diǎn)。通過(guò)搜狗搜索做的核心思想是通過(guò)request模擬搜狗搜索公眾號，然后解析搜索結果頁(yè)面，然后根據官方主頁(yè)地址爬取文章的詳細信息帳戶(hù)。但是這里需要注意，因為搜狗和騰訊的協(xié)議，只能顯示最新的10個(gè)文章，沒(méi)有辦法獲取所有的文章。如果你想得到文章的所有朋友，你可能不得不使用第二種方法。第二種方法的缺點(diǎn)是注冊公眾號通過(guò)騰訊認證比較麻煩，通過(guò)調用接口公眾號查詢(xún)接口進(jìn)行查詢(xún)，但是翻頁(yè)需要通過(guò)selenium來(lái)模擬滑動(dòng)翻頁(yè)操作，整個(gè)過(guò)程比較麻煩。因為我的項目中不需要history文章，所以我使用搜狗搜索來(lái)爬取公眾號。

　　爬取最近10個(gè)公眾號文章

　　python需要依賴(lài)的三方庫如下：

　　urllib，pyquery，請求，硒

　　具體邏輯寫(xiě)在評論里，沒(méi)有特別復雜的地方。

　　爬蟲(chóng)核心類(lèi)

　　````蟒蛇

　　#!/usr/bin/python

　　# 編碼：utf-8

　　[Python] 純文本查看

　　import sys

reload(sys)

sys.setdefaultencoding('utf-8')

from urllib import quote

from pyquery import PyQuery as pq

import requests

import time

import re

import os

from selenium.webdriver import Chrome

from selenium.webdriver.firefox.options import Options

from selenium.webdriver.support.wait import WebDriverWait

# 搜索入口地址，以公眾為關(guān)鍵字搜索該公眾號

def get_search_result_by_keywords(sogou_search_url):

# 爬蟲(chóng)偽裝頭部設置

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'}

# 設置操作超時(shí)時(shí)長(cháng)

timeout = 5

# 爬蟲(chóng)模擬在一個(gè)request.session中完成

s = requests.Session()

log(u'搜索地址為：%s' % sogou_search_url)

return s.get(sogou_search_url, headers=headers, timeout=timeout).content

# 獲得公眾號主頁(yè)地址

def get_wx_url_by_sougou_search_html(sougou_search_html):

doc = pq(sougou_search_html)

return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

# 使用webdriver 加載公眾號主頁(yè)內容，主要是js渲染的部分

def get_selenium_js_html(url):

options = Options()

options.add_argument('-headless') # 無(wú)頭參數

driver = Chrome(executable_path='chromedriver', chrome_options=options)

wait = WebDriverWait(driver, timeout=10)

driver.get(url)

time.sleep(3)

# 執行js得到整個(gè)頁(yè)面內容

html = driver.execute_script("return document.documentElement.outerHTML")

driver.close()

return html

# 獲取公眾號文章內容

def parse_wx_articles_by_html(selenium_html):

doc = pq(selenium_html)

return doc('div[class="weui_media_box appmsg"]')

# 將獲取到的文章轉換為字典

def switch_arctiles_to_list(articles):

# 定義存貯變量

articles_list = []

i = 1

# 遍歷找到的文章，解析里面的內容

if articles:

for article in articles.items():

log(u'開(kāi)始整合(%d/%d)' % (i, len(articles)))

# 處理單個(gè)文章

articles_list.append(parse_one_article(article))

i += 1

return articles_list

# 解析單篇文章

def parse_one_article(article):

article_dict = {}

# 獲取標題

title = article('h4[class="weui_media_title"]').text().strip()

###log(u'標題是： %s' % title)

# 獲取標題對應的地址

url = 'http://mp.weixin.qq.com' + article('h4[class="weui_media_title"]').attr('hrefs')

log(u'地址為： %s' % url)

# 獲取概要內容

summary = article('.weui_media_desc').text()

log(u'文章簡(jiǎn)述： %s' % summary)

# 獲取文章發(fā)表時(shí)間

date = article('.weui_media_extra_info').text().strip()

log(u'發(fā)表時(shí)間為： %s' % date)

# 獲取封面圖片

pic = parse_cover_pic(article)

# 返回字典數據

return {

'title': title,

'url': url,

'summary': summary,

'date': date,

'pic': pic

}

# 查找封面圖片，獲取封面圖片地址

def parse_cover_pic(article):

pic = article('.weui_media_hd').attr('style')

p = re.compile(r'background-image:url\((.*?)\)')

rs = p.findall(pic)

log(u'封面圖片是：%s ' % rs[0] if len(rs) > 0 else '')

return rs[0] if len(rs) > 0 else ''

# 自定義log函數，主要是加上時(shí)間

def log(msg):

print u'%s: %s' % (time.strftime('%Y-%m-%d_%H-%M-%S'), msg)

# 驗證函數

def need_verify(selenium_html):

' 有時(shí)候對方會(huì )封鎖ip，這里做一下判斷，檢測html中是否包含id=verify_change的標簽，有的話(huà)，代表被重定向了，提醒過(guò)一陣子重試 '

return pq(selenium_html)('#verify_change').text() != ''

# 創(chuàng )建公眾號命名的文件夾

def create_dir(keywords):

if not os.path.exists(keywords):

os.makedirs(keywords)

# 爬蟲(chóng)主函數

def run(keywords):

' 爬蟲(chóng)入口函數 '

# Step 0 ： 創(chuàng )建公眾號命名的文件夾

create_dir(keywords)

# 搜狐微信搜索鏈接入口

sogou_search_url = 'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_=' % quote(

keywords)

# Step 1：GET請求到搜狗微信引擎，以微信公眾號英文名稱(chēng)作為查詢(xún)關(guān)鍵字

log(u'開(kāi)始獲取，微信公眾號英文名為：%s' % keywords)

log(u'開(kāi)始調用sougou搜索引擎')

sougou_search_html = get_search_result_by_keywords(sogou_search_url)

# Step 2：從搜索結果頁(yè)中解析出公眾號主頁(yè)鏈接

log(u'獲取sougou_search_html成功，開(kāi)始抓取公眾號對應的主頁(yè)wx_url')

wx_url = get_wx_url_by_sougou_search_html(sougou_search_html)

log(u'獲取wx_url成功，%s' % wx_url)

# Step 3：Selenium+PhantomJs獲取js異步加載渲染后的html

log(u'開(kāi)始調用selenium渲染html')

selenium_html = get_selenium_js_html(wx_url)

# Step 4: 檢測目標網(wǎng)站是否進(jìn)行了封鎖

if need_verify(selenium_html):

log(u'爬蟲(chóng)被目標網(wǎng)站封鎖，請稍后再試')

else:

# Step 5: 使用PyQuery，從Step 3獲取的html中解析出公眾號文章列表的數據

log(u'調用selenium渲染html完成，開(kāi)始解析公眾號文章')

articles = parse_wx_articles_by_html(selenium_html)

log(u'抓取到微信文章%d篇' % len(articles))

# Step 6: 把微信文章數據封裝成字典的list

log(u'開(kāi)始整合微信文章數據為字典')

articles_list = switch_arctiles_to_list(articles)

return [content['title'] for content in articles_list]

```

main入口函數：

```python

# coding: utf8

import spider_weixun_by_sogou

if __name__ == '__main__':

gongzhonghao = raw_input(u'input weixin gongzhonghao:')

if not gongzhonghao:

gongzhonghao = 'spider'

text = " ".join(spider_weixun_by_sogou.run(gongzhonghao))

print text

　　````

　　直接運行main方法，在控制臺輸入你要爬取的公眾號英文名，中文的搜索結果可能有多個(gè)，這里只搜索一個(gè)，查看英文公眾號，直接點(diǎn)擊手機打開(kāi)公眾號，然后查看公眾號信息，可以看到如下爬蟲(chóng)結果爬取到文章的相關(guān)信息，文章的具體內容可以通過(guò)調用webdriver進(jìn)行爬取。 py 在代碼中。

　　![截圖2018-08-30 17.56.09](

　　

　　?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

　　爬取公眾號注意事項

　　以下三點(diǎn)是我在爬取過(guò)程中遇到的一些問(wèn)題，希望能幫助大家避開(kāi)陷阱。

　　1. Selenium 對 PhantomJS 的支持已被棄用，請使用無(wú)頭版本的 Chrome 或 Firefox 代替 warnings.warn('Selenium 對 PhantomJS 的支持已被棄用，請使用 headless '

　　網(wǎng)上很多文章還在使用PhantomJS。事實(shí)上，Selenium 從去年開(kāi)始就沒(méi)有支持 PhantomJS?，F在，如果你使用 Selenium 來(lái)初始化瀏覽器，你需要使用 webdriver 來(lái)初始化 Chrome 或 Firefox 驅動(dòng)程序，而不需要 head 參數。

　　詳情請參考官網(wǎng)鏈接：

　　2. 無(wú)法連接到Service chromedriver/firefoxdriver

　　我在開(kāi)發(fā)過(guò)程中也遇到過(guò)這個(gè)坑。這個(gè)問(wèn)題一般有兩種可能。一是沒(méi)有配置chromedriver或geckodriver的環(huán)境變量。這里需要注意chromedriver或者geckodriver文件的環(huán)境變量一定要配置到PATH中，或者干脆粗暴地將這兩個(gè)文件直接復制到/usr/bin目錄下；

　　還有另一種可能是未配置主機。如果你發(fā)現這個(gè)問(wèn)題，檢查你的hosts文件是否沒(méi)有配置`127.0.0.1 localhost`，只要配置好了。

　　這里還有一點(diǎn)需要注意的是，如果你使用的是chrome瀏覽器，還要注意chrome瀏覽器版本和chromedriver的對應關(guān)系?？梢栽谶@個(gè)文章查看或者去google官網(wǎng)查看最新對應。.

　　3. 抗吸血

　　微信公眾號已經(jīng)對文章中的圖片進(jìn)行了防盜鏈處理，所以如果圖片在公眾號、小程序、PC瀏覽器以外的地方無(wú)法顯示，建議您閱讀本文文章了解如何應對微信防盜鏈。

　　總結

　　好了，上面說(shuō)了這么多。大家最關(guān)心的是源碼。這里是github地址：，如果好用記得用str。