Python爬取微信公眾號文章（一）(圖)

　　Python抓取微信公眾號文章

　　我最近正在從事自己的項目。它涉及文章，需要通過(guò)python抓取微信官方帳戶(hù)。由于微信的獨特方法，因此無(wú)法直接對其進(jìn)行爬網(wǎng)。我研究了一些文章并且可能有想法，并且在Internet上找不到解決方案沒(méi)有問(wèn)題，但是由于某些第三方庫的更改，內部的代碼基本上無(wú)法使用。本文文章是為需要抓取官方帳戶(hù)文章，文章的朋友而寫(xiě)的。最后，還將提供python源代碼下載。

　　如何抓取官方帳戶(hù)

　　有兩種主要的方法來(lái)爬取官方帳戶(hù)。一種是通過(guò)搜狗搜索微信公眾號頁(yè)面，找到文章地址，然后抓取具體的文章內容；第二種是注冊官方帳戶(hù)，然后通過(guò)官方帳戶(hù)的搜索界面找到文章的地址，然后根據該地址抓取文章的內容。

　　這兩種解決方案各有優(yōu)缺點(diǎn)。使用搜狗搜索的核心思想是通過(guò)請求模擬搜狗搜索官方賬號，然后解析搜索結果頁(yè)面，然后根據官方賬號首頁(yè)地址進(jìn)行抓取，以抓取文章詳細信息，但是您需要請注意，由于搜狗與騰訊之間的協(xié)議，只能顯示最新的10個(gè)文章，而無(wú)法獲取所有的文章。如果您想結識文章的所有朋友，則可能必須使用第二種方法。第二種方法的缺點(diǎn)是您必須注冊一個(gè)官方帳戶(hù)才能通過(guò)騰訊身份驗證。這個(gè)過(guò)程比較麻煩。您可以通過(guò)調用官方帳戶(hù)來(lái)查詢(xún)界面，但是您需要使用硒來(lái)模擬滑動(dòng)頁(yè)面的操作。整個(gè)過(guò)程還是很麻煩的。因為我的項目不需要歷史記錄文章，所以我使用搜狗搜索來(lái)執行爬取官方帳戶(hù)的功能。

　　檢索最近10個(gè)正式帳戶(hù)文章

　　python需要依賴(lài)的第三方庫如下：

　　urllib，pyquery，請求，硒

　　具體邏輯寫(xiě)在注釋中，沒(méi)有什么特別復雜的。

　　爬蟲(chóng)核心課程

　　#!/usr/bin/python

# coding: utf-8

import sys

reload(sys)

sys.setdefaultencoding('utf-8')

from urllib import quote

from pyquery import PyQuery as pq

import requests

import time

import re

import os

from selenium.webdriver import Chrome

from selenium.webdriver.firefox.options import Options

from selenium.webdriver.support.wait import WebDriverWait

# 搜索入口地址，以公眾為關(guān)鍵字搜索該公眾號

def get_search_result_by_keywords(sogou_search_url):

# 爬蟲(chóng)偽裝頭部設置

headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'}

# 設置操作超時(shí)時(shí)長(cháng)

timeout = 5

# 爬蟲(chóng)模擬在一個(gè)request.session中完成

s = requests.Session()

log(u'搜索地址為：%s' % sogou_search_url)

return s.get(sogou_search_url, headers=headers, timeout=timeout).content

# 獲得公眾號主頁(yè)地址

def get_wx_url_by_sougou_search_html(sougou_search_html):

doc = pq(sougou_search_html)

return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')

# 使用webdriver 加載公眾號主頁(yè)內容，主要是js渲染的部分

def get_selenium_js_html(url):

options = Options()

options.add_argument('-headless') # 無(wú)頭參數

driver = Chrome(executable_path='chromedriver', chrome_options=options)

wait = WebDriverWait(driver, timeout=10)

driver.get(url)

time.sleep(3)

# 執行js得到整個(gè)頁(yè)面內容

html = driver.execute_script("return document.documentElement.outerHTML")

driver.close()

return html

# 獲取公眾號文章內容

def parse_wx_articles_by_html(selenium_html):

doc = pq(selenium_html)

return doc('div[class="weui_media_box appmsg"]')

# 將獲取到的文章轉換為字典

def switch_arctiles_to_list(articles):

# 定義存貯變量

articles_list = []

i = 1

# 遍歷找到的文章，解析里面的內容

if articles:

for article in articles.items():

log(u'開(kāi)始整合(%d/%d)' % (i, len(articles)))

# 處理單個(gè)文章

articles_list.append(parse_one_article(article))

i += 1

return articles_list

# 解析單篇文章

def parse_one_article(article):

article_dict = {}

# 獲取標題

title = article('h4[class="weui_media_title"]').text().strip()

###log(u'標題是： %s' % title)

# 獲取標題對應的地址

url = 'http://mp.weixin.qq.com' + article('h4[class="weui_media_title"]').attr('hrefs')

log(u'地址為： %s' % url)

# 獲取概要內容

summary = article('.weui_media_desc').text()

log(u'文章簡(jiǎn)述： %s' % summary)

# 獲取文章發(fā)表時(shí)間

date = article('.weui_media_extra_info').text().strip()

log(u'發(fā)表時(shí)間為： %s' % date)

# 獲取封面圖片

pic = parse_cover_pic(article)

# 返回字典數據

return {

'title': title,

'url': url,

'summary': summary,

'date': date,

'pic': pic

}

# 查找封面圖片，獲取封面圖片地址

def parse_cover_pic(article):

pic = article('.weui_media_hd').attr('style')

p = re.compile(r'background-image:url\((.*?)\)')

rs = p.findall(pic)

log(u'封面圖片是：%s ' % rs[0] if len(rs) > 0 else '')

return rs[0] if len(rs) > 0 else ''

# 自定義log函數，主要是加上時(shí)間

def log(msg):

print u'%s: %s' % (time.strftime('%Y-%m-%d_%H-%M-%S'), msg)

# 驗證函數

def need_verify(selenium_html):

' 有時(shí)候對方會(huì )封鎖ip，這里做一下判斷，檢測html中是否包含id=verify_change的標簽，有的話(huà)，代表被重定向了，提醒過(guò)一陣子重試 '

return pq(selenium_html)('#verify_change').text() != ''

# 創(chuàng )建公眾號命名的文件夾

def create_dir(keywords):

if not os.path.exists(keywords):

os.makedirs(keywords)

# 爬蟲(chóng)主函數

def run(keywords):

' 爬蟲(chóng)入口函數 '

# Step 0 ： 創(chuàng )建公眾號命名的文件夾

create_dir(keywords)

# 搜狐微信搜索鏈接入口

sogou_search_url = 'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_=' % quote(

keywords)

# Step 1：GET請求到搜狗微信引擎，以微信公眾號英文名稱(chēng)作為查詢(xún)關(guān)鍵字

log(u'開(kāi)始獲取，微信公眾號英文名為：%s' % keywords)

log(u'開(kāi)始調用sougou搜索引擎')

sougou_search_html = get_search_result_by_keywords(sogou_search_url)

# Step 2：從搜索結果頁(yè)中解析出公眾號主頁(yè)鏈接

log(u'獲取sougou_search_html成功，開(kāi)始抓取公眾號對應的主頁(yè)wx_url')

wx_url = get_wx_url_by_sougou_search_html(sougou_search_html)

log(u'獲取wx_url成功，%s' % wx_url)

# Step 3：Selenium+PhantomJs獲取js異步加載渲染后的html

log(u'開(kāi)始調用selenium渲染html')

selenium_html = get_selenium_js_html(wx_url)

# Step 4: 檢測目標網(wǎng)站是否進(jìn)行了封鎖

if need_verify(selenium_html):

log(u'爬蟲(chóng)被目標網(wǎng)站封鎖，請稍后再試')

else:

# Step 5: 使用PyQuery，從Step 3獲取的html中解析出公眾號文章列表的數據

log(u'調用selenium渲染html完成，開(kāi)始解析公眾號文章')

articles = parse_wx_articles_by_html(selenium_html)

log(u'抓取到微信文章%d篇' % len(articles))

# Step 6: 把微信文章數據封裝成字典的list

log(u'開(kāi)始整合微信文章數據為字典')

articles_list = switch_arctiles_to_list(articles)

return [content['title'] for content in articles_list]

　　主要輸入功能：

　　# coding: utf8

import spider_weixun_by_sogou

if __name__ == '__main__':

gongzhonghao = raw_input(u'input weixin gongzhonghao:')

if not gongzhonghao:

gongzhonghao = 'spider'

text = " ".join(spider_weixun_by_sogou.run(gongzhonghao))

print text

　　直接運行main方法，然后在控制臺中輸入要爬升的正式帳戶(hù)的英文名稱(chēng)。中文搜索可能有多個(gè)。我們在這里所做的是僅搜索一個(gè)。檢查官方帳戶(hù)的英語(yǔ)帳戶(hù)，只要它在手機上即可。單擊官方帳戶(hù)并查看官方帳戶(hù)信息，可以看到以下爬網(wǎng)程序結果已爬到文章的相關(guān)信息，并且可以通過(guò)在代碼中調用webdriver.py來(lái)爬網(wǎng)文章的特定內容。

　??！[截屏2018-08-30 1 7. 5 6. 09]（2018-08-30 1 7. 5 6. 0 9. png）

　　爬行官方帳戶(hù)的注意事項

　　PhantomJS的硒支持已被棄用，請改用無(wú)頭版本的Chrome或Firefox警告。warn（'PhantomJS的硒支持已棄用，請使用無(wú)頭'

　　Internet上的許多文章仍在使用PhantomJS。實(shí)際上，Selenium自去年以來(lái)就不支持PhantomJS?，F在，如果您使用Selenium初始化瀏覽器，則需要使用webdriver來(lái)初始化沒(méi)有head參數的Chrome或Firefox驅動(dòng)程序。

　　有關(guān)詳細信息，請參閱官方網(wǎng)站鏈接：

　　無(wú)法連接到服務(wù)chromedriver ／ firefoxdriver

　　我在開(kāi)發(fā)過(guò)程中遇到了這個(gè)問(wèn)題。對于此問(wèn)題，通常有兩種可能性。一種是未配置chromedriver或geckodriver的環(huán)境變量。在這里，您需要注意chromedriver或geckodriver文件的環(huán)境變量，必須將它們配置為PATH或直接將這兩個(gè)文件直接復制到/ usr / bin目錄；

　　還有另一種可能是未配置主機。如果發(fā)現此問(wèn)題，請檢查您的主機文件是否未配置12 7. 0. 0. 1本地主機，只需對其進(jìn)行配置。

　　這里要注意的另一件事是，如果您使用chrome瀏覽器，則還應注意chrome瀏覽器版本與chromedriver之間的對應關(guān)系。您可以在此文章中進(jìn)行檢查，也可以訪(fǎng)問(wèn)Google官方網(wǎng)站檢查最新的信件。關(guān)系。

<p>反水