querylist采集微信公眾號文章(querylist采集微信公眾號文章歷史文章，文章精度達到10-20)

　　querylist采集微信公眾號文章歷史文章，文章精度可以達到10-20，并且支持全自動(dòng)重復、非自動(dòng)重復，根據用戶(hù)使用習慣、內容質(zhì)量、微信轉發(fā)量自動(dòng)切換頻率。1querylist簡(jiǎn)介querylist是一個(gè)query引擎，其基于微信公眾號文章api的下載、抓取數據等模塊，對api調用進(jìn)行封裝。其主要目的是為后面進(jìn)行微信公眾號文章原始爬取、微信文章url抓取，中間的分詞等底層實(shí)現的封裝。

　　queryset在微信中已有的webviewtextfield對象。queryset封裝了page對象，包含了通過(guò)一些統一api來(lái)獲取query的目標網(wǎng)頁(yè)的document對象，以及可能封裝的另外一些api，比如返回結果所對應的頁(yè)面布局名。2用例3webview分頁(yè)爬?。?。

　　1）webview分頁(yè)抓取

　　1、發(fā)現頁(yè)代碼分詞

　　2、querylist過(guò)濾關(guān)鍵詞

　　3、webview網(wǎng)頁(yè)抓取

　　4、webview布局抓取

　　5、webviewurl獲取

　　6、頁(yè)面抓取結果保存

　　7、爬取到頁(yè)面的圖片和視頻

　　8、保存數據并發(fā)布公眾號文章內容3page實(shí)現imgurl解析

　　2）egret中的imgurlwithloadret中以url的形式獲取imgurlurl，由于微信公眾號的文章url是不能修改的，可以理解為用url在大數據庫中找list的位置。使用一個(gè)*敏*感*詞*（webviewpath）去循環(huán)獲取每一個(gè)頁(yè)面鏈接的imgurlurl。這里有一個(gè)小坑需要注意。因為微信公眾號的文章是爬取到一定量后統一發(fā)布，所以當服務(wù)器返回解析結果在imgurlurl后是一個(gè)對象，然后再通過(guò)txt中的url獲取對應imgurl。

　　url獲取方式是一個(gè)通用的方法，由于沒(méi)有更多必要的方法，所以最好避免在請求獲取url時(shí)使用name實(shí)例，應該直接使用實(shí)際爬取的頁(yè)面id。微信在處理過(guò)程中，會(huì )優(yōu)先保證我們獲取的url是可以正常使用的，如果某個(gè)頁(yè)面的url無(wú)法獲取到是會(huì )返回異常。下面來(lái)看一下微信是如何去獲取文章url中的字符串值的。

　　首先f(wàn)unctiongetmessages(mode){varpage=math.max(mode,page)varquerystr=math.min(math.random()*100,10

　　0)returnquerystr}url(https)獲取出來(lái)的是mp4，微信解析得到的querystr是通過(guò)字符串獲取，而在微信的字符串中只有十進(jìn)制數字，所以微信的解析結果中的數字不是對應imgurlurlurl的16進(jìn)制形式。再看一下我們需要獲取的url與解析出來(lái)的txt形式的imgurlurlurl之間的轉換代碼：varimgurlurl=textfield({'type':'url','name':'btn','path':'/url'}).append('/'+imgurlurl)最終，mp4圖片的url就獲取出來(lái)了。

　　使用link實(shí)現顯示的代碼如下：varbuffereduseragent='myorigin:apple;user-agen。