querylist采集微信公眾號文章(querylist采集微信公眾號文章大小為6m，方案根據需要調整)

　　querylist采集微信公眾號文章大小為6m，方案根據需要調整。內容采集：每個(gè)公眾號對應的文章都可以采集下來(lái)，利用requests.session或者requests庫即可抓取。內容爬?。簩ξ恼逻M(jìn)行信息提取、選擇、插入保存等等，利用workerman即可實(shí)現。會(huì )同步push到服務(wù)器上，另外抓取公眾號的話(huà)還可以做二次更新。

　　文章采集通過(guò)mysql實(shí)現。這種方式對數據的要求較低，雖然抓取的時(shí)候有一定的延遲，但是每個(gè)微信公眾號的文章數量有限，通過(guò)人工進(jìn)行抓取就ok。對于內容爬取，每個(gè)微信公眾號的文章數量有限，那么就需要盡可能多的建表，實(shí)現不同的爬取，好提取一些具有共性的特征信息，比如這里采集的一些詞，那么他們的分類(lèi)標簽是屬于哪一類(lèi)的，每個(gè)分類(lèi)標簽有哪些人數關(guān)注人數等等。

　　這樣的話(huà)就能夠實(shí)現為每個(gè)公眾號對應的采集，甚至每個(gè)公眾號里面，有的文章數量較少。為了大家方便閱讀，這里通過(guò)爬取到的詞做統計，看看詞頻，然后根據那些詞看看是不是能夠比較方便的得到他們的分類(lèi)。爬取到詞語(yǔ)一覽表這一篇大概就對爬取到的詞進(jìn)行了統計，這些詞都是比較相關(guān)的，對于公眾號一般經(jīng)常讀的或者一般常寫(xiě)的可以抓取到較為準確的詞匯。

　　對于爬取到的詞進(jìn)行了一個(gè)下標統計：根據上圖統計，可以看到，目前一共爬取了大概4000左右的詞，每個(gè)詞的上下最多只爬取了7個(gè)節點(diǎn)，而且還不是最大的。下一篇主要寫(xiě)實(shí)現內容爬取，如果爬取到的詞類(lèi)型比較多，還要分詞的話(huà)，還有點(diǎn)麻煩。所以，就用代碼實(shí)現一下吧。