前嗅教你大數據：爬蟲(chóng)實(shí)戰之采集知乎問(wèn)答

　　應廣大粉絲的強烈要求

　　前嗅實(shí)戰腳本教程新鮮出爐啦！小編專(zhuān)門(mén)挑選了大家呼聲最高的知乎各位心心念學(xué)習腳本的童鞋們趕緊收藏喲

　　點(diǎn)擊下方即免費下載

　　ForeSpider爬蟲(chóng)軟件

　　一.場(chǎng)景簡(jiǎn)介

　　場(chǎng)景描述：通過(guò)搜狗搜索的知乎搜索欄目，按關(guān)鍵詞搜索采集知乎正文。

　　入口網(wǎng)址：

　　采集內容：采集的數據為知乎文章的標題和內容

　　二.思路分析

　　采集知乎的關(guān)鍵點(diǎn)在于：關(guān)鍵詞配置鏈接、翻頁(yè)、鏈接抽取、數據抽取。配置思路如下所示：

　　配置思路

　　三.配置步驟

　　1.新建采集任務(wù)

　　選擇【采集配置】，點(diǎn)擊任務(wù)列表右上方【+】號可新建采集任務(wù)，將采集入口地址填寫(xiě)在【采集地址】框中，【任務(wù)名稱(chēng)】自定義即可。

　　由于本次采集是通過(guò)關(guān)鍵詞采集相關(guān)內容，所以【采集類(lèi)型】要勾選【關(guān)鍵詞采集】，填寫(xiě)完成。

　　點(diǎn)擊【完成】，任務(wù)列表里出現本條任務(wù)，創(chuàng )建成功。

　　2.關(guān)鍵詞配置

　?、僭谌肟陧?yè)搜索不同關(guān)鍵詞，發(fā)現不同關(guān)鍵詞搜索結果的鏈接，只更換了圖中紅框部分，而紅框部分正是經(jīng)過(guò)轉碼后的關(guān)鍵詞，于是得出關(guān)鍵詞鏈接的拼接規則為：

　　關(guān)鍵詞

　　ie=utf8&pid=sogou-wsse-ff111e4a5406ed40&insite=

　?、诘玫疥P(guān)鍵詞鏈接拼接規則后，開(kāi)始配置關(guān)鍵詞搜索：

　　點(diǎn)擊屏幕右下角【高級配置】，將采集地址填寫(xiě)到【請求地址】中，點(diǎn)擊【+】添加一個(gè)參數，名稱(chēng)可以自定義，此項配置是用于后期腳本能將關(guān)鍵詞從關(guān)鍵詞列表中取出，配置完成點(diǎn)擊【確定】即可。

　?、塾捎诒灸０迨且躁P(guān)鍵詞搜索為入口，所以在【模板抽取配置】選擇頻道（即任務(wù)名稱(chēng)），選擇【腳本窗口】，將關(guān)鍵詞搜索配置在頻道處即可。

　?、芫唧w配置腳本如下：

　　var sear=EXTRACT.GetSearch(this); //關(guān)鍵詞獲取var k=sear.Search();while(k){ //遍歷 url u; u.urlname="https://www.sogou.com/sogou?query="+k.wd+"&ie=utf8&pid=sogou-wsse-ff111e4a5406ed40&insite=zhihu.com"; //拼地址+分頁(yè) var tit=TransFrom(u.UnEscape(k.wd),7); u.title=tit; u.entryid=this.id; u.tmplid=1; k=sear.Search(); RESULT.AddLink(u);}

　　將腳本填寫(xiě)在對應腳本框中，如下圖所示：

　?、菪ЧA覽：

　　在【關(guān)鍵詞列表】中填寫(xiě)關(guān)鍵詞，點(diǎn)擊【保存】，點(diǎn)擊【采集預覽】，即可看到配置效果。

　　3.翻頁(yè)配置

　　關(guān)鍵詞配置完成，下一步是獲取關(guān)鍵詞搜索結果中的全部翻頁(yè)鏈接。

　?、儆益I點(diǎn)擊【默認模板：01】，選擇添加鏈接抽取。

　?、谕瑯舆x擇【腳本窗口】，配置翻頁(yè)腳本。

　?、蹖﹃P(guān)鍵詞搜索出的網(wǎng)頁(yè)翻頁(yè)，觀(guān)察網(wǎng)頁(yè)地址的變化，發(fā)現在原地址中增加了“&sut=2674&sst0=59&lkt=1%2C44%2C44&page=2&ie=utf8”部分，隨著(zhù)頁(yè)碼的改變，僅有page參數的值在變化。page為頁(yè)碼的配置參數，其它不變部分，直接拼接在鏈接中即可。

　?、芫唧w配置腳本如下： <p>url?u; for(var i=1;i