作者：xiaoyu

　　微信公眾號：Python數據科學(xué)

　　知乎：

　　本篇博主將和你們分享幾個(gè)特別有用的爬蟲(chóng)小工具，這些小工具在實(shí)際的爬蟲(chóng)的開(kāi)發(fā)中會(huì )大大降低你的時(shí)間成本，并同時(shí)提升你的工作效率，真的是十分實(shí)用的工具。

　　這些工具當然是Google上的插件，一些擴充程序，并且經(jīng)博主親測，無(wú)任何問(wèn)題。最后的最后，博主將提供小工具的獲取方法。

　　好了，話(huà)不多說(shuō)，我們來(lái)介紹一下。

　　我們上面提及過(guò)，當客戶(hù)端向服務(wù)器端提出<ajax>異步懇求（比如 <xhr>）時(shí)，會(huì )在響應里返回 <json> 格式的數據。

　　在開(kāi)發(fā)者工具中，我們會(huì )聽(tīng)到 <json> 格式數據的可視化療效太差，就是一段繁雜的字符串，難以直接看出關(guān)鍵信息。

　　那么為了直接有效的找到關(guān)鍵信息，<JSON-handle>工具會(huì )將紛繁的 <json> 格式數據弄成簡(jiǎn)單清晰的樹(shù)形圖，極大的提升可視化療效。

　　方法很簡(jiǎn)單，如果你已然安裝好了小工具，點(diǎn)開(kāi)圖標彈出框框，把<json>數據復制進(jìn)去即可。

　　當然，你也可以把從任意地方用來(lái)的<json>數據放進(jìn)去，不局限于瀏覽器異步響應。

　　就以<天貓網(wǎng)站>為例，隨便找出一個(gè)異步的懇求，response是下邊這樣的。

　　jsonp_46336857({"201509290":{"data":[{"_pos_":1,"entityType":"13","acm":"201509290.1003.1.1286473","title":"【搶券減400】Apple/蘋(píng)果iPhone X 全網(wǎng)通4G智能手機蘋(píng)果10 蘋(píng)果X","typ.......

　　把代碼放進(jìn)框框里，點(diǎn)擊OK，就弄成下邊這樣了數（據比較長(cháng)，只截取一部分）。

　　上篇剖析爬蟲(chóng)中HTTP的秘密（基礎篇）我們介紹了懇求頭，而這個(gè)工具就是針對懇求頭中的User-Agent數組的。它的作用是可以隨便更換瀏覽器的User-Agent。

　　比如，你用Chrome瀏覽器瀏覽網(wǎng)頁(yè)，瀏覽器默認身分是Chrome，但是你可以通過(guò)這個(gè)工具更換成其它任何身分。

　　這個(gè)最大的益處就是可以直接更換成手機身分瀏覽網(wǎng)頁(yè)，而毋須用開(kāi)發(fā)者工具來(lái)回切換。

　　使用Chrome瀏覽器安裝插件爬蟲(chóng)工具，點(diǎn)開(kāi)圖標，選擇你須要的身分即可。

　?。JChrome瀏覽器是這樣的）

　?。ㄗ儞Q為IOS-iphone6）

　　針對Xpath解析方式，Xpath-Helper可提供當前網(wǎng)頁(yè)指定Xpath句子的查詢(xún)結果。

　　點(diǎn)開(kāi)圖標，出現白色框框。

　　1.假設目標為二維碼下的<百度>二字

　　2.開(kāi)發(fā)者工具找到源碼相應位置，右鍵copy xpath

　　3.復制到QUERY上面，結果手動(dòng)下來(lái)

　　注：Xpath-Helper小工具安裝后須要重啟Chrome方可使用爬蟲(chóng)工具，請你們注意一下這個(gè)坑。

　　下載Chrome瀏覽器下載小工具插件打開(kāi)Chrome更多工具—>擴展程序拖動(dòng)小工具插件程序<.crx>到擴充程序里安裝

　　安裝完成后，右上角會(huì )有三個(gè)小圖標：