工欲善其事，必先利其器。

　　工欲善其事必先利其器的道理相信你們都懂。而作為常常要和各大網(wǎng)站做拉鋸戰的爬蟲(chóng)工程師們，則更需要借助借助好身邊的一切法器，以便更快的擊潰對方防線(xiàn)。今天我就以日常爬蟲(chóng)流程，給你們介紹十款工具，相信你們把握以后，必定才能在工作效率上，提升一個(gè)量級

　　1.Chrome

　　Chrome屬于爬蟲(chóng)的基礎工具，一般我們用它做初始的爬取剖析，頁(yè)面邏輯跳轉、簡(jiǎn)單的js調試、網(wǎng)絡(luò )懇求的步驟等。我們早期的大部分工作都在它里面完成，打個(gè)不恰當的比喻，不用Chrome，我們就要從智能時(shí)代倒退到馬車(chē)時(shí)代

　　同類(lèi)工具： Firefox、Safari、Opera

　　2.Charles

　　Charles與Chrome對應，只不過(guò)它是拿來(lái)做App端的網(wǎng)路剖析，相較于網(wǎng)頁(yè)端，App端的網(wǎng)路剖析較為簡(jiǎn)單爬蟲(chóng)軟件，重點(diǎn)放到剖析各個(gè)網(wǎng)路懇求的參數。當然，如果對方在服務(wù)端做了參數加密，那就涉及逆向工程方面的知識，那一塊又是一大筐子的工具，這里姑且不談

　　同類(lèi)工具：Fiddler、Wireshark、Anyproxy

　　3.cUrl

　　維基百科這樣介紹它

　　cURL是一個(gè)借助URL句型在命令行下工作的文件傳輸工具，1997年首次發(fā)行。它支持文件上傳和下載，所以是綜合傳輸工具，但按傳統，習慣稱(chēng)cURL為下載工具。cURL還包含了用于程序開(kāi)發(fā)的libcurl。

　　在做爬蟲(chóng)剖析時(shí)，我們常常要模擬一下其中的懇求，這個(gè)時(shí)侯假如去寫(xiě)一段代碼，未免很小題大做了，直接通過(guò)Chrome拷貝一個(gè)cURL，在命令行中跑一下瞧瞧結果即可，步驟如下

　　4.Postman

　　當然，大部分網(wǎng)站不是你拷貝一下cURL鏈接，改改其中參數就可以領(lǐng)到數據的，接下來(lái)我們做更深層次的剖析，就須要用到Postman“大殺器”了。為什么是“大殺器”呢？因為它著(zhù)實(shí)強悍。配合cURL，我們可以將懇求的內容直接移植過(guò)來(lái)，然后對其中的懇求進(jìn)行整修，勾選即可選擇我們想要的內容參數，非常甜美

　　5.Online JavaScript Beautifier

　　用了以上的工具，你基本可以解決大部分網(wǎng)站了，算是一個(gè)合格的中級爬蟲(chóng)工程師了。這個(gè)時(shí)侯，我們想要進(jìn)階就須要面對更復雜的網(wǎng)站爬蟲(chóng)了，這個(gè)階段，你除了要會(huì )前端的知識，還須要了解一些后端的知識，因為好多網(wǎng)站的反爬舉措是置于后端的。你須要提取對方站點(diǎn)的js信息，并須要理解和逆向回家，原生的js代碼通常不適于閱讀，這時(shí)，就要它來(lái)幫你低格吧

　　6.EditThisCookie

　　爬蟲(chóng)和反爬蟲(chóng)就是一場(chǎng)沒(méi)有烽煙的拉鋸戰，你永遠不知道對方會(huì )給你埋什么坑，比如對Cookies動(dòng)四肢。這個(gè)時(shí)侯你就須要它來(lái)輔助你剖析，通過(guò)Chrome安裝EditThisCookie插件后，我們可以通過(guò)點(diǎn)擊右上角小圖標，再對Cookies里的信息進(jìn)行增刪改查操作，大大提升對Cookies信息的模擬

　　7.Sketch

　　當我們早已確定能爬取以后，我們不應當著(zhù)急動(dòng)手寫(xiě)爬蟲(chóng)。而是應當著(zhù)手設計爬蟲(chóng)的結構。按照業(yè)務(wù)的需求，我們可以做一下簡(jiǎn)單的爬取剖析爬蟲(chóng)軟件，這有助于我們以后開(kāi)發(fā)的效率，所謂磨刀不誤砍柴工就是這個(gè)道理。比如可以考慮下，是搜索爬取還是遍歷爬??？采用BFS還是DFS？并發(fā)的懇求數大約多少？考慮一下這種問(wèn)題后，我們可以通過(guò)Sketch來(lái)畫(huà)一下簡(jiǎn)單的構架圖

　　同類(lèi)工具：Illustrator、 Photoshop

　　終于要進(jìn)行開(kāi)發(fā)了，經(jīng)過(guò)前面的那些步驟，我們到這一步，已經(jīng)是萬(wàn)事俱備只欠東風(fēng)了。這個(gè)時(shí)侯，我們僅僅只須要做code和數據提取即可

　　8.XPath Helper

　　在提取網(wǎng)頁(yè)數據時(shí)，我們通常須要使用xpath句型進(jìn)行頁(yè)面數據信息提取，一般地，但我們只能寫(xiě)完句型，發(fā)送懇求給對方網(wǎng)頁(yè)，然后復印下來(lái)，才曉得我們提取的數據是否正確，這樣一方面會(huì )發(fā)起好多不必要的懇求，另外一方面，也浪費了我們的時(shí)間。這個(gè)就可以用到XPath Helper了，通過(guò)Chrome安裝插件后，我們只須要點(diǎn)擊它在對應的xpath中寫(xiě)入句型，然后便可以太直觀(guān)地在左側看見(jiàn)我們的結果，效率up+10086

　　9.JSONView

　　我們有時(shí)候提取的數據是Json格式的，因為它簡(jiǎn)單易用，越來(lái)越多的網(wǎng)站傾向于用Json格式進(jìn)行數據傳輸。這個(gè)時(shí)侯，我們安裝這個(gè)插件后，就可以很方便的來(lái)查看Json數據啦

　　10.JSON Editor Online

　　JSONView是直接在網(wǎng)頁(yè)端返回的數據結果是Json，但多數時(shí)侯我們懇求的結果，都是后端渲染后的HTML網(wǎng)頁(yè)數據，我們發(fā)起懇求后得到的json數據，在終端(即terminal)中難以挺好的詮釋怎樣辦？借助JSON Editor Online就可以幫你挺好的低格數據啦，一秒低格，并且實(shí)現了貼心得折疊Json數據功能

　　既然見(jiàn)到這兒，相信大家一定是真愛(ài)粉啦，送大家一個(gè)彩蛋工具。

　　0.ScreenFloat

　　它能來(lái)干嘛？見(jiàn)名思意，就是一個(gè)屏幕漂浮工具，然而我近來(lái)才發(fā)覺(jué)它非常重要，尤其我們須要剖析參數時(shí)，經(jīng)常須要在幾個(gè)界面來(lái)回切換，這個(gè)時(shí)侯有一些參數，我們須要比較她們的差別，這個(gè)時(shí)侯，你就可以通過(guò)它先漂浮著(zhù)，不用在幾個(gè)界面中來(lái)切換。非常便捷。再送你一個(gè)隱藏玩法，比如前面這樣

　　有其他好用的工具，歡迎小伙伴留言哈！

　　-------------------End-------------------