話(huà)說(shuō)爬蟲(chóng)為何會(huì )深陷循環(huán)呢？答案很簡(jiǎn)單，當我們重新去解析一個(gè)早已解析過(guò)的網(wǎng)頁(yè)時(shí)，就會(huì )身陷無(wú)限循環(huán)。這意味著(zhù)我們會(huì )重新訪(fǎng)問(wèn)哪個(gè)網(wǎng)頁(yè)的所有鏈接，然后不久后又會(huì )訪(fǎng)問(wèn)到這個(gè)網(wǎng)頁(yè)。最簡(jiǎn)單的事例就是，網(wǎng)頁(yè)A包含了網(wǎng)頁(yè)B的鏈接，而網(wǎng)頁(yè)B又包含了網(wǎng)頁(yè)A的鏈接，那它們之間都會(huì )產(chǎn)生一個(gè)閉環(huán)。

　　那么我們怎么避免訪(fǎng)問(wèn)早已訪(fǎng)問(wèn)過(guò)的頁(yè)面呢？答案很簡(jiǎn)單，設置一個(gè)標志即可。整個(gè)互聯(lián)網(wǎng)就是一個(gè)圖結構，我們一般使用DFS（深度優(yōu)先搜索）和BFS（廣度優(yōu)先搜索）進(jìn)行遍歷。所以，像遍歷一個(gè)簡(jiǎn)單的圖一樣，將訪(fǎng)問(wèn)過(guò)的結點(diǎn)標記一下即可。

　　爬蟲(chóng)的基本思路如下：

　　根據URL獲取相應頁(yè)面的HTML代碼

　　利用正則匹配或則JSoup等庫解析HTML代碼，提取須要的內容

　　將獲取的內容持久化到數據庫中

　　處理好英文字符的編碼問(wèn)題，可以采用多線(xiàn)程提升效率

　　爬蟲(chóng)基本原理

　　更籠統意義上的爬蟲(chóng)著(zhù)重于若果在大量的URL中找尋出高質(zhì)量的資源，如何在有限的時(shí)間內訪(fǎng)問(wèn)更多頁(yè)面等等。網(wǎng)絡(luò )爬蟲(chóng)的基本工作流程如下：

　　首先選定一部分悉心選購的*敏*感*詞*URL；

　　將這種URL裝入待抓取URL隊列；

　　從待抓取URL隊列中取出待抓取的URL，解析DNS，并且得到主機的ip，并將URL對應的網(wǎng)頁(yè)下載出來(lái)，存儲進(jìn)已下載網(wǎng)頁(yè)庫中。此外，將這種URL放進(jìn)已抓取URL隊列。

　　分析已抓取URL對應的網(wǎng)頁(yè)，分析頁(yè)面里包含的其他URL，并且將URL裝入待抓取URL隊列，從而步入下一個(gè)循環(huán)。

　　有幾個(gè)概念，一個(gè)是發(fā)http請求，一個(gè)是正則匹配你感興趣的鏈接，一個(gè)是多線(xiàn)程，另外還有兩個(gè)隊列。

　　爬蟲(chóng)難點(diǎn)1支路

　　網(wǎng)絡(luò )爬蟲(chóng)有時(shí)候會(huì )深陷循環(huán)或則支路中，比如從頁(yè)面A，A鏈接到頁(yè)面B，B鏈接到頁(yè)面C，頁(yè)面C又會(huì )鏈接到頁(yè)面A。這樣就深陷到支路中。

　　環(huán)路影響：

　　消耗網(wǎng)路帶寬，無(wú)法獲取其他頁(yè)面

　　對Web服務(wù)器也是負擔，可能擊垮該站點(diǎn)，可能制止正常用戶(hù)訪(fǎng)問(wèn)該站點(diǎn)

　　即使沒(méi)有性能影響，但獲取大量重復頁(yè)面也造成數據冗余

　　解決方案：

　　簡(jiǎn)單限定爬蟲(chóng)的最大循環(huán)次數網(wǎng)頁(yè)如何防止爬蟲(chóng)，對于某web站點(diǎn)訪(fǎng)問(wèn)超過(guò)一定閥值就跳出，避免無(wú)限循環(huán)

　　保存一個(gè)已訪(fǎng)問(wèn)url列表，記錄頁(yè)面是否被訪(fǎng)問(wèn)過(guò)的技術(shù)

　　1、二叉樹(shù)和散列表，快速判斷某個(gè)url是否訪(fǎng)問(wèn)過(guò)

　　2、存在位圖

　　就是newint[length]，然后把第幾個(gè)數置為1，表示早已訪(fǎng)問(wèn)過(guò)了?？刹豢梢栽賰?yōu)化，int是32位，32位可以表示32個(gè)數字。HashCode會(huì )存在沖突的情況，

　　兩個(gè)URL映射到同一個(gè)存在位上，沖突的后果是某個(gè)頁(yè)面被忽視（這比死循環(huán)的惡作用?。?/p>

　　3、保存檢測

　　一定要及時(shí)把已訪(fǎng)問(wèn)的URL列表保存到硬碟上，防止爬蟲(chóng)崩潰，內存里的數據會(huì )遺失

　　4、集群，分而治之

　　多臺機器一起爬蟲(chóng)，可以按照URL估算HashCode，然后按照HashCode映射到相應機器的id（第0臺、第1臺、第2臺等等）

　　難點(diǎn)2URL別稱(chēng)

　　有些URL名稱(chēng)不一樣，但是指向同一個(gè)資源。

　　URl1URL2什么時(shí)候是別稱(chēng)

　　默認端口是80

　　%7F與~相同

　　%7F與~相同

　　服務(wù)器是大小寫(xiě)無(wú)關(guān)

　　默認頁(yè)面為

　　ip和域名相同

　　難點(diǎn)3動(dòng)態(tài)虛擬空間

　　比如月歷程序，它會(huì )生成一個(gè)指向下一個(gè)月的鏈接，真正的用戶(hù)是不會(huì )不停地懇求下個(gè)月的鏈接的。但是不了解這種內容特點(diǎn)的爬蟲(chóng)蜘蛛可能會(huì )不斷向那些資源發(fā)出無(wú)窮的懇求。

　　抓取策略

　　一般策略是深度優(yōu)先或則廣度優(yōu)先。有些技術(shù)能促使爬蟲(chóng)蜘蛛有更好的表現

　　廣度優(yōu)先的爬行，避免深度優(yōu)先深陷某個(gè)站點(diǎn)的支路中，無(wú)法訪(fǎng)問(wèn)其他站點(diǎn)。

　　限制訪(fǎng)問(wèn)次數，限定一段時(shí)間內機器人可以從一個(gè)web站點(diǎn)獲取的頁(yè)面數目。

　　內容指紋，根據頁(yè)面的內容估算出一個(gè)校驗和，但是動(dòng)態(tài)的內容（日期，評論數量）會(huì )妨礙重復測量

　　維護黑名單

　　人工監視，特殊情況發(fā)出電郵通知

　　動(dòng)態(tài)變化，根據當前熱點(diǎn)新聞等等

　　規范化URL，把一些轉義字符、ip與域名之類(lèi)的統一

　　限制URL大小，環(huán)路可能會(huì )促使URL寬度降低，比如/，/folder/網(wǎng)頁(yè)如何防止爬蟲(chóng)，/folder/folder/……