網(wǎng)絡(luò )爬蟲(chóng)基本原理23.05.2019基本描述 需要理解的算法 數據分類(lèi)抓取策略 更新策略23.05.2019網(wǎng)絡(luò )爬蟲(chóng)網(wǎng)絡(luò )爬蟲(chóng)（又被稱(chēng)為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò )機器人），是一種根據一定的規則，自動(dòng)的 抓取萬(wàn)維網(wǎng)信息的程序或則腳本，是搜索引擎的重要組成。傳統爬蟲(chóng)從一個(gè)或若 干初始網(wǎng)頁(yè)的開(kāi)始，獲得初始網(wǎng)頁(yè)上的，在抓取網(wǎng)頁(yè)的過(guò)程中，不斷從當前頁(yè)面 上抽取新的裝入隊列，直到滿(mǎn)足系統的一定停止條件。23.05.2019聚焦爬蟲(chóng)傳統爬蟲(chóng)從一個(gè)或若干初始網(wǎng)頁(yè)的開(kāi)始，獲得初始網(wǎng)頁(yè)上的，在抓取網(wǎng)頁(yè)的過(guò)程 中，不斷從當前頁(yè)面上抽取新的裝入隊列,直到滿(mǎn)足系統的一定停止條件。聚焦爬 蟲(chóng)的工作流程較為復雜，需要按照一定的網(wǎng)頁(yè)剖析算法過(guò)濾與主題無(wú)關(guān)的鏈接，保留有用的鏈接并將其倒入等待抓取的隊列。然后網(wǎng)絡(luò )爬蟲(chóng)原理，它將按照一定的搜索策略從 隊列中選擇下一步要抓取的網(wǎng)頁(yè)，并重復上述過(guò)程，直到達到系統的某一條件時(shí) 停止。另外，所有被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì )被系統儲存，進(jìn)行一定的剖析、過(guò)濾， 并構建索引，以便以后的查詢(xún)和檢索；對于聚焦爬蟲(chóng)來(lái)說(shuō)，這一過(guò)程所得到的分 析結果還可能對之后的抓取過(guò)程給出反饋和指導。23.05.2019簡(jiǎn)單流程 ::作為初始解析 網(wǎng)頁(yè)數據 分析下載網(wǎng)頁(yè)庫*敏*感*詞*待抓取已抓取下載網(wǎng)頁(yè) 進(jìn)入已抓取隊列從隊列信息中抽 取新的23.05.2019須要理解的算法.關(guān)鍵字匹配 :: 字符串匹配 算法（算法） 有限自動(dòng)機算法 *算法.網(wǎng)頁(yè)內容冗余 :: 卡時(shí).大數目網(wǎng)頁(yè)處理 :: *分布式.防止重復遍歷 :: 字符串23.05.2019數據分類(lèi).已下載未過(guò)期網(wǎng)頁(yè) .已下載已過(guò)期網(wǎng)頁(yè)：抓取到的網(wǎng)頁(yè)實(shí)際上是互聯(lián)網(wǎng)內容的一個(gè)鏡像與備份，互聯(lián)網(wǎng)是動(dòng)態(tài)變化的， 一部分互聯(lián)網(wǎng)上的內容早已發(fā)生了變化，這時(shí)，這部份抓取到的網(wǎng)頁(yè)就過(guò)期了。

　　 .待下載網(wǎng)頁(yè)：也就是待抓取隊列中的這些頁(yè)面。 .可知網(wǎng)頁(yè)：還沒(méi)有抓取出來(lái)，也沒(méi)有在待抓取隊列中，但是可以通過(guò)對已抓取頁(yè)面或則待 抓取對應頁(yè)面進(jìn)行剖析獲取到的，認為是可知網(wǎng)頁(yè)。 .不可知網(wǎng)頁(yè)：還有一部分網(wǎng)頁(yè)，爬蟲(chóng)是難以直接抓取下載的23.05.2019數據分類(lèi) ::已知網(wǎng)頁(yè)已抓取未過(guò)期 已抓取已過(guò)期23.05.2019數據分類(lèi) ::不可知網(wǎng)頁(yè)23.05.2019抓取策略 :: 暴力.深度優(yōu)先搜索 .廣度優(yōu)先搜索 .大站優(yōu)先策略對于待抓取隊列中的所有網(wǎng)頁(yè)，根據所屬的網(wǎng)站進(jìn)行分類(lèi)。對于待下載頁(yè)面數 多的網(wǎng)站，優(yōu)先下載。這個(gè)策略也因而稱(chēng)作大站優(yōu)先策略。23.05.2019抓取策略 :: 技巧.反向鏈接數策略 反向鏈接數是指一個(gè)網(wǎng)頁(yè)被其他網(wǎng)頁(yè)鏈接指向的數目。反向鏈接數表示的是一個(gè)網(wǎng)頁(yè)的內容遭到其他人的推薦的程度。因此，很多時(shí)侯搜索引擎的抓取系統會(huì ) 使用這個(gè)指標來(lái)評價(jià)網(wǎng)頁(yè)的重要程度，從而決定不同網(wǎng)頁(yè)的抓取先后次序。在真實(shí)的網(wǎng)路環(huán)境中，由于廣告鏈接、作弊鏈接的存在，反向鏈接數不能完全 準確評價(jià)網(wǎng)頁(yè)的重要程度。因此，搜索引擎常?？紤]一些可靠的反向鏈接數。23.05.2019抓取策略 :: 技巧策略 算法借鑒了算法的思想。

　　對于早已下載的網(wǎng)頁(yè)，連同待抓取隊列中的，形成網(wǎng)頁(yè)集合網(wǎng)絡(luò )爬蟲(chóng)原理，計算每位頁(yè)面的值，計算完以后，將待抓取隊列中的根據值的大小排列， 并根據該次序抓取頁(yè)面。策略策略 該算法實(shí)際上也是對頁(yè)面進(jìn)行一個(gè)重要性打分。在算法開(kāi)始前，給所有頁(yè)面一個(gè)相同的初始*敏*感*詞*（）。當下載了某個(gè)頁(yè)面然后，將的*敏*感*詞*平攤給所有從中剖析 出的鏈接，并且將的*敏*感*詞*清空。對于待抓取隊列中的所有頁(yè)面根據*敏*感*詞*數進(jìn)行排 序。23.05.2019更新策略 :: 可持久化數據結構.歷史參考策略 顧名思義，根據頁(yè)面往年的歷史更新數據，預測該頁(yè)面未來(lái)何時(shí)會(huì )發(fā)生變化。一般來(lái)說(shuō)，是通過(guò)泊松過(guò)程進(jìn)行建模進(jìn)行預測。.用戶(hù)體驗策略 盡管搜索引擎針對于某個(gè)查詢(xún)條件才能返回數目巨大的結果，但是用戶(hù)常常只關(guān)注前幾頁(yè)結果。因此，抓取系統可以?xún)?yōu)先更新這些現實(shí)在查詢(xún)結果前幾頁(yè)中的 網(wǎng)頁(yè)，而后再更新這些旁邊的網(wǎng)頁(yè)。這種更新策略也是須要用到歷史信息的。用 戶(hù)體驗策略保留網(wǎng)頁(yè)的多個(gè)歷史版本，并且依照過(guò)去每次內容變化對搜索質(zhì)量的 影響，得出一個(gè)平均值，用這個(gè)值作為決定何時(shí)重新抓取的根據。23.05.2019更新策略 :: 統計學(xué)改進(jìn).聚類(lèi)抽樣策略 前面提及的兩種更新策略都有一個(gè)前提：需要網(wǎng)頁(yè)的歷史信息。

　　這樣就存在兩個(gè)問(wèn)題：第一，系統要是為每位系統保存多個(gè)版本的歷史信息，無(wú)疑降低了好多 的系統負擔；第二，要是新的網(wǎng)頁(yè)完全沒(méi)有歷史信息，就難以確定更新策略。而降維抽樣策略覺(jué)得，網(wǎng)頁(yè)具有好多屬性，類(lèi)似屬性的網(wǎng)頁(yè)，可以覺(jué)得其更新 頻率也是類(lèi)似的。要估算某一個(gè)類(lèi)別網(wǎng)頁(yè)的更新頻度，只須要對這一類(lèi)網(wǎng)頁(yè)抽樣， 以她們的更新周期作為整個(gè)類(lèi)別的更新周期。23.05.2019的個(gè)人博客《這就是搜索引擎——核心技術(shù)解讀》 張俊林 電子工業(yè)出版社《搜索引擎技術(shù)基礎》劉奕群等 清華大學(xué)出版社23.05.2019ACM2013