網(wǎng)站內容(Web網(wǎng)絡(luò )爬蟲(chóng)系統的原理及應用)

　　1、爬蟲(chóng)技術(shù)概述

　　網(wǎng)絡(luò )爬蟲(chóng)是一種程序或腳本，它根據一定的規則自動(dòng)爬取萬(wàn)維網(wǎng)上的信息。它們廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類(lèi)似的網(wǎng)站，它可以自動(dòng)采集它可以訪(fǎng)問(wèn)的所有頁(yè)面獲取或更新這些網(wǎng)站的內容和檢索方法。從功能上來(lái)說(shuō)，爬蟲(chóng)一般分為數據采集、處理、存儲三部分。傳統爬蟲(chóng)從一個(gè)或多個(gè)初始網(wǎng)頁(yè)的URL開(kāi)始，獲取初始網(wǎng)頁(yè)上的URL。在對網(wǎng)頁(yè)進(jìn)行爬取的過(guò)程中，不斷地從當前頁(yè)面中提取新的 URL 并放入隊列中，直到滿(mǎn)足系統的某些停止條件。焦點(diǎn)爬蟲(chóng)的工作流程比較復雜。它需要按照一定的網(wǎng)頁(yè)分析算法過(guò)濾掉與主題無(wú)關(guān)的鏈接，保留有用的鏈接，并放入等待抓取的URL隊列中。然后，它會(huì )根據一定的搜索策略從隊列中選擇下一個(gè)要爬取的網(wǎng)頁(yè)URL，并重復上述過(guò)程，直到達到系統的一定條件并停止。此外，爬蟲(chóng)爬取的所有網(wǎng)頁(yè)都會(huì )被系統存儲，經(jīng)過(guò)一定的分析、過(guò)濾、索引，以供后續查詢(xún)和檢索；對于重點(diǎn)爬蟲(chóng)來(lái)說(shuō)，這個(gè)過(guò)程中得到的分析結果也可能對后續的爬取過(guò)程給出反饋和指導。然后，它會(huì )根據一定的搜索策略從隊列中選擇下一個(gè)要爬取的網(wǎng)頁(yè)URL，并重復上述過(guò)程，直到達到系統的一定條件并停止。此外，爬蟲(chóng)爬取的所有網(wǎng)頁(yè)都會(huì )被系統存儲，經(jīng)過(guò)一定的分析、過(guò)濾、索引，以供后續查詢(xún)和檢索；對于重點(diǎn)爬蟲(chóng)來(lái)說(shuō)，這個(gè)過(guò)程中得到的分析結果也可能對后續的爬取過(guò)程給出反饋和指導。然后，它會(huì )根據一定的搜索策略從隊列中選擇下一個(gè)要爬取的網(wǎng)頁(yè)URL，并重復上述過(guò)程，直到達到系統的一定條件并停止。此外，爬蟲(chóng)爬取的所有網(wǎng)頁(yè)都會(huì )被系統存儲，經(jīng)過(guò)一定的分析、過(guò)濾、索引，以供后續查詢(xún)和檢索；對于重點(diǎn)爬蟲(chóng)來(lái)說(shuō)，這個(gè)過(guò)程中得到的分析結果也可能對后續的爬取過(guò)程給出反饋和指導。并為后續查詢(xún)和檢索建立索引；對于重點(diǎn)爬蟲(chóng)來(lái)說(shuō)，這個(gè)過(guò)程中得到的分析結果也可能對后續的爬取過(guò)程給出反饋和指導。并為后續查詢(xún)和檢索建立索引；對于重點(diǎn)爬蟲(chóng)來(lái)說(shuō)，這個(gè)過(guò)程中得到的分析結果也可能對后續的爬取過(guò)程給出反饋和指導。

　　與通用網(wǎng)絡(luò )爬蟲(chóng)相比，聚焦爬蟲(chóng)還需要解決三個(gè)主要問(wèn)題：

　　(1) 獲取目標的描述或定義；

　　(2) 網(wǎng)頁(yè)或數據的分析和過(guò)濾；

　　(3) URL 的搜索策略。

　　2、爬蟲(chóng)原理

　　2.1 網(wǎng)絡(luò )爬蟲(chóng)原理

　　網(wǎng)絡(luò )爬蟲(chóng)系統的功能是下載網(wǎng)頁(yè)數據，為搜索引擎系統提供數據源。許多大型網(wǎng)絡(luò )搜索引擎系統被稱(chēng)為基于Web數據的搜索引擎系統采集，如Google、百度等。這顯示了網(wǎng)絡(luò )爬蟲(chóng)系統在搜索引擎中的重要性。除了供用戶(hù)閱讀的文字信息外，網(wǎng)頁(yè)還收錄一些超鏈接信息。網(wǎng)絡(luò )爬蟲(chóng)系統通過(guò)網(wǎng)頁(yè)中的超鏈接信息不斷獲取網(wǎng)絡(luò )上的其他網(wǎng)頁(yè)。正是因為這個(gè)采集進(jìn)程像爬蟲(chóng)或者蜘蛛一樣在網(wǎng)絡(luò )上漫游，所以才叫做網(wǎng)絡(luò )爬蟲(chóng)系統或者網(wǎng)絡(luò )蜘蛛系統，英文叫Spider或者Crawler。

　　2.2 網(wǎng)絡(luò )爬蟲(chóng)系統的工作原理

　　在網(wǎng)絡(luò )爬蟲(chóng)的系統框架中，主要流程由控制器、解析器和資源庫三部分組成?？刂破鞯闹饕ぷ魇菫槎鄠€(gè)線(xiàn)程中的每個(gè)爬蟲(chóng)線(xiàn)程分配工作任務(wù)。解析器的主要工作是下載網(wǎng)頁(yè)和處理頁(yè)面，主要是處理一些JS腳本標簽、CSS代碼內容、空格字符、HTML標簽等。爬蟲(chóng)的基本工作是由解析器完成的。資源庫用于存儲下載的網(wǎng)絡(luò )資源。通常使用大型數據庫，例如 Oracle 數據庫來(lái)存儲和索引它。

　　控制器

　　控制器是網(wǎng)絡(luò )爬蟲(chóng)的中央控制器。主要負責根據系統發(fā)送的URL鏈接分配一個(gè)線(xiàn)程，然后啟動(dòng)線(xiàn)程調用爬蟲(chóng)爬取網(wǎng)頁(yè)。

　　解析器

　　解析器負責網(wǎng)絡(luò )爬蟲(chóng)的主要部分。它的主要任務(wù)是：下載網(wǎng)頁(yè)的功能，處理網(wǎng)頁(yè)的文本，如過(guò)濾，提取特殊的HTML標簽，分析數據。

　　資源庫

　　它主要是一個(gè)容器，用于存儲從網(wǎng)頁(yè)下載的數據記錄，并為索引生成提供目標源。大中型數據庫產(chǎn)品包括：Oracle、Sql Server等。

　　網(wǎng)絡(luò )爬蟲(chóng)系統一般會(huì )選擇一些比較重要的出度（網(wǎng)頁(yè)中超鏈接數）網(wǎng)站較大的URL作為*敏*感*詞*URL集。網(wǎng)絡(luò )爬蟲(chóng)系統使用這些*敏*感*詞*集作為初始 URL 來(lái)開(kāi)始數據爬取。因為網(wǎng)頁(yè)中收錄鏈接信息，所以會(huì )通過(guò)已有網(wǎng)頁(yè)的URL獲取一些新的URL。網(wǎng)頁(yè)之間的指向結構可以看作是一片森林。每個(gè)*敏*感*詞* URL 對應的網(wǎng)頁(yè)是森林中一棵樹(shù)的根節點(diǎn)。. 這樣，網(wǎng)絡(luò )爬蟲(chóng)系統就可以按照廣度優(yōu)先算法或深度優(yōu)先算法遍歷所有網(wǎng)頁(yè)。由于深度優(yōu)先搜索算法可能導致爬蟲(chóng)系統陷入網(wǎng)站內部，不利于搜索距離網(wǎng)站首頁(yè)比較近的網(wǎng)頁(yè)信息，一般采用廣度優(yōu)先搜索算法采集網(wǎng)頁(yè)。網(wǎng)絡(luò )爬蟲(chóng)系統首先將*敏*感*詞* URL 放入下載隊列，然后簡(jiǎn)單地從隊列頭部獲取一個(gè) URL 來(lái)下載其對應的網(wǎng)頁(yè)。獲取網(wǎng)頁(yè)內容并存儲后，通過(guò)解析網(wǎng)頁(yè)中的鏈接信息可以得到一些新的URL，并將這些URL加入到下載隊列中。然后取出一個(gè)URL，下載其對應的網(wǎng)頁(yè)，然后解析，以此類(lèi)推，直到遍歷全網(wǎng)或者滿(mǎn)足某個(gè)條件。網(wǎng)絡(luò )爬蟲(chóng)系統首先將*敏*感*詞* URL 放入下載隊列，然后簡(jiǎn)單地從隊列頭部獲取一個(gè) URL 來(lái)下載其對應的網(wǎng)頁(yè)。獲取網(wǎng)頁(yè)內容并存儲后，通過(guò)解析網(wǎng)頁(yè)中的鏈接信息可以得到一些新的URL，并將這些URL加入到下載隊列中。然后取出一個(gè)URL，下載其對應的網(wǎng)頁(yè)，然后解析，以此類(lèi)推，直到遍歷全網(wǎng)或者滿(mǎn)足某個(gè)條件。網(wǎng)絡(luò )爬蟲(chóng)系統首先將*敏*感*詞* URL 放入下載隊列，然后簡(jiǎn)單地從隊列頭部獲取一個(gè) URL 來(lái)下載其對應的網(wǎng)頁(yè)。獲取網(wǎng)頁(yè)內容并存儲后，通過(guò)解析網(wǎng)頁(yè)中的鏈接信息可以得到一些新的URL，并將這些URL加入到下載隊列中。然后取出一個(gè)URL，下載其對應的網(wǎng)頁(yè)，然后解析，以此類(lèi)推，直到遍歷全網(wǎng)或者滿(mǎn)足某個(gè)條件。

　　網(wǎng)絡(luò )爬蟲(chóng)的基本工作流程如下：

　　1.首先選擇一個(gè)精心挑選的*敏*感*詞* URL 的子集；

　　2.將這些網(wǎng)址放入待抓取的網(wǎng)址隊列中；

　　3. 從待爬取URL隊列中取出待爬取的URL，解析DNS，獲取主機IP，下載該URL對應的網(wǎng)頁(yè)，存入下載的網(wǎng)頁(yè)庫中。此外，將這些 URL 放入 Crawl URL 隊列。

　　4.分析已經(jīng)爬取的URL隊列中的URL，分析其中的其他URL，將這些URL放入待爬取的URL隊列，從而進(jìn)入下一個(gè)循環(huán)。