網(wǎng)絡(luò )爬蟲(chóng)序言－爬蟲(chóng)? Crawler ，即Spider（網(wǎng)絡(luò )爬蟲(chóng)），其定義有廣義 和狹義之分。狹義上指遵守標準的 http 協(xié)議，利 用超鏈接和 Web 文檔檢索方式遍歷萬(wàn)維網(wǎng)的軟件 程序；而廣義的定義則是能遵守 http 協(xié)議，檢索 Web 文檔的軟件都稱(chēng)之為網(wǎng)路爬蟲(chóng)。 ? 網(wǎng)絡(luò )爬蟲(chóng)是一個(gè)功能太強的手動(dòng)提取網(wǎng)頁(yè)的程序， 它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè)，是搜索引擎的 重要組成部份。聚焦爬蟲(chóng)? 隨著(zhù)網(wǎng)路的迅速發(fā)展，萬(wàn)維網(wǎng)成為大量信息的載體 ，如何有效地提取并借助這種信息成為一個(gè)巨大的 挑戰。搜索引擎(Search Engine)，例如傳統的通 用搜索引擎AltaVista，Yahoo!和Google等，作為 一個(gè)輔助人們檢索信息的工具成為用戶(hù)訪(fǎng)問(wèn)萬(wàn)維網(wǎng) 的入口和 指南。但是，這些通用性搜索引擎也存在 著(zhù)一定的局限性，如：聚焦爬蟲(chóng)? (1) 不同領(lǐng)域、不同背景的用戶(hù)常常具有不同的檢索目的和 需求，通用搜索引擎所返回的結果包含大量用戶(hù)不關(guān)心的網(wǎng) 頁(yè)。? ? (2) 通用搜索引擎的目標是盡可能大的網(wǎng)路覆蓋率，有限的 搜索引擎服務(wù)器資源與無(wú)限的網(wǎng)路數據資源之間的矛盾將進(jìn) 一步加深。? ? (3) 萬(wàn)維網(wǎng)數據方式的豐富和網(wǎng)路技術(shù)的不斷發(fā)展，圖片、 數據庫、音頻/視頻多媒體等不同數據大量出現，通用搜索引 擎常常對這種信息濃度密集且具有一定結構的數據無(wú)能為力 ，不能挺好地發(fā)覺(jué)和獲取。

　　? ? (4) 通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根 據語(yǔ)義信息提出的查詢(xún)。?聚焦爬蟲(chóng)? 為了解決上述問(wèn)題，定向抓取相關(guān)網(wǎng)頁(yè)資源的聚焦 爬蟲(chóng)應運而生。聚焦爬蟲(chóng)是一個(gè)手動(dòng)下載網(wǎng)頁(yè)的程 序，它按照既定的抓取目標，有選擇的訪(fǎng)問(wèn)萬(wàn)維網(wǎng) 上的網(wǎng)頁(yè)與相關(guān)的鏈接，獲取所須要的信息。 ? 與通用爬蟲(chóng)(general purpose web crawler)不同 ，聚焦爬蟲(chóng)并不追求大的覆蓋，而將目標定為抓取 與某一特定主題內容相關(guān)的網(wǎng)頁(yè)，為面向主題的用 戶(hù)查詢(xún)打算數據資源。垂直搜索的本質(zhì)?從主題相關(guān)的領(lǐng)域內，獲取、加工與搜索行 為相匹配的結構化數據和元數據信息。如數碼產(chǎn)品mp3：內存、尺寸、大小、電池機型、價(jià)格、生產(chǎn) 廠(chǎng)家等，還可以提供比價(jià)服務(wù)爬蟲(chóng)基本原理?網(wǎng)絡(luò )爬蟲(chóng)是通過(guò)網(wǎng)頁(yè)的鏈接地址來(lái)找尋網(wǎng)頁(yè)， 從一個(gè)或若干初始網(wǎng)頁(yè)的URL開(kāi)始（通常是某 網(wǎng)站首頁(yè)），遍歷 Web 空間，讀取網(wǎng)頁(yè)的內容 ，不斷從一個(gè)站點(diǎn)聯(lián)通到另一個(gè)站點(diǎn)，自動(dòng)建 立索引。在抓取網(wǎng)頁(yè)的過(guò)程中，找到在網(wǎng)頁(yè)中 的其他鏈接地址，對 HTML 文件進(jìn)行解析，取 出其頁(yè)面中的子鏈接，并加入到網(wǎng)頁(yè)數據庫中 ，不斷從當前頁(yè)面上抽取新的URL裝入隊列， 這樣仍然循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng) 頁(yè)都抓取完，滿(mǎn)足系統的一定停止條件。

　　爬蟲(chóng)基本原理?另外，所有被爬蟲(chóng)抓取的網(wǎng)頁(yè)將會(huì )被系統儲存 ，進(jìn)行一定的剖析、過(guò)濾，并構建索引，以便 之后的查詢(xún)和檢索。網(wǎng)絡(luò )爬蟲(chóng)剖析某個(gè)網(wǎng)頁(yè)時(shí) ，利用 HTML 語(yǔ)言的標記結構來(lái)獲取指向其他 網(wǎng)頁(yè)的 URL 地址，可以完全不依賴(lài)用戶(hù)干預。 ?如果把整個(gè)互聯(lián)網(wǎng)當作一個(gè)網(wǎng)站，理論上講網(wǎng) 絡(luò )爬蟲(chóng)可以把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取出來(lái)爬蟲(chóng)基本原理?而且對于個(gè)別主題爬蟲(chóng)來(lái)說(shuō)，這一過(guò)程所得到 的剖析結果還可能對之后抓取過(guò)程給出反饋和 指導。正是這些行為方法，這些程序才被稱(chēng)為 爬蟲(chóng)( spider )、crawler、機器人。爬蟲(chóng)基本原理?Spider如何抓取所有的 Web 頁(yè)面呢? ?在Web出現曾經(jīng)，傳統的文本集合，如目錄數 據庫、期刊文摘儲存在磁帶或光碟里，用作索 引系統。 ?與此相對應，Web 中所有可訪(fǎng)問(wèn)的URL都是未 分類(lèi)的，收集 URL 的惟一方法就是通過(guò)掃描收 集這些鏈向其他頁(yè)面的超鏈接，這些頁(yè)面還未 被搜集過(guò)。爬蟲(chóng)基本原理? 從給定的 URL 集出發(fā)，逐步來(lái)抓取和掃描這些新 的出鏈。這樣周而復始的抓取那些頁(yè)面。這些新發(fā) 現的 URL 將作為爬行器的未來(lái)的抓取的工作。 ? 隨著(zhù)抓取的進(jìn)行，這些未來(lái)工作集也會(huì )隨著(zhù)膨脹， 由寫(xiě)入器將這種數據寫(xiě)入c盤(pán)來(lái)釋放尋址，以及避 免爬行器崩潰數據遺失。

　　沒(méi)有保證所有的 Web 頁(yè) 面的訪(fǎng)問(wèn)都是根據這些方法進(jìn)行，爬行器從不會(huì )停 下來(lái)，Spider 運行時(shí)頁(yè)面也會(huì )急劇不斷降低。 ? 頁(yè)面中所包含的文本也將呈交給文本索引器，用于 基于關(guān)鍵詞的信息索引。工作流程? 網(wǎng)絡(luò )爬蟲(chóng)是搜索引擎中最核心的部份，整個(gè)搜索引擎的 素材庫來(lái)源于網(wǎng)路爬蟲(chóng)的采集，從搜索引擎整個(gè)產(chǎn)業(yè)鏈 來(lái)看，網(wǎng)絡(luò )爬蟲(chóng)是處于最上游的產(chǎn)業(yè)。其性能優(yōu)劣直接 影響著(zhù)搜索引擎整體性能和處理速率。 ? 通用網(wǎng)路爬蟲(chóng)是從一個(gè)或若干個(gè)初始網(wǎng)頁(yè)的上的 URL 開(kāi)始，獲得初始網(wǎng)頁(yè)上的 URL 列表，在抓取網(wǎng)頁(yè)過(guò)程 中，不斷從當前頁(yè)面上抽取新的 URL 放入待爬行隊列網(wǎng)絡(luò )爬蟲(chóng)，直到滿(mǎn)足系統的停止條件。工作流程? 網(wǎng)絡(luò )爬蟲(chóng)基本構架如圖所示，其各個(gè)部份的主要功能介 紹如下： ? 1．頁(yè)面采集模塊：該模塊是爬蟲(chóng)和因特網(wǎng)的插口，主 要作用是通過(guò)各類(lèi) web 協(xié)議(一般以 HTTP．FTP 為主 )來(lái)完成對網(wǎng)頁(yè)數據的采集，保存后將采集到的頁(yè)面交 由后續模塊作進(jìn)一步處理。 其過(guò)程類(lèi)似于用戶(hù)使用瀏覽器打開(kāi)網(wǎng)頁(yè)，保存的網(wǎng)頁(yè)供 其它后續模塊處理，例如，頁(yè)面剖析、鏈接抽取。工作流程? 2．頁(yè)面剖析模塊：該模塊的主要功能是將頁(yè)面采集模 塊采集下來(lái)的頁(yè)面進(jìn)行剖析，提取其中滿(mǎn)足用戶(hù)要求的 超鏈接，加入到超鏈接隊列中。

　　 頁(yè)面鏈接中給出的 URL 一般是多種格式的，可能是完 整的包括合同、站點(diǎn)和路徑的，也可能是省略了部份內 容的，或者是一個(gè)相對路徑。所以為處理便捷，一般進(jìn) 行規范化處理，先將其轉化成統一的格式。工作流程?3、鏈接過(guò)濾模塊：該模塊主要是用于對重復鏈 接和循環(huán)鏈接的過(guò)濾。例如，相對路徑須要補 全 URL ，然后加入到待采集 URL 隊列中。 此時(shí)，一般會(huì )過(guò)濾掉隊列中早已包含的 URL ， 以及循環(huán)鏈接的URL。工作流程?4．頁(yè)面庫：用來(lái)儲存早已采集下來(lái)的頁(yè)面，以 備后期處理。 ?5．待采集 URL 隊列：從采集網(wǎng)頁(yè)中抽取并作 相應處理后得到的 URL ，當 URL 為空時(shí)爬蟲(chóng) 程序中止。 ?6．初始 URL ：提供 URL *敏*感*詞*，以啟動(dòng)爬蟲(chóng)關(guān)鍵技術(shù)剖析?抓取目標的定義與描述 ?網(wǎng)頁(yè)URL的搜索策略 ?網(wǎng)頁(yè)的剖析與信息的提取抓取目標的定義與描述?針對有目標網(wǎng)頁(yè)特點(diǎn)的網(wǎng)頁(yè)級信息對應網(wǎng)頁(yè)庫級垂直搜索，抓取目標網(wǎng)頁(yè)，后續還要從 中抽取出須要的結構化信息。穩定性和數目上占優(yōu)， 但成本高、性活性差。?針對目標網(wǎng)頁(yè)上的結構化數據對應模板級垂直搜索，直接解析頁(yè)面，提取并加工出 結構化數據信息?？焖偈┬?、成本低、靈活性強，但 后期維護成本高。

　　URL 的搜索策略網(wǎng)路爬蟲(chóng) URL 抓取策略有： ?IP 地址搜索策略 ?廣度優(yōu)先 ?深度優(yōu)先 ?最佳優(yōu)先URL 的搜索策略? 基于IP地址的搜索策略 ? 先賦于爬蟲(chóng)一個(gè)起始的 IP 地址網(wǎng)絡(luò )爬蟲(chóng)，然后按照 IP 地址 遞增的形式搜索本口地址段后的每一個(gè) WWW 地 址中的文檔，它完全不考慮各文檔中指向其它 Web 站點(diǎn)的超級鏈接地址。 ? 優(yōu)點(diǎn)是搜索全面，能夠發(fā)覺(jué)這些沒(méi)被其它文檔引用 的新文檔的信息源 ? 缺點(diǎn)是不適宜*敏*感*詞*搜索URL 的搜索策略? 廣度優(yōu)先搜索策略 ? 廣度優(yōu)先搜索策略是指在抓取過(guò)程中，在完成當前層次 的搜索后，才進(jìn)行下一層次的搜索。這樣逐層搜索，依 此類(lèi)推。 ? 該算法的設計和實(shí)現相對簡(jiǎn)單。在目前為覆蓋盡可能多 的網(wǎng)頁(yè)，一般使用廣度優(yōu)先搜索方式。 ? 很多研究者通過(guò)將廣度優(yōu)先搜索策略應用于主題爬蟲(chóng)中 。他們覺(jué)得與初始 URL 在一定鏈接距離內的網(wǎng)頁(yè)具有 主題相關(guān)性的機率很大。URL 的搜索策略? 另外一種方式是將廣度優(yōu)先搜索與網(wǎng)頁(yè)過(guò)濾技術(shù)結合讓 用，先用廣度優(yōu)先策略抓取網(wǎng)頁(yè)，再將其中無(wú)關(guān)的網(wǎng)頁(yè) 過(guò)濾掉。這些技巧的缺點(diǎn)在于，隨著(zhù)抓取網(wǎng)頁(yè)的增多， 大量的無(wú)關(guān)網(wǎng)頁(yè)將被下載并過(guò)濾，算法的效率將變低。

　　? 使用廣度優(yōu)先策略抓取的次序為：A-B、C、D、E、F-G 、H-I 。URL 的搜索策略? 深度優(yōu)先搜索策略 ? 深度優(yōu)先搜索在開(kāi)發(fā)網(wǎng)路爬蟲(chóng)初期使用較多的方式之一 ，目的是要達到葉結點(diǎn)，即這些不包含任何超鏈接的頁(yè) 面文件。 ? 從起始頁(yè)開(kāi)始在當前 HTML 文件中，當一個(gè)超鏈被選 擇后，被鏈接的 HTML 文件將執行深度優(yōu)先搜索，一 個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線(xiàn)路以后再轉到 下一個(gè)起始頁(yè)，繼續跟蹤鏈接。即在搜索其余的超鏈結 果之前必須先完整地搜索單獨的一條鏈。URL 的搜索策略? 深度優(yōu)先搜索順著(zhù) HTML 文件上的超鏈走到不能再深 入為止，然后返回到某一個(gè) HTML 文件，再繼續選擇 該 HTML 文件中的其他超鏈。當不再有其他超鏈可選 擇時(shí)，說(shuō)明搜索早已結束。 ? 這個(gè)方式有個(gè)優(yōu)點(diǎn)是網(wǎng)路蜘蛛在設計的時(shí)侯比較容易。? 使用深度優(yōu)先策略抓取的次序為：A-F-G、E-H-I、B、 C、D 。 ? 目前常見(jiàn)的是廣度優(yōu)先和最佳優(yōu)先方式。URL 的搜索策略? 最佳優(yōu)先搜索策略 ? 最佳優(yōu)先搜索策略根據一定的網(wǎng)頁(yè)剖析算法，先估算出 URL 描述文本的目標網(wǎng)頁(yè)的相似度，設定一個(gè)值，并選 取評價(jià)得分超過(guò)該值的一個(gè)或幾個(gè) URL 進(jìn)行抓取。

　　它 只訪(fǎng)問(wèn)經(jīng)過(guò)網(wǎng)頁(yè)分析算法估算出的相關(guān)度小于給定的值 的網(wǎng)頁(yè)。 ? 存在的一個(gè)問(wèn)題是，在爬蟲(chóng)抓取路徑上的好多相關(guān)網(wǎng)頁(yè) 可能被忽視，因為最佳優(yōu)先策略是一種局部最優(yōu)搜索算 法。因此須要將最佳優(yōu)先結合具體的應用進(jìn)行改進(jìn)，以 跳出局部最優(yōu)點(diǎn)。 ? 有研究表明，這樣的閉環(huán)調整可以將無(wú)關(guān)網(wǎng)頁(yè)數目增加 30%--90%。網(wǎng)頁(yè)的剖析及信息的提取? 基于網(wǎng)路拓撲關(guān)系的剖析算法 根據頁(yè)面間超鏈接引用關(guān)系，來(lái)對與已知網(wǎng)頁(yè)有直接或 間接關(guān)系對象做出評價(jià)的算法。網(wǎng)頁(yè)細度PageRank ，網(wǎng)站粒度 SiteRank。 ? 基于網(wǎng)頁(yè)內容的剖析算法 從最初的文本檢索方式，向涉及網(wǎng)頁(yè)數據抽取、機器學(xué) 習、數據挖掘、自然語(yǔ)言等多領(lǐng)域綜合的方向發(fā)展。 ? 基于用戶(hù)訪(fǎng)問(wèn)行為的剖析算法 有代表性的是基于領(lǐng)域概念的剖析算法，涉及本體論。例子說(shuō)明簡(jiǎn)述頁(yè)面源代碼?定位的爬取目標是娛樂(lè )博文，故在首頁(yè)的源 代碼中搜救“娛樂(lè )”之后，發(fā)現了如下數組 ： ?<div class="nav"><a href=";class= "a2 fblack">首頁(yè)</a> <a href=" /"target="_blank"class="fw">娛樂(lè ) </a>解析html的形式? 實(shí)現網(wǎng)路爬蟲(chóng)，顧名思義另要程序手動(dòng)解析網(wǎng)頁(yè)。

　　考慮 到垂直爬蟲(chóng)及站內搜索的重要性，凡是涉及到對頁(yè)面的 處理，就須要一個(gè)強悍的 HTML/XML Parser 支持解 析，通過(guò)對目標文件的低格處理，才能夠實(shí)現特定信 息提取、特定信息刪掉和遍歷等操作。 ? HTMLParser ，它是 Python拿來(lái)的解析 html 的模 塊。它可以剖析出 html 里面的標簽、數據等等，是一 種處理html的簡(jiǎn)便途徑。