在大數據浪潮中，最值錢(qián)的就是數據，企業(yè)為了獲得數據，處理數據，理解數據耗費了巨大代價(jià)，使用網(wǎng)絡(luò )爬蟲(chóng)可以最有效的獲取數據。

　　什么是爬蟲(chóng)?

　　網(wǎng)絡(luò )蜘蛛（Web spider）也叫網(wǎng)絡(luò )爬蟲(chóng)（Web crawler）什么是網(wǎng)絡(luò )爬蟲(chóng)，螞蟻（ant），自動(dòng)檢索工具（automatic indexer），或者（在FOAF軟件概念中）網(wǎng)絡(luò )疾走（WEB scutter），是一種“自動(dòng)化瀏覽網(wǎng)路”的程序，或者說(shuō)是一種網(wǎng)路機器人。它們被廣泛用于互聯(lián)網(wǎng)搜索引擎或其他類(lèi)似網(wǎng)站，以獲取或更新那些網(wǎng)站的內容和檢索方法。它們可以手動(dòng)采集所有其才能訪(fǎng)問(wèn)到的頁(yè)面內容，以供搜索引擎做進(jìn)一步處理（分檢整理下載的頁(yè)面），而促使用戶(hù)能更快的檢索到她們須要的信息。

　　最常見(jiàn)的就是互聯(lián)網(wǎng)搜索引擎，它們借助網(wǎng)路爬蟲(chóng)手動(dòng)采集所有才能訪(fǎng)問(wèn)到的頁(yè)面內容，以獲取或更新那些網(wǎng)站的內容和檢索方法。在網(wǎng)路爬蟲(chóng)的系統框架中，主過(guò)程由控制器、解析器、資源庫三部份組成?？刂破鞯闹饕ぷ魇秦撠熃o多線(xiàn)程中的各個(gè)爬蟲(chóng)線(xiàn)程分配工作任務(wù)。解析器的主要工作是

　　下載信息，將信息中對用戶(hù)沒(méi)有意義的內容（比如網(wǎng)頁(yè)代碼）處理掉。資源庫是拿來(lái)儲存下載到的數據資源，并對其構建索引。

　　假如你想要每小時(shí)抓取一次網(wǎng)易新聞，那么你就要訪(fǎng)問(wèn)網(wǎng)易并做一個(gè)數據懇求，得到html格式的網(wǎng)頁(yè)，然后通過(guò)網(wǎng)路爬蟲(chóng)的解析器進(jìn)行過(guò)濾，最后保存入庫。

　　爬蟲(chóng)能做哪些？

　　可以創(chuàng )建搜索引擎（Google，百度）

　　可以拿來(lái)?yè)尰疖?chē)票

　　帶逛

　　簡(jiǎn)單來(lái)講只要瀏覽器能打開(kāi)的，都可以用爬蟲(chóng)實(shí)現

　　網(wǎng)絡(luò )爬蟲(chóng)的分類(lèi)？

　　網(wǎng)絡(luò )爬蟲(chóng)可以分為通用網(wǎng)路爬蟲(chóng)（General Purpose Web Crawler）、聚焦網(wǎng)絡(luò )爬蟲(chóng)（Focused Web Crawler）、增量式網(wǎng)絡(luò )爬蟲(chóng)（Incremental Web Crawler）和深層網(wǎng)絡(luò )爬蟲(chóng)（Deep Web Crawler）。通用網(wǎng)路爬蟲(chóng)又稱(chēng)全網(wǎng)爬蟲(chóng)（Scalable Web Crawler），爬行對象從一些*敏*感*詞* URL（網(wǎng)絡(luò )上每一個(gè)文件都有一個(gè)地址，即URL） 擴充到整個(gè) Web，主要為門(mén)戶(hù)站點(diǎn)搜索引擎和小型 Web 服務(wù)提供商采集數據。 由于商業(yè)緣由，它們的技術(shù)細節甚少公布下來(lái)。

　　聚焦網(wǎng)絡(luò )爬蟲(chóng)（Focused Crawler），又稱(chēng)主題網(wǎng)路爬蟲(chóng)（Topical Crawler），是只爬行與主題相關(guān)網(wǎng)路資源的爬蟲(chóng)。它極大地節約了硬件和網(wǎng)路資源，保存的數據也因為數目少而更新快，還可以挺好地滿(mǎn)足一些特定人群對特定領(lǐng)域信息的需求。

　　增量式網(wǎng)絡(luò )爬蟲(chóng)（Incremental Web Crawler）是指只爬行新形成的或則已然發(fā)生變化數據的爬蟲(chóng)，它還能在一定程度上保證所爬行的數據是盡可能新的，并不重新下載沒(méi)有發(fā)生變化的數據，可有效降低數據下載量，及時(shí)更新已爬行的數據，減小時(shí)間和空間上的花費。

　　深層網(wǎng)絡(luò )爬蟲(chóng)（Deep Web Crawler）則可以抓取到深層網(wǎng)頁(yè)的數據。一般網(wǎng)路頁(yè)面分為表層網(wǎng)頁(yè)和深層網(wǎng)頁(yè)。 表層網(wǎng)頁(yè)是指傳統搜索引擎可以索引的頁(yè)面什么是網(wǎng)絡(luò )爬蟲(chóng)，而深層頁(yè)面是只有用戶(hù)遞交一些關(guān)鍵詞能夠獲得的頁(yè)面，例如這些用戶(hù)注冊后內容才可見(jiàn)的網(wǎng)頁(yè)就屬于深層網(wǎng)頁(yè)。

　　學(xué)習爬蟲(chóng)技術(shù)勢在必行：在現今競爭的信息化社會(huì )中，如何借助數據剖析使自己站在信息不對稱(chēng)的一方，保持競爭優(yōu)勢，是數字工作者的必備技能。不過(guò)想飛之前總得先學(xué)會(huì )慢跑，分析數據之前先首要學(xué)會(huì )爬數據與處理數據，才有有事半功倍之效。

　　【全文完】