爬蟲(chóng)工具匯總 Heritrix Heritrix 是一個(gè)開(kāi)源，可擴充的 web爬蟲(chóng)項目。 Heritrix 設計成嚴格依照 robots.txt 文件的排除指示和 META robots 標簽。 WebSPHINX WebSPHIN是X 一個(gè) Java 類(lèi)包和 Web爬蟲(chóng)的交互式開(kāi)發(fā)環(huán)境。 Web爬蟲(chóng) ( 也叫作 機器人或蜘蛛 ) 是可以手動(dòng)瀏覽與處理 Web頁(yè)面的程序。 WebSPHIN由X 兩部份組成 : 爬蟲(chóng)工作平臺和 WebSPHIN類(lèi)X 包。 ~rcm/websphinx/ WebLech WebLech是一個(gè)功能強悍的 Web站點(diǎn)下載與鏡像工具。它支持按功能需求來(lái)下 載 web站點(diǎn)并才能盡可能模仿標準 Web瀏覽器的行為。 WebLech有一個(gè)功能控制臺 并采用多線(xiàn)程操作。 Arale Arale 主要為個(gè)人使用而設計，而沒(méi)有象其它爬蟲(chóng)一樣是關(guān)注于頁(yè)面索引。 Arale 能夠下載整個(gè) web站點(diǎn)或來(lái)自 web站點(diǎn)的個(gè)別資源。 Arale 還能夠把動(dòng)態(tài)頁(yè) 面映射成靜態(tài)頁(yè)面。 J-Spider J-Spider: 是一個(gè)完全可配置和訂制的 Web Spider 引擎 . 你可以借助它來(lái)檢測 網(wǎng)站的錯誤 ( 內在的服務(wù)器錯誤等 ), 網(wǎng)站內外部鏈接檢測，分析網(wǎng)站的結構 ( 可創(chuàng )建 一個(gè)網(wǎng)站地圖 ), 下載整個(gè) Web站點(diǎn)爬蟲(chóng)軟件下載，你還可以寫(xiě)一個(gè) JSpider 插件來(lái)擴充你所須要 的功能。

　　 spindle spindle 是一個(gè)建立在 Lucene 工具包之上的 Web索引 / 搜索工具 . 它包括一個(gè) 用于創(chuàng )建索引的 HTTP spider 和一個(gè)用于搜索這種索引的搜索類(lèi)。 spindle 項目提 供了一組 JSP標簽庫促使這些基于 JSP 的站點(diǎn)不需要開(kāi)發(fā)任何 Java 類(lèi)能夠夠降低 搜索功能。 Arachnid Arachnid: 是一個(gè)基于 Java 的 web spider 框架 . 它包含一個(gè)簡(jiǎn)單的 HTML分析 器才能剖析包含 HTML內容的輸入流 . 通過(guò)實(shí)現 Arachnid 的泛型才能夠開(kāi)發(fā)一個(gè)簡(jiǎn) 單的 Web spiders 并才能在 Web站上的每位頁(yè)面被解析然后降低幾行代碼調用。 Arachnid 的下載包中包含兩個(gè) spider 應用程序事例用于演示怎么使用該框架。 LARM LARM才能為 Jakarta Lucene 搜索引擎框架的用戶(hù)提供一個(gè)純 Java 的搜索解決 方案。它包含才能為文件，數據庫表格構建索引的方式和為 Web站點(diǎn)建索引的爬 蟲(chóng)。 JoBo JoBo 是一個(gè)用于下載整個(gè) Web站點(diǎn)的簡(jiǎn)單工具。它本質(zhì)是一個(gè) Web Spider 。

　　 與其它下載工具相比較它的主要優(yōu)勢是能否手動(dòng)填充 form( 如: 自動(dòng)登入 ) 和使用 cookies 來(lái)處理 session 。JoBo 還有靈活的下載規則 ( 如: 通過(guò)網(wǎng)頁(yè)的 URL，大小，MIME類(lèi)型等 ) 來(lái)限制下載。 snoics-reptile snoics -reptile 是用純 Java 開(kāi)發(fā)的爬蟲(chóng)軟件下載，用來(lái)進(jìn)行網(wǎng)站鏡像抓取的工具，可以讓 用配制文件中提供的 URL入口，把這個(gè)網(wǎng)站所有的能用瀏覽器通過(guò) GET的方法獲取 到的資源全部抓取到本地，包括網(wǎng)頁(yè)和各類(lèi)類(lèi)型的文件，如 : 圖片、 flash 、 mp3、 zip 、 rar 、exe 等文件?？梢詫⒄麄€(gè)網(wǎng)站完整地下傳至硬碟內，并能保持原有的網(wǎng) 站結構精確不變。只須要把抓取出來(lái)的網(wǎng)站放到 web服務(wù)器 ( 如:Apache) 中，就可 以實(shí)現完整的網(wǎng)站鏡像。 Web-Harvest Web-Harvest 是一個(gè) Java 開(kāi)源 Web數據抽取工具。它還能搜集指定的 Web頁(yè)面 并從這種頁(yè)面中提取有用的數據。 Web-Harvest 主要是運用了象 XSLT,XQuery,正則 表達式等這種技術(shù)來(lái)實(shí)現對 text/xml 的操作。

　　 spiderpy spiderpy 是一個(gè)基于 Python 編碼的一個(gè)開(kāi)源 web爬蟲(chóng)工具，允許用戶(hù)搜集文 件和搜索網(wǎng)站，并有一個(gè)可配置的界面。 The Spider Web Network Xoops Mod Team pider Web Network Xoops Mod 是 一個(gè) Xoops 下的模塊，完全由 PHP語(yǔ)言實(shí)現。 Fetchgals Fetchgals 是一個(gè)基于 perl 多線(xiàn)程的 Web爬蟲(chóng)，通過(guò) Tags 來(lái)搜索淫穢圖片。 larbin larbin 是個(gè)基于 C++的 web爬蟲(chóng)工具，擁有便于操作的界面，不過(guò)只能跑在 LINUX下，在一臺普通 PC下 larbin 每天可以爬 5 百萬(wàn)個(gè)頁(yè)面 ( 當然啦，需要擁有 良好的網(wǎng)路 ) J-Spider J-Spider: 是一個(gè)完全可配置和訂制的 Web Spider 引擎 . 你可以借助它來(lái)檢測 網(wǎng)站的錯誤 ( 內在的服務(wù)器錯誤等 ), 網(wǎng)站內外部鏈接檢測，分析網(wǎng)站的結構 ( 可創(chuàng )建 一個(gè)網(wǎng)站地圖 ), 下載整個(gè) Web站點(diǎn)，你還可以寫(xiě)一個(gè) JSpider 插件來(lái)擴充你所須要 的功能。 spindle pindle 是一個(gè)建立在 Lucene 工具包之上的 Web索引 / 搜索工具 . 它包括一個(gè)用 于創(chuàng )建索引的 HTTP spider 和一個(gè)用于搜索這種索引的搜索類(lèi)。

　　 spindle 項目提供 了一組 JSP標簽庫促使這些基于 JSP的站點(diǎn)不需要開(kāi)發(fā)任何 Java 類(lèi)能夠夠降低搜 索功能。 Arachnid Arachnid: 是一個(gè)基于 Java 的 web spider 框架 . 它包含一個(gè)簡(jiǎn)單的 HTML分析 器才能剖析包含 HTML內容的輸入流 . 通過(guò)實(shí)現 Arachnid 的泛型才能夠開(kāi)發(fā)一個(gè)簡(jiǎn) 單的 Web spiders 并才能在 Web站上的每位頁(yè)面被解析然后降低幾行代碼調用。 Arachnid 的下載包中包含兩個(gè) spider 應用程序事例用于演示怎么使用該框架。 LARM LARM才能為 Jakarta Lucene 搜索引擎