Crawljax是一個(gè)開(kāi)源Java工具用于A(yíng)jax Web應用程序的自動(dòng)化抓取和測試。Crawljax才能抓取/爬行任何基于A(yíng)jax的Web應用程序通過(guò)觸發(fā)風(fēng)波和在表單中填充數據。 收錄時(shí)間：2...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Encog是一個(gè)中級神經(jīng)網(wǎng)路和機器人/爬蟲(chóng)開(kāi)發(fā)泛型。Encog提供的這兩種功能可以單獨分開(kāi)使用來(lái)創(chuàng )建神經(jīng)網(wǎng)路或HTTP機器人程序，同時(shí)Encog還支持將這兩種中級功能聯(lián)合上去使用。Encog支持...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Crawler是一個(gè)簡(jiǎn)單的Web爬蟲(chóng)。它使你不用編撰沉悶爬蟲(chóng)，容易出錯的代碼，而只專(zhuān)注于所須要抓取網(wǎng)站的結構。此外它還特別適于使用。 CrawlerConfiguration cfg = new C...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Ex-Crawler分成三部份（Crawler Daemon，Gui Client和Web搜索引擎），這三部份組合上去將成為一個(gè)靈活和強悍的爬蟲(chóng)和搜索引擎。其中Web搜索引擎部份采用PHP開(kāi)發(fā)，...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Crawler4j是一個(gè)開(kāi)源的Java泛型提供一個(gè)用于抓取Web頁(yè)面的簡(jiǎn)單插口?？梢越柚鼇?lái)建立一個(gè)多線(xiàn)程的Web爬蟲(chóng)。

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Smart and Simple Web Crawler是一個(gè)Web爬蟲(chóng)框架。集成Lucene支持。該爬蟲(chóng)可以從單個(gè)鏈接或一個(gè)鏈接鏈表開(kāi)始，提供兩種遍歷模式：最大迭代和最大深度?？梢栽O置過(guò)濾器限...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　ItSucks是一個(gè)java web spider（web機器人，爬蟲(chóng)）開(kāi)源項目。支持通過(guò)下載模板和正則表達式來(lái)定義下載規則。提供一個(gè)swing GUI操作界面。

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Web-Harvest是一個(gè)Java開(kāi)源Web數據抽取工具。它還能搜集指定的Web頁(yè)面并從這種頁(yè)面中提取有用的數據。Web-Harvest主要是運用了象XSLT,XQuery,正則表達式等這種技...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　snoics-reptile是用純Java開(kāi)發(fā)的，用來(lái)進(jìn)行網(wǎng)站鏡像抓取的工具，可以使用配制文件中提供的URL入口，把這個(gè)網(wǎng)站所有的能用瀏覽器通過(guò)GET的方法獲取到的資源全部抓取到本地，包括網(wǎng)頁(yè)和...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　JoBo是一個(gè)用于下載整個(gè)Web站點(diǎn)的簡(jiǎn)單工具。它本質(zhì)是一個(gè)Web Spider。與其它下載工具相比較它的主要優(yōu)勢是能否手動(dòng)填充form(如：自動(dòng)登入)和使用cookies來(lái)處理session。...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　spindle是一個(gè)建立在Lucene工具包之上的Web索引/搜索工具.它包括一個(gè)用于創(chuàng )建索引的HTTP spider和一個(gè)用于搜索這種索引的搜索類(lèi)。spindle項目提供了一組JSP標簽庫促使...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　WebSPHINX是一個(gè)Java類(lèi)包和Web爬蟲(chóng)的交互式開(kāi)發(fā)環(huán)境。Web爬蟲(chóng)(也叫作機器人或蜘蛛)是可以手動(dòng)瀏覽與處理Web頁(yè)面的程序。WebSPHINX由兩部份組成：爬蟲(chóng)工作平臺和WebSPHINX類(lèi)包。

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　JSpider:是一個(gè)完全可配置和訂制的Web Spider引擎.你可以借助它來(lái)檢測網(wǎng)站的錯誤(內在的服務(wù)器錯誤等),網(wǎng)站內外部鏈接檢測，分析網(wǎng)站的結構(可創(chuàng )建一個(gè)網(wǎng)站地圖),下載整個(gè)Web站點(diǎn)...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Arachnid:是一個(gè)基于Java的web spider框架.它包含一個(gè)簡(jiǎn)單的HTML剖析器才能剖析包含HTML內容的輸入流.通過(guò)實(shí)現Arachnid的泛型才能夠開(kāi)發(fā)一個(gè)簡(jiǎn)單的Web spid...

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　WebLech是一個(gè)功能強悍的Web站點(diǎn)下載與鏡像工具。它支持按功能需求來(lái)下載web站點(diǎn)并才能盡可能模仿標準Web瀏覽器的行為。WebLech有一個(gè)功能控制臺并采用多線(xiàn)程操作。

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Arale主要為個(gè)人使用而設計，而沒(méi)有象其它爬蟲(chóng)一樣是關(guān)注于頁(yè)面索引。Arale才能下載整個(gè)web站點(diǎn)或來(lái)自web站點(diǎn)的個(gè)別資源。Arale就能夠把動(dòng)態(tài)頁(yè)面映射成靜態(tài)頁(yè)面。

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　Heritrix是一個(gè)開(kāi)源爬蟲(chóng)，可擴充的web爬蟲(chóng)項目。Heritrix設計成嚴格依照robots.txt文件的排除指示和META robots標簽。

　　碼頭工人 1年前

　　Web爬蟲(chóng)

　　LARM才能為Jakarta Lucene搜索引擎框架的用戶(hù)提供一個(gè)純Java的搜索解決方案。它包含才能為文件，數據庫表格構建索引的方式和為Web站點(diǎn)建索引的爬蟲(chóng)。

　　碼頭工人 1年前

　　Web爬蟲(chóng)