遍歷
開(kāi)源JAVA單機爬蟲(chóng)框架簡(jiǎn)介,優(yōu)缺點(diǎn)剖析
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 305 次瀏覽 ? 2020-06-06 08:01
互聯(lián)網(wǎng)營(yíng)銷(xiāo)時(shí)代，獲取海量數據成為營(yíng)銷(xiāo)推廣的關(guān)鍵。而獲得數據的最佳方法就是借助爬蟲(chóng)去抓取。但是爬蟲(chóng)的使用少不了代理ip太陽(yáng)HTTP的支撐。當然網(wǎng)路上現今有很多開(kāi)源爬蟲(chóng)，大大便捷了你們使用。但是開(kāi)源網(wǎng)路爬蟲(chóng)也是有優(yōu)點(diǎn)也有缺點(diǎn)，清晰認知這一點(diǎn)能夠達成自己的目標。
對于爬蟲(chóng)的功能來(lái)說(shuō)。用戶(hù)比較關(guān)心的問(wèn)題常常是：
1）爬蟲(chóng)可以爬取ajax信息么？
網(wǎng)頁(yè)上有一些異步加載的數據，爬取那些數據有兩種方式：使用模擬瀏覽器（問(wèn)題1中描述過(guò)了），或者剖析ajax的http請求，自己生成ajax懇求的url，獲取返回的數據。如果是自己生成ajax懇求，使用開(kāi)源爬蟲(chóng)的意義在那里？其實(shí)是要用開(kāi)源爬蟲(chóng)的線(xiàn)程池和URL管理功能（比如斷點(diǎn)爬?。?。
如果我早已可以生成我所須要的ajax懇求（列表），如何用這種爬蟲(chóng)來(lái)對那些懇求進(jìn)行爬??？
爬蟲(chóng)常常都是設計成廣度遍歷或則深度遍歷的模式爬蟲(chóng)框架，去遍歷靜態(tài)或則動(dòng)態(tài)頁(yè)面。爬取ajax信息屬于deep web（深網(wǎng)）的范疇，雖然大多數爬蟲(chóng)都不直接支持。但是也可以通過(guò)一些方式來(lái)完成。比如WebCollector使用廣度遍歷來(lái)遍歷網(wǎng)站。爬蟲(chóng)的第一輪爬取就是爬取種子集合(seeds)中的所有url。簡(jiǎn)單來(lái)說(shuō)，就是將生成的ajax懇求作為種子，放入爬蟲(chóng)。用爬蟲(chóng)對那些種子，進(jìn)行深度為1的廣度遍歷（默認就是廣度遍歷）。
2）爬蟲(chóng)支持多線(xiàn)程么、爬蟲(chóng)能用代理么、爬蟲(chóng)會(huì )爬取重復數據么、爬蟲(chóng)能爬取JS生成的信息么？
能不能爬js生成的信息和爬蟲(chóng)本身沒(méi)有很大關(guān)系。爬蟲(chóng)主要是負責遍歷網(wǎng)站和下載頁(yè)面。爬js生成的信息和網(wǎng)頁(yè)信息抽取模塊有關(guān)，往往須要通過(guò)模擬瀏覽器(htmlunit,selenium)來(lái)完成。這些模擬瀏覽器，往往須要花費好多的時(shí)間來(lái)處理一個(gè)頁(yè)面。所以一種策略就是，使用這種爬蟲(chóng)來(lái)遍歷網(wǎng)站，遇到須要解析的頁(yè)面，就將網(wǎng)頁(yè)的相關(guān)信息遞交給模擬瀏覽器，來(lái)完成JS生成信息的抽取。
3）爬蟲(chóng)如何保存網(wǎng)頁(yè)的信息？
有一些爬蟲(chóng)，自帶一個(gè)模塊負責持久化。比如webmagic，有一個(gè)模塊叫pipeline。通過(guò)簡(jiǎn)單地配置，可以將爬蟲(chóng)抽取到的信息，持久化到文件、數據庫等。還有一些爬蟲(chóng)，并沒(méi)有直接給用戶(hù)提供數據持久化的模塊。比如crawler4j和webcollector。讓用戶(hù)自己在網(wǎng)頁(yè)處理模塊中添加遞交數據庫的操作。至于使用pipeline這些模塊好不好，就和操作數據庫使用ORM好不好這個(gè)問(wèn)題類(lèi)似，取決于你的業(yè)務(wù)。
4）爬蟲(chóng)如何爬取要登錄的網(wǎng)站？
這些開(kāi)源爬蟲(chóng)都支持在爬取時(shí)指定cookies，模擬登錄主要是靠cookies。至于cookies如何獲取，不是爬蟲(chóng)管的事情。你可以自動(dòng)獲取、用http請求模擬登錄或則用模擬瀏覽器手動(dòng)登入獲取cookie。
5）爬蟲(chóng)如何抽取網(wǎng)頁(yè)的信息？
開(kāi)源爬蟲(chóng)通常還會(huì )集成網(wǎng)頁(yè)抽取工具。主要支持兩種規范：CSS SELECTOR和XPATH。至于那個(gè)好，這里不評價(jià)。
6）明明代碼寫(xiě)對了，爬不到數據爬蟲(chóng)框架，是不是爬蟲(chóng)有問(wèn)題，換個(gè)爬蟲(chóng)能解決么？
如果代碼寫(xiě)對了，又爬不到數據，換其他爬蟲(chóng)也是一樣爬不到。遇到這些情況，要么是網(wǎng)站把你封了，要么是你爬的數據是javascript生成的。爬不到數據通過(guò)換爬蟲(chóng)是不能解決的。
7）哪個(gè)爬蟲(chóng)的設計模式和架構比較好？
設計模式對軟件開(kāi)發(fā)沒(méi)有指導性作用。用設計模式來(lái)設計爬蟲(chóng)，只會(huì )促使爬蟲(chóng)的設計愈發(fā)臃腫。
至于架構，開(kāi)源爬蟲(chóng)目前主要是細節的數據結構的設計，比如爬取線(xiàn)程池、任務(wù)隊列，這些你們都能控制好。
8）哪個(gè)爬蟲(chóng)可以判定網(wǎng)站是否爬完、那個(gè)爬蟲(chóng)可以依照主題進(jìn)行爬??？
爬蟲(chóng)難以判定網(wǎng)站是否爬完，只能盡可能覆蓋。
至于依照主題爬取，爬蟲(chóng)然后把內容爬出來(lái)才曉得是哪些主題。所以通常都是整個(gè)爬出來(lái)，然后再去篩選內容。如果嫌爬的很泛，可以通過(guò)限制URL正則等方法，來(lái)縮小一下范圍。
9）爬蟲(chóng)速率怎么樣？
單機開(kāi)源爬蟲(chóng)的速率，基本都可以講本機的網(wǎng)速用到極限。爬蟲(chóng)的速率慢，往往是由于用戶(hù)把線(xiàn)程數開(kāi)少了、網(wǎng)速慢，或者在數據持久化時(shí)，和數據庫的交互速率慢。而這種東西，往往都是用戶(hù)的機器和二次開(kāi)發(fā)的代碼決定的。
10）網(wǎng)頁(yè)可以調用爬蟲(chóng)么？
爬蟲(chóng)的調用是在Web的服務(wù)端調用的，平時(shí)如何用就如何用，這些爬蟲(chóng)都可以使用。
11）爬蟲(chóng)被網(wǎng)站封了如何辦？
爬蟲(chóng)被網(wǎng)站封了，一般用多代理（隨機代理）就可以解決。但是這種開(kāi)源爬蟲(chóng)通常沒(méi)有直接支持隨機代理ip的切換。 查看全部
互聯(lián)網(wǎng)營(yíng)銷(xiāo)時(shí)代，獲取海量數據成為營(yíng)銷(xiāo)推廣的關(guān)鍵。而獲得數據的最佳方法就是借助爬蟲(chóng)去抓取。但是爬蟲(chóng)的使用少不了代理ip太陽(yáng)HTTP的支撐。當然網(wǎng)路上現今有很多開(kāi)源爬蟲(chóng)，大大便捷了你們使用。但是開(kāi)源網(wǎng)路爬蟲(chóng)也是有優(yōu)點(diǎn)也有缺點(diǎn)，清晰認知這一點(diǎn)能夠達成自己的目標。
對于爬蟲(chóng)的功能來(lái)說(shuō)。用戶(hù)比較關(guān)心的問(wèn)題常常是：
1）爬蟲(chóng)可以爬取ajax信息么？
網(wǎng)頁(yè)上有一些異步加載的數據，爬取那些數據有兩種方式：使用模擬瀏覽器（問(wèn)題1中描述過(guò)了），或者剖析ajax的http請求，自己生成ajax懇求的url，獲取返回的數據。如果是自己生成ajax懇求，使用開(kāi)源爬蟲(chóng)的意義在那里？其實(shí)是要用開(kāi)源爬蟲(chóng)的線(xiàn)程池和URL管理功能（比如斷點(diǎn)爬?。?。
如果我早已可以生成我所須要的ajax懇求（列表），如何用這種爬蟲(chóng)來(lái)對那些懇求進(jìn)行爬??？
爬蟲(chóng)常常都是設計成廣度遍歷或則深度遍歷的模式爬蟲(chóng)框架，去遍歷靜態(tài)或則動(dòng)態(tài)頁(yè)面。爬取ajax信息屬于deep web（深網(wǎng)）的范疇，雖然大多數爬蟲(chóng)都不直接支持。但是也可以通過(guò)一些方式來(lái)完成。比如WebCollector使用廣度遍歷來(lái)遍歷網(wǎng)站。爬蟲(chóng)的第一輪爬取就是爬取種子集合(seeds)中的所有url。簡(jiǎn)單來(lái)說(shuō)，就是將生成的ajax懇求作為種子，放入爬蟲(chóng)。用爬蟲(chóng)對那些種子，進(jìn)行深度為1的廣度遍歷（默認就是廣度遍歷）。
2）爬蟲(chóng)支持多線(xiàn)程么、爬蟲(chóng)能用代理么、爬蟲(chóng)會(huì )爬取重復數據么、爬蟲(chóng)能爬取JS生成的信息么？
能不能爬js生成的信息和爬蟲(chóng)本身沒(méi)有很大關(guān)系。爬蟲(chóng)主要是負責遍歷網(wǎng)站和下載頁(yè)面。爬js生成的信息和網(wǎng)頁(yè)信息抽取模塊有關(guān)，往往須要通過(guò)模擬瀏覽器(htmlunit,selenium)來(lái)完成。這些模擬瀏覽器，往往須要花費好多的時(shí)間來(lái)處理一個(gè)頁(yè)面。所以一種策略就是，使用這種爬蟲(chóng)來(lái)遍歷網(wǎng)站，遇到須要解析的頁(yè)面，就將網(wǎng)頁(yè)的相關(guān)信息遞交給模擬瀏覽器，來(lái)完成JS生成信息的抽取。
3）爬蟲(chóng)如何保存網(wǎng)頁(yè)的信息？
有一些爬蟲(chóng)，自帶一個(gè)模塊負責持久化。比如webmagic，有一個(gè)模塊叫pipeline。通過(guò)簡(jiǎn)單地配置，可以將爬蟲(chóng)抽取到的信息，持久化到文件、數據庫等。還有一些爬蟲(chóng)，并沒(méi)有直接給用戶(hù)提供數據持久化的模塊。比如crawler4j和webcollector。讓用戶(hù)自己在網(wǎng)頁(yè)處理模塊中添加遞交數據庫的操作。至于使用pipeline這些模塊好不好，就和操作數據庫使用ORM好不好這個(gè)問(wèn)題類(lèi)似，取決于你的業(yè)務(wù)。
4）爬蟲(chóng)如何爬取要登錄的網(wǎng)站？
這些開(kāi)源爬蟲(chóng)都支持在爬取時(shí)指定cookies，模擬登錄主要是靠cookies。至于cookies如何獲取，不是爬蟲(chóng)管的事情。你可以自動(dòng)獲取、用http請求模擬登錄或則用模擬瀏覽器手動(dòng)登入獲取cookie。
5）爬蟲(chóng)如何抽取網(wǎng)頁(yè)的信息？
開(kāi)源爬蟲(chóng)通常還會(huì )集成網(wǎng)頁(yè)抽取工具。主要支持兩種規范：CSS SELECTOR和XPATH。至于那個(gè)好，這里不評價(jià)。
6）明明代碼寫(xiě)對了，爬不到數據爬蟲(chóng)框架，是不是爬蟲(chóng)有問(wèn)題，換個(gè)爬蟲(chóng)能解決么？
如果代碼寫(xiě)對了，又爬不到數據，換其他爬蟲(chóng)也是一樣爬不到。遇到這些情況，要么是網(wǎng)站把你封了，要么是你爬的數據是javascript生成的。爬不到數據通過(guò)換爬蟲(chóng)是不能解決的。
7）哪個(gè)爬蟲(chóng)的設計模式和架構比較好？
設計模式對軟件開(kāi)發(fā)沒(méi)有指導性作用。用設計模式來(lái)設計爬蟲(chóng)，只會(huì )促使爬蟲(chóng)的設計愈發(fā)臃腫。
至于架構，開(kāi)源爬蟲(chóng)目前主要是細節的數據結構的設計，比如爬取線(xiàn)程池、任務(wù)隊列，這些你們都能控制好。
8）哪個(gè)爬蟲(chóng)可以判定網(wǎng)站是否爬完、那個(gè)爬蟲(chóng)可以依照主題進(jìn)行爬??？
爬蟲(chóng)難以判定網(wǎng)站是否爬完，只能盡可能覆蓋。
至于依照主題爬取，爬蟲(chóng)然后把內容爬出來(lái)才曉得是哪些主題。所以通常都是整個(gè)爬出來(lái)，然后再去篩選內容。如果嫌爬的很泛，可以通過(guò)限制URL正則等方法，來(lái)縮小一下范圍。
9）爬蟲(chóng)速率怎么樣？
單機開(kāi)源爬蟲(chóng)的速率，基本都可以講本機的網(wǎng)速用到極限。爬蟲(chóng)的速率慢，往往是由于用戶(hù)把線(xiàn)程數開(kāi)少了、網(wǎng)速慢，或者在數據持久化時(shí)，和數據庫的交互速率慢。而這種東西，往往都是用戶(hù)的機器和二次開(kāi)發(fā)的代碼決定的。
10）網(wǎng)頁(yè)可以調用爬蟲(chóng)么？
爬蟲(chóng)的調用是在Web的服務(wù)端調用的，平時(shí)如何用就如何用，這些爬蟲(chóng)都可以使用。
11）爬蟲(chóng)被網(wǎng)站封了如何辦？
爬蟲(chóng)被網(wǎng)站封了，一般用多代理（隨機代理）就可以解決。但是這種開(kāi)源爬蟲(chóng)通常沒(méi)有直接支持隨機代理ip的切換。
紅葉文章采集器3.6綠色版
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 455 次瀏覽 ? 2020-04-18 09:52
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章文章采集，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題文章采集軟件下載，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路文章采集軟件下載，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。 查看全部
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章文章采集，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題文章采集軟件下載，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路文章采集軟件下載，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。
開(kāi)源JAVA單機爬蟲(chóng)框架簡(jiǎn)介,優(yōu)缺點(diǎn)剖析
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 305 次瀏覽 ? 2020-06-06 08:01
互聯(lián)網(wǎng)營(yíng)銷(xiāo)時(shí)代，獲取海量數據成為營(yíng)銷(xiāo)推廣的關(guān)鍵。而獲得數據的最佳方法就是借助爬蟲(chóng)去抓取。但是爬蟲(chóng)的使用少不了代理ip太陽(yáng)HTTP的支撐。當然網(wǎng)路上現今有很多開(kāi)源爬蟲(chóng)，大大便捷了你們使用。但是開(kāi)源網(wǎng)路爬蟲(chóng)也是有優(yōu)點(diǎn)也有缺點(diǎn)，清晰認知這一點(diǎn)能夠達成自己的目標。
對于爬蟲(chóng)的功能來(lái)說(shuō)。用戶(hù)比較關(guān)心的問(wèn)題常常是：
1）爬蟲(chóng)可以爬取ajax信息么？
網(wǎng)頁(yè)上有一些異步加載的數據，爬取那些數據有兩種方式：使用模擬瀏覽器（問(wèn)題1中描述過(guò)了），或者剖析ajax的http請求，自己生成ajax懇求的url，獲取返回的數據。如果是自己生成ajax懇求，使用開(kāi)源爬蟲(chóng)的意義在那里？其實(shí)是要用開(kāi)源爬蟲(chóng)的線(xiàn)程池和URL管理功能（比如斷點(diǎn)爬?。?。
如果我早已可以生成我所須要的ajax懇求（列表），如何用這種爬蟲(chóng)來(lái)對那些懇求進(jìn)行爬??？
爬蟲(chóng)常常都是設計成廣度遍歷或則深度遍歷的模式爬蟲(chóng)框架，去遍歷靜態(tài)或則動(dòng)態(tài)頁(yè)面。爬取ajax信息屬于deep web（深網(wǎng)）的范疇，雖然大多數爬蟲(chóng)都不直接支持。但是也可以通過(guò)一些方式來(lái)完成。比如WebCollector使用廣度遍歷來(lái)遍歷網(wǎng)站。爬蟲(chóng)的第一輪爬取就是爬取種子集合(seeds)中的所有url。簡(jiǎn)單來(lái)說(shuō)，就是將生成的ajax懇求作為種子，放入爬蟲(chóng)。用爬蟲(chóng)對那些種子，進(jìn)行深度為1的廣度遍歷（默認就是廣度遍歷）。
2）爬蟲(chóng)支持多線(xiàn)程么、爬蟲(chóng)能用代理么、爬蟲(chóng)會(huì )爬取重復數據么、爬蟲(chóng)能爬取JS生成的信息么？
能不能爬js生成的信息和爬蟲(chóng)本身沒(méi)有很大關(guān)系。爬蟲(chóng)主要是負責遍歷網(wǎng)站和下載頁(yè)面。爬js生成的信息和網(wǎng)頁(yè)信息抽取模塊有關(guān)，往往須要通過(guò)模擬瀏覽器(htmlunit,selenium)來(lái)完成。這些模擬瀏覽器，往往須要花費好多的時(shí)間來(lái)處理一個(gè)頁(yè)面。所以一種策略就是，使用這種爬蟲(chóng)來(lái)遍歷網(wǎng)站，遇到須要解析的頁(yè)面，就將網(wǎng)頁(yè)的相關(guān)信息遞交給模擬瀏覽器，來(lái)完成JS生成信息的抽取。
3）爬蟲(chóng)如何保存網(wǎng)頁(yè)的信息？
有一些爬蟲(chóng)，自帶一個(gè)模塊負責持久化。比如webmagic，有一個(gè)模塊叫pipeline。通過(guò)簡(jiǎn)單地配置，可以將爬蟲(chóng)抽取到的信息，持久化到文件、數據庫等。還有一些爬蟲(chóng)，并沒(méi)有直接給用戶(hù)提供數據持久化的模塊。比如crawler4j和webcollector。讓用戶(hù)自己在網(wǎng)頁(yè)處理模塊中添加遞交數據庫的操作。至于使用pipeline這些模塊好不好，就和操作數據庫使用ORM好不好這個(gè)問(wèn)題類(lèi)似，取決于你的業(yè)務(wù)。
4）爬蟲(chóng)如何爬取要登錄的網(wǎng)站？
這些開(kāi)源爬蟲(chóng)都支持在爬取時(shí)指定cookies，模擬登錄主要是靠cookies。至于cookies如何獲取，不是爬蟲(chóng)管的事情。你可以自動(dòng)獲取、用http請求模擬登錄或則用模擬瀏覽器手動(dòng)登入獲取cookie。
5）爬蟲(chóng)如何抽取網(wǎng)頁(yè)的信息？
開(kāi)源爬蟲(chóng)通常還會(huì )集成網(wǎng)頁(yè)抽取工具。主要支持兩種規范：CSS SELECTOR和XPATH。至于那個(gè)好，這里不評價(jià)。
6）明明代碼寫(xiě)對了，爬不到數據爬蟲(chóng)框架，是不是爬蟲(chóng)有問(wèn)題，換個(gè)爬蟲(chóng)能解決么？
如果代碼寫(xiě)對了，又爬不到數據，換其他爬蟲(chóng)也是一樣爬不到。遇到這些情況，要么是網(wǎng)站把你封了，要么是你爬的數據是javascript生成的。爬不到數據通過(guò)換爬蟲(chóng)是不能解決的。
7）哪個(gè)爬蟲(chóng)的設計模式和架構比較好？
設計模式對軟件開(kāi)發(fā)沒(méi)有指導性作用。用設計模式來(lái)設計爬蟲(chóng)，只會(huì )促使爬蟲(chóng)的設計愈發(fā)臃腫。
至于架構，開(kāi)源爬蟲(chóng)目前主要是細節的數據結構的設計，比如爬取線(xiàn)程池、任務(wù)隊列，這些你們都能控制好。
8）哪個(gè)爬蟲(chóng)可以判定網(wǎng)站是否爬完、那個(gè)爬蟲(chóng)可以依照主題進(jìn)行爬??？
爬蟲(chóng)難以判定網(wǎng)站是否爬完，只能盡可能覆蓋。
至于依照主題爬取，爬蟲(chóng)然后把內容爬出來(lái)才曉得是哪些主題。所以通常都是整個(gè)爬出來(lái)，然后再去篩選內容。如果嫌爬的很泛，可以通過(guò)限制URL正則等方法，來(lái)縮小一下范圍。
9）爬蟲(chóng)速率怎么樣？
單機開(kāi)源爬蟲(chóng)的速率，基本都可以講本機的網(wǎng)速用到極限。爬蟲(chóng)的速率慢，往往是由于用戶(hù)把線(xiàn)程數開(kāi)少了、網(wǎng)速慢，或者在數據持久化時(shí)，和數據庫的交互速率慢。而這種東西，往往都是用戶(hù)的機器和二次開(kāi)發(fā)的代碼決定的。
10）網(wǎng)頁(yè)可以調用爬蟲(chóng)么？
爬蟲(chóng)的調用是在Web的服務(wù)端調用的，平時(shí)如何用就如何用，這些爬蟲(chóng)都可以使用。
11）爬蟲(chóng)被網(wǎng)站封了如何辦？
爬蟲(chóng)被網(wǎng)站封了，一般用多代理（隨機代理）就可以解決。但是這種開(kāi)源爬蟲(chóng)通常沒(méi)有直接支持隨機代理ip的切換。 查看全部
互聯(lián)網(wǎng)營(yíng)銷(xiāo)時(shí)代，獲取海量數據成為營(yíng)銷(xiāo)推廣的關(guān)鍵。而獲得數據的最佳方法就是借助爬蟲(chóng)去抓取。但是爬蟲(chóng)的使用少不了代理ip太陽(yáng)HTTP的支撐。當然網(wǎng)路上現今有很多開(kāi)源爬蟲(chóng)，大大便捷了你們使用。但是開(kāi)源網(wǎng)路爬蟲(chóng)也是有優(yōu)點(diǎn)也有缺點(diǎn)，清晰認知這一點(diǎn)能夠達成自己的目標。
對于爬蟲(chóng)的功能來(lái)說(shuō)。用戶(hù)比較關(guān)心的問(wèn)題常常是：
1）爬蟲(chóng)可以爬取ajax信息么？
網(wǎng)頁(yè)上有一些異步加載的數據，爬取那些數據有兩種方式：使用模擬瀏覽器（問(wèn)題1中描述過(guò)了），或者剖析ajax的http請求，自己生成ajax懇求的url，獲取返回的數據。如果是自己生成ajax懇求，使用開(kāi)源爬蟲(chóng)的意義在那里？其實(shí)是要用開(kāi)源爬蟲(chóng)的線(xiàn)程池和URL管理功能（比如斷點(diǎn)爬?。?。
如果我早已可以生成我所須要的ajax懇求（列表），如何用這種爬蟲(chóng)來(lái)對那些懇求進(jìn)行爬??？
爬蟲(chóng)常常都是設計成廣度遍歷或則深度遍歷的模式爬蟲(chóng)框架，去遍歷靜態(tài)或則動(dòng)態(tài)頁(yè)面。爬取ajax信息屬于deep web（深網(wǎng)）的范疇，雖然大多數爬蟲(chóng)都不直接支持。但是也可以通過(guò)一些方式來(lái)完成。比如WebCollector使用廣度遍歷來(lái)遍歷網(wǎng)站。爬蟲(chóng)的第一輪爬取就是爬取種子集合(seeds)中的所有url。簡(jiǎn)單來(lái)說(shuō)，就是將生成的ajax懇求作為種子，放入爬蟲(chóng)。用爬蟲(chóng)對那些種子，進(jìn)行深度為1的廣度遍歷（默認就是廣度遍歷）。
2）爬蟲(chóng)支持多線(xiàn)程么、爬蟲(chóng)能用代理么、爬蟲(chóng)會(huì )爬取重復數據么、爬蟲(chóng)能爬取JS生成的信息么？
能不能爬js生成的信息和爬蟲(chóng)本身沒(méi)有很大關(guān)系。爬蟲(chóng)主要是負責遍歷網(wǎng)站和下載頁(yè)面。爬js生成的信息和網(wǎng)頁(yè)信息抽取模塊有關(guān)，往往須要通過(guò)模擬瀏覽器(htmlunit,selenium)來(lái)完成。這些模擬瀏覽器，往往須要花費好多的時(shí)間來(lái)處理一個(gè)頁(yè)面。所以一種策略就是，使用這種爬蟲(chóng)來(lái)遍歷網(wǎng)站，遇到須要解析的頁(yè)面，就將網(wǎng)頁(yè)的相關(guān)信息遞交給模擬瀏覽器，來(lái)完成JS生成信息的抽取。
3）爬蟲(chóng)如何保存網(wǎng)頁(yè)的信息？
有一些爬蟲(chóng)，自帶一個(gè)模塊負責持久化。比如webmagic，有一個(gè)模塊叫pipeline。通過(guò)簡(jiǎn)單地配置，可以將爬蟲(chóng)抽取到的信息，持久化到文件、數據庫等。還有一些爬蟲(chóng)，并沒(méi)有直接給用戶(hù)提供數據持久化的模塊。比如crawler4j和webcollector。讓用戶(hù)自己在網(wǎng)頁(yè)處理模塊中添加遞交數據庫的操作。至于使用pipeline這些模塊好不好，就和操作數據庫使用ORM好不好這個(gè)問(wèn)題類(lèi)似，取決于你的業(yè)務(wù)。
4）爬蟲(chóng)如何爬取要登錄的網(wǎng)站？
這些開(kāi)源爬蟲(chóng)都支持在爬取時(shí)指定cookies，模擬登錄主要是靠cookies。至于cookies如何獲取，不是爬蟲(chóng)管的事情。你可以自動(dòng)獲取、用http請求模擬登錄或則用模擬瀏覽器手動(dòng)登入獲取cookie。
5）爬蟲(chóng)如何抽取網(wǎng)頁(yè)的信息？
開(kāi)源爬蟲(chóng)通常還會(huì )集成網(wǎng)頁(yè)抽取工具。主要支持兩種規范：CSS SELECTOR和XPATH。至于那個(gè)好，這里不評價(jià)。
6）明明代碼寫(xiě)對了，爬不到數據爬蟲(chóng)框架，是不是爬蟲(chóng)有問(wèn)題，換個(gè)爬蟲(chóng)能解決么？
如果代碼寫(xiě)對了，又爬不到數據，換其他爬蟲(chóng)也是一樣爬不到。遇到這些情況，要么是網(wǎng)站把你封了，要么是你爬的數據是javascript生成的。爬不到數據通過(guò)換爬蟲(chóng)是不能解決的。
7）哪個(gè)爬蟲(chóng)的設計模式和架構比較好？
設計模式對軟件開(kāi)發(fā)沒(méi)有指導性作用。用設計模式來(lái)設計爬蟲(chóng)，只會(huì )促使爬蟲(chóng)的設計愈發(fā)臃腫。
至于架構，開(kāi)源爬蟲(chóng)目前主要是細節的數據結構的設計，比如爬取線(xiàn)程池、任務(wù)隊列，這些你們都能控制好。
8）哪個(gè)爬蟲(chóng)可以判定網(wǎng)站是否爬完、那個(gè)爬蟲(chóng)可以依照主題進(jìn)行爬??？
爬蟲(chóng)難以判定網(wǎng)站是否爬完，只能盡可能覆蓋。
至于依照主題爬取，爬蟲(chóng)然后把內容爬出來(lái)才曉得是哪些主題。所以通常都是整個(gè)爬出來(lái)，然后再去篩選內容。如果嫌爬的很泛，可以通過(guò)限制URL正則等方法，來(lái)縮小一下范圍。
9）爬蟲(chóng)速率怎么樣？
單機開(kāi)源爬蟲(chóng)的速率，基本都可以講本機的網(wǎng)速用到極限。爬蟲(chóng)的速率慢，往往是由于用戶(hù)把線(xiàn)程數開(kāi)少了、網(wǎng)速慢，或者在數據持久化時(shí)，和數據庫的交互速率慢。而這種東西，往往都是用戶(hù)的機器和二次開(kāi)發(fā)的代碼決定的。
10）網(wǎng)頁(yè)可以調用爬蟲(chóng)么？
爬蟲(chóng)的調用是在Web的服務(wù)端調用的，平時(shí)如何用就如何用，這些爬蟲(chóng)都可以使用。
11）爬蟲(chóng)被網(wǎng)站封了如何辦？
爬蟲(chóng)被網(wǎng)站封了，一般用多代理（隨機代理）就可以解決。但是這種開(kāi)源爬蟲(chóng)通常沒(méi)有直接支持隨機代理ip的切換。
紅葉文章采集器3.6綠色版
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 455 次瀏覽 ? 2020-04-18 09:52
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章文章采集，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題文章采集軟件下載，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路文章采集軟件下載，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。 查看全部
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。
超級強悍的網(wǎng)站文章采集器，本軟件全名為紅葉文章采集器，英文名稱(chēng)Fast_Spider，屬于蜘蛛爬蟲(chóng)類(lèi)程序，用于從指定網(wǎng)站采集海量精華文章文章采集，將直接扔掉其中的垃圾網(wǎng)頁(yè)信息，僅保存具備閱讀價(jià)值和瀏覽價(jià)值的精華文章，自動(dòng)執行HTM-TXT轉換。本軟件為紅色軟件解壓即可使用！
軟件特色
(1)本軟件采用清華天網(wǎng)MD5指紋排重算法，對于相像相同的網(wǎng)頁(yè)信息，不再重復保存。
(2)采集信息涵義：[[HT]]表示網(wǎng)頁(yè)標題，[[HA]]表示文章標題文章采集軟件下載，[[HC]]表示10個(gè)權重關(guān)鍵字，[[UR]]表示網(wǎng)頁(yè)中的圖片鏈接，[[TXT]]之后為正文。
(3)蜘蛛性能：本軟件開(kāi)啟300個(gè)線(xiàn)程來(lái)保證采集效率。通過(guò)采集100萬(wàn)精華文章來(lái)執行壓力測試，以普通網(wǎng)民的聯(lián)網(wǎng)計算機為參考標準，單臺計算機可以在一天內遍歷200萬(wàn)網(wǎng)頁(yè)、采集20萬(wàn)精華文章，100萬(wàn)精華文章僅需5天就可采集完畢。
(4) 正式版與免費版的區別在于：正式版準許將采集的精華文章數據手動(dòng)保存為ACCESS數據庫。購買(mǎi)正式版請聯(lián)系QQ(970093569)。
操作方法
(1)使用前，必須確保你的計算機可以連通網(wǎng)路文章采集軟件下載，且防火墻不要攔截本軟件。
(2)運行SETUP.EXE和setup2.exe，以安裝操作系統system32支持庫。
(3)運行spider.exe，輸入網(wǎng)址入口，先點(diǎn)"人工添加"按鈕，再點(diǎn)"啟動(dòng)"按鈕，將開(kāi)始執行采集。
注意事項
(1)抓取深度：填寫(xiě)0表示不限制抓取深度;填寫(xiě)3表示抓到第3層。
(2)通用蜘蛛模式與分類(lèi)蜘蛛模式的區別：假定網(wǎng)址入口為“;，若選擇通用蜘蛛模式，將遍歷“baidu.com”里面的每一個(gè)網(wǎng)頁(yè);若選擇分類(lèi)蜘蛛模式，則只遍歷“youxi.baidu.com”里面的每一個(gè)網(wǎng)頁(yè)。
(3) 按鈕“從MDB導出”：網(wǎng)址入口從TASK.MDB中批量導出。
(4)本軟件采集的原則是不越站，例如給的入口是“;，就只在百度站點(diǎn)內部抓取。
(5)本軟件采集過(guò)程中，偶爾會(huì )彈出一個(gè)或數個(gè)“錯誤對話(huà)框”，請不予理會(huì )，倘若關(guān)掉“錯誤對話(huà)框”，采集軟件都會(huì )死掉。
(6)使用者怎么選擇采集題材：例如你若果采集 “股票類(lèi)”文章，只需把這些“股票類(lèi)”站點(diǎn)作為網(wǎng)址入口即可。
