淺析通用爬蟲(chóng)軟件—— 集搜客與優(yōu)采云采集器

　　大 數 據 人

　　報道DT時(shí)代應用資訊及動(dòng)態(tài)，爆料剖析行業(yè)熱點(diǎn)新聞

　　最近想用爬蟲(chóng)軟件來(lái)采集網(wǎng)頁(yè)上的一些數據，根據百度的推薦以及相關(guān)關(guān)鍵詞查詢(xún)，找到了兩款軟件：“集搜客”和“優(yōu)采云”，兩款軟件都有可視化界面，對于編程思維比較薄弱的用戶(hù)來(lái)說(shuō)，這兩款軟件上手容易，操作簡(jiǎn)單易懂。今天就帶大家來(lái)了解對比一下這兩款通用的網(wǎng)絡(luò )爬蟲(chóng)軟件。

　　1.軟件安裝

　　優(yōu)采云：優(yōu)采云安裝跟其他獨立軟件一樣，從官網(wǎng)下載，直接點(diǎn)擊setup.exe安裝。

　　集搜客：集搜客網(wǎng)站上下載的軟件也是一個(gè)自解壓exe程序，雙擊啟動(dòng)安裝，看到的是火狐瀏覽器安裝過(guò)程，原來(lái)集搜客軟件是作為火狐插件發(fā)布的。

　　2.軟件界面布局

　　優(yōu)采云：優(yōu)采云的界面布局可以歸為指引型界面，用戶(hù)進(jìn)入軟件界面可以看到軟件使用提示信息，如圖一所示，包括向導模式與高級模式，同時(shí)列出了學(xué)習資源，采集規則，數據下載等等。對于初次使用的用戶(hù)來(lái)說(shuō)，起到了很好的指引作用。

　　圖一：優(yōu)采云操作界面展示

　　集搜客：集搜客軟件分成兩個(gè)操作界面，MS謀數臺(圖2)和DS打數機(圖3)，謀數臺負責制定規則（網(wǎng)頁(yè)標注），打數機負責采集數據（網(wǎng)絡(luò )爬蟲(chóng)），一個(gè)謀、一個(gè)打，聽(tīng)起來(lái)還是比較符合其特征。集搜客啟動(dòng)后的界面沒(méi)有顯示使用幫助資源，而是位于“幫助”菜單中。

　　圖2：集搜客謀數臺界面

　　圖3：集搜客打數機界面

　　3.操作流程

　　優(yōu)采云：優(yōu)采云的操作流程主要分為4個(gè)步驟(如圖4所示)，分別為：

　　設置基本信息、設計工作流程、設置采集選項、完成。

　　圖4：優(yōu)采云操作流程

　　圖5：優(yōu)采云設計流程

　　集搜客：集搜客的操作沒(méi)有流程的概念，似乎定義采集規則可以不遵守既定操作順序，而是有一個(gè)要領(lǐng)“建立一個(gè)箱子，把你要的內容摘進(jìn)去”。所以我們稱(chēng)之為4“塊”操作(如圖6所示)：包括命名主題、創(chuàng )建整理箱、規劃爬蟲(chóng)路線(xiàn)和定義連續動(dòng)作。

　　圖6：集搜客的4塊功能

　　綜上所述，優(yōu)采云的工作流程特征十分明顯，用戶(hù)決定軟件怎樣動(dòng)作，什么時(shí)候動(dòng)作，動(dòng)作施加給哪里，從哪里采集內容等。而集搜客想讓用戶(hù)專(zhuān)注于摘什么數據，如果用戶(hù)在摘取以*敏*感*詞*那就定義爬蟲(chóng)路線(xiàn)，如果還想做些動(dòng)作那就定義連續動(dòng)作，整個(gè)流程細節用戶(hù)不用關(guān)心。

　　4.數據存儲方式

　　優(yōu)采云：優(yōu)采云分成單機運行和云采集，數據導出支持EXCEL、SQL、TXT等常用格式。

　　集搜客：集搜客沒(méi)有云采集，因為爬蟲(chóng)都在用戶(hù)自己電腦上跑，用戶(hù)想把爬蟲(chóng)放云上那是用戶(hù)自己的事。跑下來(lái)的數據以XML格式存儲，可見(jiàn)這是一種中間結果，集搜客官網(wǎng)提供了XML轉EXCEL的工具，也在會(huì )員中心提供了基于云存儲的數據導入和清洗功能，入庫后可以導出成EXCEL格式。

　　5.收費模式

　　優(yōu)采云：簡(jiǎn)單來(lái)說(shuō)是一種軟件銷(xiāo)售模式（不排除免費版），除此之外用戶(hù)下規則要積分，跑數據也要積分，而積分可以用錢(qián)購買(mǎi)或者參與社區活動(dòng)換積分。

　　集搜客：集搜客簡(jiǎn)單來(lái)說(shuō)是一種服務(wù)收費模式，軟件功能全部免費，如果需要一些爬蟲(chóng)管理和數據管理的服務(wù)，則根據服務(wù)類(lèi)型、數量和時(shí)間進(jìn)行收費。同樣，下載規則要積分，如果使用云存儲，根據存儲量和存儲時(shí)間收費。積分同樣也可以用錢(qián)購買(mǎi)，或者參與社區活動(dòng)賺積分。