【教程】使用優(yōu)采云采集器軟件爬取網(wǎng)頁(yè)數據

　　地圖可視化離不開(kāi)數據的支撐，很多人苦于無(wú)法獲取數據或者不知道怎么獲取數據，可能很多人聽(tīng)說(shuō)過(guò)“爬蟲(chóng)”，也聽(tīng)說(shuō)過(guò)通過(guò)Python來(lái)“寫(xiě)爬蟲(chóng)”，畢竟這是獲取網(wǎng)頁(yè)數據的主要手段之一。但是對于很多不熟悉Python語(yǔ)言的人來(lái)說(shuō)，“寫(xiě)爬蟲(chóng)”的技術(shù)難度高，學(xué)習過(guò)程耗時(shí)。今天，我們將介紹一個(gè)數據采集軟件——優(yōu)采云采集器，并提供一個(gè)簡(jiǎn)要使用教程，使您無(wú)需編寫(xiě)代碼就可以爬取網(wǎng)頁(yè)數據。

　　在開(kāi)始收集數據前，我們需進(jìn)去優(yōu)采云采集器官網(wǎng)，下載軟件并安裝。網(wǎng)址：，可點(diǎn)擊左下“閱讀原文”可直接訪(fǎng)問(wèn)。

　　爬取網(wǎng)頁(yè)數據的步驟：

　　1.打開(kāi)優(yōu)采云采集器。

　　2.新建分組：菜單欄“開(kāi)始”，點(diǎn)擊新建分組，輸入采集網(wǎng)站名稱(chēng)為分組名稱(chēng)，（通常在“采網(wǎng)址”和“采內容”選項下打勾）。

　　3.新建任務(wù)：選擇新建的分組，點(diǎn)擊“新建任務(wù)”或者鼠標右鍵選擇“新建任務(wù)”，進(jìn)入到新建頁(yè)面。任務(wù)規則名為采集的對象名。新建任務(wù)界面中，包含四個(gè)步驟：網(wǎng)址采集規則、內容采集規則、內容發(fā)布規則和其他設置。

　　4．添加網(wǎng)址

　　第一步：網(wǎng)址采集規則

　　查看需爬取網(wǎng)址的特點(diǎn)，選擇起始網(wǎng)址的添加方式（普通網(wǎng)址、批量網(wǎng)址、文本導入和數據庫導入）。點(diǎn)擊起始網(wǎng)址任務(wù)條中的“向導編輯”，在網(wǎng)址格式中添加地址，確定即可。本例選取北京市安居客小區網(wǎng)址為例，經(jīng)觀(guān)察測試可知，網(wǎng)頁(yè)的網(wǎng)址出現規律，選擇批量網(wǎng)址。

　　回到“網(wǎng)址采集規則”頁(yè)面，設置起始網(wǎng)址就是內容頁(yè)網(wǎng)址，并給“任務(wù)規則名”命名。網(wǎng)頁(yè)。

　　第二步：內容采集規則

　　打開(kāi)北京安居客網(wǎng)址，F12或（Fn+F12），點(diǎn)擊鼠標選取方式。通過(guò)鼠標依次點(diǎn)小區名稱(chēng)、小區地址以及當月價(jià)格等網(wǎng)頁(yè)中所需要的信息對應的位置，獲取相關(guān)代碼，鼠標右鍵，復制選擇。

　　根據這些HTML內容和自己需要的內容，在標簽列表中，點(diǎn)擊操作任務(wù)欄中的“添加”來(lái)增加新的標簽，或者點(diǎn)擊已有的標簽，進(jìn)行修改。在標簽編輯欄中，標簽提取方式有前后截取、正則提取、正文提取等方式。數據處理對話(huà)框中，文件下載中的數據支持圖片、flash等文件。

　　*號為所需要采集的參數。

　　輸入網(wǎng)頁(yè)網(wǎng)址，測試結果。

　　測試結果無(wú)誤后，選擇數據保存。注意：保存文件時(shí)，模板設置一定要與收集的數據字段一致。

　　運行。

　　結果查看。

　　優(yōu)采云采集器不僅僅可以采集網(wǎng)頁(yè)數據，還可以基于A(yíng)PI進(jìn)行數據采集。大家不妨操作試試，定會(huì )有不一樣的收獲（楊慧測試、撰寫(xiě)）。