解決方案:自動(dòng)采集系統，可以生成爬蟲(chóng)代碼，并且不斷優(yōu)化更新

　　自動(dòng)采集系統，可以生成爬蟲(chóng)代碼，并且不斷優(yōu)化更新。

　　1、要購買(mǎi)一個(gè)mac的操作系統，服務(wù)端java是自己的，本質(zhì)是要編譯整個(gè)java程序。

　　2、爬蟲(chóng)一定要有一個(gè)快捷鍵設置方式，這個(gè)看你自己對爬蟲(chóng)的個(gè)人習慣。

　　3、爬蟲(chóng)的后臺程序要完善，例如要有權限管理，數據備份與恢復功能。

　　4、要有一個(gè)云存儲方式存儲數據，你的系統和倉庫是分離的，要不然生成的程序也許做不到強大。

　　5、定期對你的程序進(jìn)行壓力測試，保證采集的過(guò)程不出差錯。推薦用guessio去用。

　　scrapy+sina+bittiger爬蟲(chóng)套餐，你值得擁有。至于爬蟲(chóng)的優(yōu)缺點(diǎn)，你可以參考我關(guān)于這個(gè)問(wèn)題的回答：如何從400+sina以及其他爬蟲(chóng)中，

　　自薦一下自己的開(kāi)源爬蟲(chóng)：selenium有免費版

　　公眾號爬蟲(chóng)，crawl007，提供scrapy框架。

　　python畢竟好學(xué)，新手好上手，自動(dòng)采集網(wǎng)站不好玩。

　　multijs-自動(dòng)采集數據

　　自動(dòng)采集網(wǎng)站很簡(jiǎn)單，開(kāi)源爬蟲(chóng)也很多，缺點(diǎn)就是前端要設計出一套比較優(yōu)雅的，但是適合剛剛接觸爬蟲(chóng)的同學(xué)。另外對象數據庫解析。

　　可以看看我開(kāi)源的scrapy爬蟲(chóng)

　　除了http外，還可以用ror。除此之外，采集函數會(huì )比scrapy慢，個(gè)人覺(jué)得應該是scrapy先找數據規律再遍歷，有些處理復雜的操作得用linux更快點(diǎn)。