內容采集(內容采集的話(huà)，我一般是去虎嗅，it公論)

　　內容采集的話(huà)，我一般是去虎嗅，it公論。網(wǎng)站收到文章后，我會(huì )根據時(shí)間順序，把用戶(hù)評論一并爬下來(lái)。然后處理一下數據，比如根據時(shí)間的不同，設置各個(gè)時(shí)間段的url地址，以及關(guān)鍵詞，文章內容也可以自定義一下，這樣可以多個(gè)角度的分析。

　　說(shuō)個(gè)日常在做的吧，數據不是我原創(chuàng )，很少整理。只是自己跑一遍可能用不了多少時(shí)間（不是特別大的量），跑一遍所有我有的數據的爬蟲(chóng)，可能幾千幾萬(wàn)條記錄，這樣的爬蟲(chóng)我會(huì )給對方，另外我以前的搜索數據抓取我會(huì )給我的spider去用，我會(huì )自己再找別人要數據另外我也整理過(guò)其他的搜索數據，其實(shí)這里面有很多整理方式和搜索策略，不是一篇答案就能講完的，爬蟲(chóng)數據整理起來(lái)要看收集對象是誰(shuí)，有什么特性（行業(yè)，網(wǎng)站，地域），人工編寫(xiě)可能是不夠的，推薦使用機器學(xué)習技術(shù)；不過(guò)也有局限性，比如爬蟲(chóng)你要知道爬蟲(chóng)技術(shù)里面各種機器學(xué)習技術(shù)，我手寫(xiě)好的爬蟲(chóng)要作弊手段很多，很難保證程序不犯錯誤，于是爬蟲(chóng)整理，爬蟲(chóng)時(shí)間搜索等我會(huì )找別人定制好的。

　　手爬蟲(chóng)目前用爬蟲(chóng)的spider比較多，整理規律的，還是自己慢慢整理，采集到的數據有時(shí)候不像是我們想象的那么回事，翻翻的采集工具都一樣，但是它們要采集的東西是不一樣的，不是所有的東西都需要我們去做整理和規律整理的，可能你聽(tīng)這么說(shuō)覺(jué)得那我去找spider就好了，很遺憾，這是不可能的，首先就是你確定你想采集的東西是什么，然后讓它自己告訴你，就算你找到了你想要采集的數據，那么這個(gè)數據你可能要去做一個(gè)組合，比如下面我采集其中一個(gè)指標，然后然后去發(fā)帖數也好，轉發(fā)數也好，點(diǎn)贊數也好，首頁(yè)的點(diǎn)擊數也好，商品數也好，想讓它以什么形式展示出來(lái)，它才會(huì )是一個(gè)你想要的東西，而你的內容要說(shuō)明白了，組合得不錯，那才是一個(gè)可用的，量比較多的內容你是這么整理的嗎？或者不是一個(gè)搜索框就能找到你想要的東西的。