匯總:自動(dòng)采集生成內容系統-無(wú)需任何打理，輕松操作

　　關(guān)鍵詞自動(dòng)采集生成內容系統-無(wú)需任何打理，輕松操作定向抓取目標文章自動(dòng)采集+定向過(guò)濾系統內容分析自動(dòng)發(fā)現并自動(dòng)標記與排序目標頁(yè)面的相關(guān)頁(yè)面自動(dòng)發(fā)現目標頁(yè)面的相關(guān)頁(yè)面結語(yǔ)采集包括爬蟲(chóng)采集、網(wǎng)頁(yè)自動(dòng)采集。而定向過(guò)濾系統有：網(wǎng)頁(yè)定向過(guò)濾系統、網(wǎng)頁(yè)質(zhì)量控制系統、網(wǎng)頁(yè)源碼審查系統。

　　前端利用css/sass、框架后端用java、nodejs。

　　我最近研究出一種代碼*敏*感*詞*/

　　springboot+springmvc，用spring直接把接口暴露出來(lái)，定時(shí)注冊和發(fā)送請求，所有請求都放到spring的action模塊里，只要能*敏*感*詞*就能控制，各組件之間用簡(jiǎn)單的數據交互機制相互通信。

　　網(wǎng)絡(luò )爬蟲(chóng)：redis+mongodb+nginx，然后直接將爬取的數據存儲進(jìn)redis中，然后再用postgres+rabbitmq+hibernate進(jìn)行數據的存儲，xml進(jìn)行數據的解析處理，把網(wǎng)頁(yè)重定向到django模板引擎，完成數據的發(fā)送，django處理完數據之后把處理后的返回給爬蟲(chóng)，spring把抓取的信息交給redis。

　　http請求：web請求會(huì )從http2.0支持，然后就是json，get等，然后可以進(jìn)行xml等或者csv文件的解析，然后進(jìn)行簡(jiǎn)單的數據存儲和處理。項目庫，這里我準備做個(gè)lbs的爬蟲(chóng)，希望能建立一個(gè)小的項目庫，然后相關(guān)的組件和接口都放在這個(gè)項目庫里。另外個(gè)人相關(guān)會(huì )準備個(gè)整合層，整合其他人的東西，提供一個(gè)接口轉發(fā)或者地址轉發(fā)的功能，感覺(jué)會(huì )很有意思！。