亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法是網(wǎng)頁(yè)本身的技術(shù)指標
　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法是服務(wù)器的技術(shù)指標，不是網(wǎng)頁(yè)本身的自動(dòng)識別。識別率=識別時(shí)間/網(wǎng)頁(yè)總時(shí)間=ftp傳輸時(shí)間，
　　多年從事手機網(wǎng)頁(yè)抓取，有一點(diǎn)個(gè)人看法:理論上是不需要人工識別的，但是當你有大量需要抓取的網(wǎng)頁(yè)時(shí)，就需要自動(dòng)識別器提供報告和自動(dòng)判斷，以提高抓取效率，而識別速度一般關(guān)乎到網(wǎng)頁(yè)的速度和質(zhì)量，所以一般我會(huì )抓取比較多的網(wǎng)頁(yè)，留取精品，不抓取上不了線(xiàn)的網(wǎng)頁(yè)，防止你的訪(fǎng)問(wèn)服務(wù)器和本地緩存生成海量的垃圾頁(yè)面，以及一些重要的信息被誤抓取這個(gè)問(wèn)題。
　　樓上說(shuō)到web瀏覽器的自動(dòng)識別，我認為是不需要的，自動(dòng)識別是一個(gè)服務(wù)器端的技術(shù)要求，涉及到接口采集優(yōu)化和服務(wù)器端的程序設計，可操作性較強，如果某個(gè)業(yè)務(wù)涉及到xss，flash漏洞等，這個(gè)自動(dòng)識別器絕對不會(huì )適用，特別在網(wǎng)站訪(fǎng)問(wèn)量特別大，用戶(hù)行為，電商類(lèi)復雜多變，獲取數據（如用戶(hù)信息和評論）頻繁的情況下。
　　此外，要想可靠的識別某個(gè)頁(yè)面，必須要有一個(gè)強的服務(wù)器端鑒權系統和第三方服務(wù)器端鑒權保護系統，一般個(gè)人網(wǎng)站的客戶(hù)端都是第三方自行搭建的服務(wù)器端鑒權系統（比如阿里的app），這樣第三方鑒權都是根據站長(cháng)的瀏覽記錄來(lái)鑒權的，鑒權比較困難，安全性也比較差。 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　就想寫(xiě)個(gè)爬蟲(chóng)，我到底要學(xué)多少東西??？
　　作者|崔慶才
　　來(lái)源 |進(jìn)擊的Coder
　　當今大數據的時(shí)代，網(wǎng)絡(luò )爬蟲(chóng)已經(jīng)成為了獲取數據的一個(gè)重要手段。
　　但要學(xué)習好爬蟲(chóng)并沒(méi)有那么簡(jiǎn)單。首先知識點(diǎn)和方向實(shí)在是太多了，它關(guān)系到了計算機網(wǎng)絡(luò )、編程基礎、前端開(kāi)發(fā)、后端開(kāi)發(fā)、App 開(kāi)發(fā)與逆向、網(wǎng)絡(luò )安全、數據庫、運維、機器學(xué)習、數據分析等各個(gè)方向的內容，它像一張大網(wǎng)一樣把現在一些主流的技術(shù)棧都連接在了一起。正因為涵蓋的方向多，因此學(xué)習的東西也非常零散和雜亂，很多初學(xué)者搞不清楚究竟要學(xué)習哪些知識，學(xué)習過(guò)程中遇到反爬也不知道用什么方法來(lái)解決，本篇我們來(lái)做一些歸納和總結。
　　初學(xué)爬蟲(chóng)
　　一些最基本的網(wǎng)站，往往不帶任何反爬措施。比如某個(gè)博客站點(diǎn)，我們要爬全站的話(huà)就順著(zhù)列表頁(yè)爬到文章頁(yè)，再把文章的時(shí)間、作者、正文等信息爬下來(lái)就可以了。
　　那代碼怎么寫(xiě)呢？用 Python 的 requests 等庫就夠了，寫(xiě)一個(gè)基本的邏輯，順著(zhù)把一篇篇文章的源碼獲取下來(lái)，解析的話(huà)用 XPath、BeautifulSoup、PyQuery 或者正則表達式，或者粗暴的字符串匹配把想要的內容摳出來(lái)，再加個(gè)文本寫(xiě)入存下來(lái)就完事了。
　　代碼很簡(jiǎn)單，就幾個(gè)方法調用。邏輯很簡(jiǎn)單，幾個(gè)循環(huán)加存儲。最后就能看到一篇篇文章就被我們存到自己的電腦里面了。當然有的同學(xué)可能不太會(huì )寫(xiě)代碼或者都懶得寫(xiě)，那么利用基本的可視化爬取工具，如某爪魚(yú)、某裔采集器也能通過(guò)可視化點(diǎn)選的方式把數據爬下來(lái)。
　　如果存儲方面稍微擴展一下的話(huà)，可以對接上 MySQL、MongoDB、Elasticsearch、Kafka 等等來(lái)保存數據，實(shí)現持久化存儲。以后查詢(xún)或者操作會(huì )更方便。
　　反正，不管效率如何，一個(gè)完全沒(méi)有反爬的網(wǎng)站用最最基本的方式就搞定了。
　　到這里，你就說(shuō)你會(huì )爬蟲(chóng)了嗎？不，還差的遠呢。
　　Ajax、動(dòng)態(tài)渲染
　　隨著(zhù)互聯(lián)網(wǎng)的發(fā)展，前端技術(shù)也在不斷變化，數據的加載方式也不再是單純的服務(wù)端渲染了?，F在你可以看到很多網(wǎng)站的數據可能都是通過(guò)接口的形式傳輸的，或者即使不是接口那也是一些 JSON 的數據，然后經(jīng)過(guò) JavaScript 渲染得出來(lái)的。
　　這時(shí)候，你要再用 requests 來(lái)爬那就不頂用了，因為 requests 爬下來(lái)的源碼是服務(wù)端渲染得到的，瀏覽器看到頁(yè)面的和 requests 獲取的結果是不一樣的。真正的數據是經(jīng)過(guò) JavaScript 執行的出來(lái)的，數據來(lái)源可能是 Ajax，也可能是頁(yè)面里的某些 Data，也可能是一些 ifame 頁(yè)面等等，不過(guò)大多數情況下可能是 Ajax 接口獲取的。
　　所以很多情況下需要分析 Ajax，知道這些接口的調用方式之后再用程序來(lái)模擬。但是有些接口帶著(zhù)加密參數，比如 token、sign 等等，又不好模擬，咋整呢？
　　一種方法就是去分析網(wǎng)站的 JavaScript 邏輯，死摳里面的代碼，揪出來(lái)這些參數是怎么構造的，找出思路來(lái)了之后再用爬蟲(chóng)模擬或重寫(xiě)就行了。如果你解出來(lái)了，那么直接模擬的方式效率會(huì )高非常多，這里面就需要一些 JavaScript 基礎了，當然有些網(wǎng)站加密邏輯做的太牛逼了，你可能花一個(gè)星期也解不出來(lái)，最后放棄了。
　　那這樣解不出來(lái)或者不想解，那咋辦呢？這時(shí)候可以有一種簡(jiǎn)單粗暴的方法就是直接用模擬瀏覽器的方式來(lái)爬取，比如用 Puppeteer、Pyppeteer、Selenium、Splash 等，這樣爬取到的源代碼就是真正的網(wǎng)頁(yè)代碼，數據自然就好提取了，同時(shí)也就繞過(guò)分析 Ajax 和一些 JavaScript 邏輯的過(guò)程。這種方式就做到了可見(jiàn)即可爬，難度也不大，同時(shí)模擬了瀏覽器，也不太會(huì )有一些法律方面的問(wèn)題。
　　但其實(shí)后面的這種方法也會(huì )遇到各種反爬的情況，現在很多網(wǎng)站都會(huì )去識別 webdriver，看到你是用的 Selenium 等工具，直接干掉或不返回數據，所以你碰到這種網(wǎng)站還得來(lái)專(zhuān)門(mén)解一下這個(gè)問(wèn)題。
　　多進(jìn)程、多線(xiàn)程、協(xié)程
　　上面的情況如果用單線(xiàn)程的爬蟲(chóng)來(lái)模擬是比較簡(jiǎn)單的，但是有個(gè)問(wèn)題就是速度慢啊。
　　爬蟲(chóng)是 IO 密集型的任務(wù)，所以可能大多數情況下都在等待網(wǎng)絡(luò )的響應，如果網(wǎng)絡(luò )響應速度慢，那就得一直等著(zhù)。但這個(gè)空余的時(shí)間其實(shí)可以讓 CPU 去做更多事情。那怎么辦呢？多開(kāi)點(diǎn)線(xiàn)程吧。
　　所以這時(shí)候我們就可以在某些場(chǎng)景下加上多進(jìn)程、多線(xiàn)程，雖然說(shuō)多線(xiàn)程有 GIL 鎖，但對于爬蟲(chóng)來(lái)說(shuō)其實(shí)影響沒(méi)那么大，所以用上多進(jìn)程、多線(xiàn)程都可以成倍地提高爬取速度，對應的庫就有 threading、multiprocessing 了。
　　異步協(xié)程就更牛逼了，用 aiohttp、gevent、tornado 等等的基本上你想搞多少并發(fā)就搞多少并發(fā)，但是還是悠著(zhù)點(diǎn)，別把人家網(wǎng)站搞掛了。
　　總之，用上這幾個(gè)，爬蟲(chóng)速度就提上來(lái)了。
　　但速度提上來(lái)了不一定是好事，反爬接著(zhù)肯定就要來(lái)了，封你 IP、封你賬號、彈驗證碼、返回假數據，所以有時(shí)候龜速爬似乎也是個(gè)解決辦法？
　　分布式
　　多線(xiàn)程、多進(jìn)程、協(xié)程都能加速，但終究還是單機的爬蟲(chóng)。要真正做到規?；?，還得來(lái)靠分布式爬蟲(chóng)來(lái)搞。
　　分布式的核心是什么？資源共享。比如爬取隊列共享、去重指紋共享等等。
　　我們可以使用一些基礎的隊列或組件來(lái)實(shí)現分布式，比如 RabbitMQ、Celery、Kafka、Redis 等等，但經(jīng)過(guò)很多人的嘗試，自己去實(shí)現一個(gè)分布式爬蟲(chóng)，性能和擴展性總會(huì )出現一些問(wèn)題，當然特別牛逼的除外哈。不少企業(yè)內部其實(shí)也有自己開(kāi)發(fā)的一套分布式爬蟲(chóng)，和業(yè)務(wù)更緊密，這種當然是最好了。
　　現在主流的 Python 分布式爬蟲(chóng)還是基于 Scrapy 的，對接 Scrapy-Redis、Scrapy-Redis-BloomFilter 或者用 Scrapy-Cluster 等等，他們都是基于 Redis 來(lái)共享爬取隊列的，總會(huì )多多少少遇到一些內存的問(wèn)題。所以一些人也考慮對接到了其他的消息隊列上面，比如 RabbitMQ、Kafka 等等，解決一些問(wèn)題，效率也不差。
　　總之，要提高爬取效率，分布式還是必須要掌握的。
　　驗證碼
　　爬蟲(chóng)難免遇到反爬，驗證碼就是其中之一。要會(huì )反爬，那首先就要會(huì )解驗證碼。
　　現在你可以看到很多網(wǎng)站都會(huì )有各種各樣的驗證碼了，比如最簡(jiǎn)單的圖形驗證碼，要是驗證碼的文字規整的話(huà)，OCR 過(guò)一遍或者基本的模型庫都能識別，不想搞這個(gè)的話(huà)可以直接去對接個(gè)打碼平臺來(lái)搞，準確率還是有的。
　　然而你可能現在都見(jiàn)不到什么圖形驗證碼了，都是一些行為驗證碼，如某驗、某盾等等，國外也有很多，比如 reCaptcha 等等。一些稍微簡(jiǎn)單一點(diǎn)的，比如滑動(dòng)的，你可以找點(diǎn)辦法識別缺口，比如圖像處理比對、深度學(xué)習識別都是可以的。軌跡呢自己寫(xiě)個(gè)模擬正常人行為的，加點(diǎn)抖動(dòng)之類(lèi)的。有了軌跡之后咋模擬呢，如果你牛逼，那么可以直接去分析驗證碼的 JavaScript 邏輯，把軌跡數據錄入，那就能得到里面的一些加密參數，直接拿著(zhù)這些參數放到表單或接口里面就能直接用了。當然也可以用模擬瀏覽器的方式來(lái)拖動(dòng)，也能通過(guò)一定的方式拿到加密參數，或者直接用模擬瀏覽器的方式把登錄一起做了，拿著(zhù) Cookies 來(lái)爬也行。
　　當然拖動(dòng)只是一種驗證碼，還有文字點(diǎn)選、邏輯推理等，要是真不想搞，可以找打碼平臺來(lái)解出來(lái)再模擬，但畢竟花錢(qián)的，一些高手就會(huì )選擇自己訓練深度學(xué)習相關(guān)的模型，收集數據、標注、訓練，針對不同的業(yè)務(wù)訓練不同的模型。這樣有了核心技術(shù)，也不用再去花錢(qián)找打碼平臺了，再研究下驗證碼的邏輯模擬一下，加密參數就能解出來(lái)了。不過(guò)有的驗證碼難得很，有的我也沒(méi)搞定。
　　當然有些驗證碼可能是請求過(guò)于頻繁而彈出來(lái)的，這種如果換個(gè) IP 什么的也能解。
　　封 IP
　　封 IP 也是個(gè)令人頭疼的事，行之有效的方法就是換代理了。
　　代理很多種，市面上免費的，收費的太多太多了。
　　首先可以把市面上免費的代理用起來(lái)，自己搭建一個(gè)代理池，收集現在全網(wǎng)所有的免費代理，然后加一個(gè)測試器一直不斷測試，測試的網(wǎng)址可以改成你要爬的網(wǎng)址。這樣測試通過(guò)的一般都能直接拿來(lái)爬你的目標網(wǎng)站。我自己也搭建過(guò)一個(gè)代理池，現在對接了一些免費代理，定時(shí)爬、定時(shí)測，還寫(xiě)了個(gè) API 來(lái)取，放在 GitHub 了：，打好了 Docker 鏡像，提供了 Kubernetes 腳本，大家可以直接拿來(lái)用。
　　付費代理也是一樣，很多商家提供了代理提取接口，請求一下就能獲取幾十幾百個(gè)代理，我們可以同樣把它們接入到代理池里面。但這個(gè)代理也分各種套餐，什么開(kāi)放代理、獨享代理等等的質(zhì)量和被封的幾率也是不一樣的。
　　有的商家還利用隧道技術(shù)搭了代理，這樣代理的地址和端口我們是不知道的，代理池是由他們來(lái)維護的，比如某布云，這樣用起來(lái)更省心一些，但是可控性就差一些。
　　還有更穩定的代理，比如撥號代理、蜂窩代理等等，接入成本會(huì )高一些，但是一定程度上也能解決一些封 IP 的問(wèn)題。
　　不過(guò)這些背后也不簡(jiǎn)單，為啥一個(gè)好好的高匿代理就是莫名其妙爬不了，背后的一些事就不多講了。
　　##封賬號
　　有些信息需要模擬登錄才能爬嘛，如果爬的過(guò)快，人家網(wǎng)站直接把你的賬號封禁了，就啥都沒(méi)得說(shuō)了。比如爬公眾號的，人家把你 WX 號封了，那就全完了。
　　一種解決方法當然就是放慢頻率，控制下節奏。
　　還有種方法就是看看別的終端，比如手機頁(yè)、App 頁(yè)、wap 頁(yè)，看看有沒(méi)有能繞過(guò)登錄的法子。
　　另外比較好的方法，那就是分流。如果你號足夠多，建一個(gè)池子，比如 Cookies 池、Token 池、Sign 池反正不管什么池吧，多個(gè)賬號跑出來(lái)的 Cookies、Token 都放到這個(gè)池子里面，用的時(shí)候隨機從里面拿一個(gè)。如果你想保證爬取效率不變，那么 100 個(gè)賬號相比 20 個(gè)賬號，對于每個(gè)賬號對應的 Cookies、Token 的取用頻率就變成原來(lái)的了 1/5，那么被封的概率也就隨之降低了。
　　奇葩的反爬
　　上面說(shuō)的是幾種比較主流的反爬，當然還有非常多奇葩的反爬。比如返回假數據、返回圖片化數據、返回亂序數據、返回罵人的數據、返回求饒的數據，那都具體情況看著(zhù)辦吧。
　　這些反爬也得小心點(diǎn)，之前見(jiàn)過(guò)一個(gè)反爬直接返回rm -rf /的也不是沒(méi)有，你要是正好有個(gè)腳本模擬執行返回結果，后果自己想象哈。
　　JavaScript 逆向
　　說(shuō)到重頭了。隨著(zhù)前端技術(shù)的進(jìn)步和網(wǎng)站反爬意識的增強，很多網(wǎng)站選擇在前端上下功夫，那就是在前端對一些邏輯或代碼進(jìn)行加密或混淆。當然這不僅僅是為了保護前端的代碼不被輕易盜取，更重要的是反爬。比如很多 Ajax 接口都會(huì )帶著(zhù)一些參數，比如 sign、token 等等，這些前文也講過(guò)了。這種數據我們可以用前文所說(shuō)的 Selenium 等方式來(lái)爬，但總歸來(lái)說(shuō)效率太低了，畢竟它模擬的是網(wǎng)頁(yè)渲染的整個(gè)過(guò)程，而真實(shí)的數據可能僅僅就藏在一個(gè)小接口里。
　　如果我們能夠把一些接口的參數真正找出其中的邏輯，用代碼來(lái)模擬執行，那效率就會(huì )有成倍的提升，而且還能在一定程度上規避上述的反爬現象。
　　但問(wèn)題是什么？難啊。
　　Webpack 是一方面，前端代碼都被壓縮和轉碼成一些 bundle 文件，一些變量的含義已經(jīng)丟失，不好還原。然后一些網(wǎng)站再加上一些 obfuscator 的機制，把前端代碼變成你完全看不懂的東西，比如字符串拆散打亂、變量十六進(jìn)制化、控制流扁平化、無(wú)限 debug、控制臺禁用等等，前端的代碼和邏輯已經(jīng)面目全非。有的用 WebAssembly 等技術(shù)把前端核心邏輯直接編譯，那就只能慢慢摳了，雖然說(shuō)有些有一定的技巧，但是總歸來(lái)說(shuō)還是會(huì )花費很多時(shí)間。但一旦解出來(lái)了，那就萬(wàn)事大吉了。怎么說(shuō)？就像奧賽題一樣，解出來(lái)升天，解不出來(lái) GG。
　　很多公司招聘爬蟲(chóng)工程師都會(huì )問(wèn)有沒(méi)有 JavaScript 逆向基礎，破解過(guò)哪些網(wǎng)站，比如某寶、某多、某條等等，解出來(lái)某個(gè)他們需要的可能就直接錄用你。每家網(wǎng)站的邏輯都不一樣，難度也不一樣。
　　App
　　當然爬蟲(chóng)不僅僅是網(wǎng)頁(yè)爬蟲(chóng)了，隨著(zhù)互聯(lián)網(wǎng)時(shí)代的發(fā)展，現在越來(lái)越多的公司都選擇將數據放到 App 上面，甚至有些公司只有 App 沒(méi)有網(wǎng)站。所以數據只能通過(guò) App 來(lái)爬。
　　咋爬呢？基本的就是抓包工具了，Charles、Fiddler 一把梭，抓到接口之后，直接拿來(lái)模擬就行了。
　　如果接口有加密參數怎么辦呢？一種方法你可以邊爬邊處理，比如 mitmproxy 直接監聽(tīng)接口數據。另一方面你可以走 Hook，比如上 Xposed 也可以拿到。
　　那爬的時(shí)候又怎么實(shí)現自動(dòng)化呢？總不能拿手來(lái)戳吧。其實(shí)工具也多，安卓原生的 adb 工具也行，Appium 現在已經(jīng)是比較主流的方案了，當然還有其他的某精靈都是可以實(shí)現的。
　　最后，有的時(shí)候可能真的就不想走自動(dòng)化的流程，我就想把里面的一些接口邏輯摳出來(lái)，那就得搞逆向了，IDA Pro、jdax、FRIDA 等工具就派上用場(chǎng)了，當然這個(gè)過(guò)程和 JavaScript 逆向一樣很痛苦，甚至可能得讀匯編指令。搞一個(gè)案例掉一把頭發(fā)也不是不可能的。
　　智能化
　　上面的這一通，都搞熟了，恭喜你已經(jīng)超過(guò)了百分之八九十的爬蟲(chóng)玩家了，當然專(zhuān)門(mén)搞 JavaScript 逆向、App 逆向的都是站在食物鏈頂端的男人，這種嚴格來(lái)說(shuō)已經(jīng)不算爬蟲(chóng)范疇了，這種神我們就不算在里面了，反正我不是。
　　除了上面的一些技能，在一些場(chǎng)合下，我們可能也需要結合一些機器學(xué)習的技術(shù)，讓我們的爬蟲(chóng)變得更智能起來(lái)。
　　比如現在很多博客、新聞文章，其頁(yè)面結構相似度比較高，要提取的信息也比較類(lèi)似。
　　比如如何區分一個(gè)頁(yè)面是索引頁(yè)還是詳情頁(yè)？如何提取詳情頁(yè)的文章鏈接？如何解析文章頁(yè)的頁(yè)面內容？這些其實(shí)都是可以通過(guò)一些算法來(lái)計算出來(lái)的。
　　所以，一些智能解析技術(shù)也應運而生，比如提取詳情頁(yè)，一位朋友寫(xiě)的 GeneralNewsExtractor 表現就非常好。
　　假如說(shuō)我來(lái)了一個(gè)需求，我要爬取一萬(wàn)個(gè)新聞網(wǎng)站數據，要一個(gè)個(gè)寫(xiě) XPath 嗎？寫(xiě)死我吧。如果有了智能化解析技術(shù)，在容忍一定錯誤的條件下，完成這個(gè)就是分分鐘的事情。
　　總之，如果我們能把這一塊也學(xué)會(huì )了，我們的爬蟲(chóng)技術(shù)就會(huì )如虎添翼。
　　運維
　　這塊也是一個(gè)重頭戲。爬蟲(chóng)和運維也是息息相關(guān)。
　　比如寫(xiě)完一個(gè)爬蟲(chóng)，怎樣去快速部署到 100 臺主機上跑起來(lái)。
　　比如怎么靈活地監控每個(gè)爬蟲(chóng)的運行狀態(tài)。
　　比如爬蟲(chóng)有處代碼改動(dòng)，如何去快速更新。
　　比如怎樣監控一些爬蟲(chóng)的占用內存、消耗的 CPU 狀況。
　　比如怎樣科學(xué)地控制爬蟲(chóng)的定時(shí)運行、
　　比如爬蟲(chóng)出現了問(wèn)題，怎樣能及時(shí)收到通知，怎樣設置科學(xué)的報警機制。
　　這里面，部署大家各有各的方法，比如用 Ansible 當然可以。如果用 Scrapy 的話(huà)有 Scrapyd，然后配合上一些管理工具也能完成一些監控和定時(shí)任務(wù)。不過(guò)我現在用的更多是還是 Docker + Kubernetes，再加上 DevOps 一套，比如 GitHub Actions、Azure Pipelines、Jenkins 等等，快速實(shí)現分發(fā)和部署。
　　定時(shí)任務(wù)大家有的用 crontab，有的用 apscheduler，有的用管理工具，有的用 Kubernetes，我的話(huà)用 Kubernetes 就多一些了，定時(shí)任務(wù)也是很好實(shí)現。
　　至于監控的話(huà)，也有很多，專(zhuān)門(mén)的一些爬蟲(chóng)管理工具自帶了一些監控和報警功能。一些云服務(wù)也帶了一些監控的功能。我用的是 Kubernetes + Prometheus + Grafana，什么 CPU、內存、運行狀態(tài)，一目了然，報警機制在 Grafana 里面配一下也很方便，支持 Webhook、郵件甚至某釘。
　　數據的存儲和監控，用 Kafka、Elasticsearch 個(gè)人感覺(jué)也挺方便的，我主要用的是后者，然后再和 Grafana 配合起來(lái)，數據爬取量、爬取速度等等監控也都一目了然。
　　結語(yǔ)
　　至此，爬蟲(chóng)的一些涵蓋的知識點(diǎn)也就差不多了，怎么樣，梳理一下，是不是計算機網(wǎng)絡(luò )、編程基礎、前端開(kāi)發(fā)、后端開(kāi)發(fā)、App 開(kāi)發(fā)與逆向、網(wǎng)絡(luò )安全、數據庫、運維、機器學(xué)習都涵蓋到了？上面總結的可以算是從爬蟲(chóng)小白到爬蟲(chóng)高手的路徑了，里面每個(gè)方向其實(shí)可研究的點(diǎn)非常多，每個(gè)點(diǎn)做精了，都會(huì )非常了不起。
　　爬蟲(chóng)往往學(xué)著(zhù)學(xué)著(zhù)，就成為了一名全棧工程師或者全干工程師，因為你可能真的啥都會(huì )了。但是沒(méi)辦法啊，都是被爬蟲(chóng)逼的啊，如果不是生活所困，誰(shuí)愿意一身才華呢？
　　然而有了才華之后呢？摸摸頭頂，臥槽，我的頭發(fā)呢？
　　嗯，大家都懂的。
　　最后最重要的，珍愛(ài)生命、珍愛(ài)每一根頭發(fā)。 查看全部

　　基于Nginx+Lua自建Web應用防火墻
　　
　　
　　讀完需 8 分鐘
　　速讀需 4 分鐘
　　
　　簡(jiǎn)介
　　對于信息類(lèi)網(wǎng)站，總是會(huì )被各種不同目的的爬蟲(chóng)、采集器等不斷的抓取或惡意訪(fǎng)問(wèn)，這些會(huì )讓網(wǎng)站不堪重負，導致頁(yè)面無(wú)法正常訪(fǎng)問(wèn)，極大的影響用戶(hù)體驗。針對此種情況，我們就需要對所有的訪(fǎng)問(wèn)來(lái)進(jìn)行訪(fǎng)問(wèn)控制。
　　此時(shí)Web應用防火墻（Web Application Firewall，簡(jiǎn)稱(chēng) WAF）就可以助我們一臂之力，它可以為網(wǎng)站提供一站式安全防護。WAF可以有效識別Web業(yè)務(wù)流量的惡意特征，在對流量進(jìn)行清洗和過(guò)濾后，將正常、安全的流量返回給服務(wù)器，避免網(wǎng)站服務(wù)器被惡意入侵導致服務(wù)器性能異常等問(wèn)題，保障網(wǎng)站的業(yè)務(wù)安全和數據安全。
　　Web應用防火墻主要功能如下：
　　從WAF的定義及功能看，它的位置應該處于流量入口處。如果選用商業(yè)產(chǎn)品，多和CDN配合使用；如果自行開(kāi)發(fā)，其位置應該在負載均衡Nginx上。結合lua可以進(jìn)行二次擴展，實(shí)現個(gè)性化訪(fǎng)問(wèn)控制需求。
　　分析
　　在使用Nginx+lua實(shí)現個(gè)性化需求前，我們首先需要了解我們的網(wǎng)站的流量組成：
　　1. 爬蟲(chóng)流量
　　百度、bing、谷歌、360、一搜、神馬、今日頭條、采集器等
　　2. 異常流量
　　單IP大流量訪(fǎng)問(wèn)、多IP大流量訪(fǎng)問(wèn)
　　3. 惡意攻擊
　　DDos、CC、SQL注入、暴力破解等
　　4. 正常流量
　　5. 三方渠道大流量訪(fǎng)問(wèn)
　　以上基本概括了我們網(wǎng)站的主要流量來(lái)源，這些流量我們可以從基礎防護和動(dòng)態(tài)防護兩個(gè)層面展開(kāi)。
　　基礎防護
　　Nginx 不僅在負載均衡層面發(fā)揮著(zhù)重要作用，其內置的一些基礎模塊，也可以在一定程度上做一些防護。
　　1
　　安全防護
　　對于站點(diǎn)流量，我們可以主動(dòng)分析客戶(hù)端請求的特征，如user_agent、url、query_string ；結合業(yè)務(wù)特點(diǎn)，可以對其制定一些規則來(lái)進(jìn)行主動(dòng)防范，在應對異常流量時(shí)起到一定的防護作用。
　　vim x.x.cn.conf# 在站點(diǎn)文件添加web安全限制,返回不同的狀態(tài)碼include conf.d/safe.conf;<br /># 安全規則文件vim safe.conf# 禁SQL注入 Block SQL injections set $block_sql_injections 0; if ($query_string ~ "union.*select.*(.*)") { set $block_sql_injections 1; } if ($request_uri ~* "select((/\*+/)|[+ ]+|(%20)+)") {set $block_sql_injections 1;}if ($request_uri ~* "union((/\*+/)|[+ ]+|(%20)+)") {set $block_sql_injections 1;}if ($request_uri ~* "order((/\*+/)|[+ ]+|(%20)+)by") {set $block_sql_injections 1;}#匹配"group/**/by", "group+by", "group by"if ($request_uri ~* "group((/\*+/)|[+ ]+|(%20)+)by") {set $block_sql_injections 1;}if ($block_sql_injections = 1) { return 444; } <br /># 禁掉文件注入 set $block_file_injections 0; if ($query_string ~ "[a-zA-Z0-9_]=http://") { set $block_file_injections 1; } if ($query_string ~ "[a-zA-Z0-9_]=(..//?)+") { set $block_file_injections 1; } if ($query_string ~ "[a-zA-Z0-9_]=/([a-z0-9_.]//?)+") { set $block_file_injections 1; } if ($block_file_injections = 1) { return 444; } <br /># 禁掉溢出攻擊 set $block_common_exploits 0; if ($query_string ~ "(|%3E)") { set $block_common_exploits 1; } if ($query_string ~ "GLOBALS(=|[|%[0-9A-Z]{0,2})") { set $block_common_exploits 1; } if ($query_string ~ "_REQUEST(=|[|%[0-9A-Z]{0,2})") { set $block_common_exploits 1; } if ($query_string ~ "proc/self/environ") { set $block_common_exploits 1; } if ($query_string ~ "mosConfig_[a-zA-Z_]{1,21}(=|%3D)") { set $block_common_exploits 1; } if ($query_string ~ "base64_(en|de)code(.*)") { set $block_common_exploits 1; } if ($block_common_exploits = 1) { return 444; } <br /># 禁spam字段 set $block_spam 0; if ($query_string ~ "b(ultram|unicauca|valium|viagra|vicodin|xanax|ypxaieo)b") { set $block_spam 1; } if ($query_string ~ "b(erections|hoodia|huronriveracres|impotence|levitra|libido)b") { set $block_spam 1; } if ($query_string ~ "b(ambien|bluespill|cialis|cocaine|ejaculation|erectile)b") { set $block_spam 1; } if ($query_string ~ "b(lipitor|phentermin|pro[sz]ac|sandyauer|tramadol|troyhamby)b") { set $block_spam 1; } if ($block_spam = 1) { return 444; } <br /># 禁掉user-agents set $block_user_agents 0; <br />#禁止agent為空#if ($http_user_agent ~ ^$) { #set $block_user_agents 1; #} <br /># Don’t disable wget if you need it to run cron jobs! if ($http_user_agent ~ "Wget") { set $block_user_agents 1; } <br /># Disable Akeeba Remote Control 2.5 and earlier if ($http_user_agent ~ "Indy Library") { set $block_user_agents 1; } <br /># Common bandwidth hoggers and hacking tools. if ($http_user_agent ~ "libwww-perl") { set $block_user_agents 1; } if ($http_user_agent ~ "GetRight") { set $block_user_agents 1; } if ($http_user_agent ~ "GetWeb!") { set $block_user_agents 1; } if ($http_user_agent ~ "Go!Zilla") { set $block_user_agents 1; } if ($http_user_agent ~ "Download Demon") { set $block_user_agents 1; } if ($http_user_agent ~ "Go-Ahead-Got-It") { set $block_user_agents 1; } if ($http_user_agent ~ "TurnitinBot") { set $block_user_agents 1; } if ($http_user_agent ~ "GrabNet") { set $block_user_agents 1; } <br />if ($block_user_agents = 1) { return 444; } <br />#spiderset $spider '2';if ( $http_user_agent ~ .+Baiduspider.+ ){ set $spider '0';}if ( $http_user_agent ~ .+Googlebot.+){ set $spider '0';}if ( $http_user_agent ~ .+bingbot.+){ set $spider '0';}if ( $http_user_agent ~ .+JikeSpider.+){ set $spider '0';}if ( $http_user_agent ~ .+YoudaoBot.+){ set $spider '0';}if ( $http_user_agent ~ .+Sosospider.+){ set $spider '0';}if ( $http_user_agent ~ Yahoo!.+){ set $spider '0';}if ( $http_user_agent ~ Sogou.+){ set $spider '0';}if ( $http_user_agent ~ .+msnbot.+){ set $spider '0';}if ( $http_user_agent ~ .+YandexBot.+){ set $spider '0';}if ( $http_user_agent ~ .+Spider.+){ set $spider '0';}<br />if ( $http_user_agent ~ YisouSpider){ set $spider '1';}#if ( $http_user_agent ~ LBBROWSER){# set $spider '1';#}if ($spider = '1') { return 445;}
　　通過(guò)分析客戶(hù)端的user_agent、url、query_string 初步分析是否具備統一特征，并根據其行為返回不同的狀態(tài)碼：
　　通過(guò)狀態(tài)碼，我們可以快速定位請求屬于哪類(lèi)安全范疇。
　　2
　　連接數、頻率限制
　　對于站點(diǎn)的訪(fǎng)問(wèn)連接數、訪(fǎng)問(wèn)頻率，我們可以使用以下兩個(gè)模塊來(lái)做一些策略。此時(shí)可以對異常流量、惡意攻擊起到一定的作用。
　　限制每個(gè)已定義的 key 的連接數量，特別是來(lái)自單個(gè) IP 地址的連接數量。
　　限制請求的處理速率，特別是單一的IP地址的請求的處理速率。它基于漏桶算法進(jìn)行限制。
　　#針對url1訪(fǎng)問(wèn)頻率每分100個(gè)limit_req_zone??$binary_remote_addr??zone=req_limit4:10m???rate=100r/m;<br />#針對url2訪(fǎng)問(wèn)頻率每秒5個(gè),burst?5個(gè)limit_req_zone??$binary_remote_addr??zone=req_limit3:10m???rate=5r/s;<br />#針對url3問(wèn)頻率每秒50個(gè),burst 10個(gè)limit_req_zone??$binary_remote_addr??zone=req_limit2:10m???rate=50r/s;<br />#針對url4訪(fǎng)問(wèn)頻率每分30個(gè),burst 10個(gè)limit_req_zone??$binary_remote_addr??zone=req_limit1:10m???rate=30r/m;<br />
　　對于頻率的閾值需要結合站點(diǎn)的實(shí)際訪(fǎng)問(wèn)流量、峰值來(lái)具體設置?；诼┩八惴?，可以對突發(fā)流量進(jìn)行整形，避免單一IP或多IP的大流量請求壓垮服務(wù)器。
　　3
　　map自定義變量
　　map 指令通過(guò)使用 nginx 的內置變量創(chuàng )建自定義變量, 由 ngx_http_map_module 模塊提供的，默認情況下安裝 nginx 都會(huì )安裝該模塊。通過(guò)自定義變量來(lái)匹配某些特定規則，進(jìn)行訪(fǎng)問(wèn)控制。
　　我們可以通過(guò)map來(lái)設置白名單，不在白名單的IP將返回403。
　　vim map.confmap $remote_addr $clientip { # 默認為false； default fase； # 精確匹配或正則匹配IP，則返回true 1.1.1.1 true; ~*12.12.3 true;}# 如果客戶(hù)端ip為false 則返回403if( $clientip = 'false'){ return 403;}
　　4
　　小結
　　基礎防護在針對一些有規律的特征流量時(shí)，基于nginx基礎模塊做的一些工作。但對于一些動(dòng)態(tài)流量的訪(fǎng)問(wèn)，這些規則就顯得有些死板，無(wú)法滿(mǎn)足需求。此時(shí)就行需要基于nginx+lua做一些個(gè)性化的需求。
　　動(dòng)態(tài)防護
　　1
　　策略分析
　　基于WAF，結合日常流量的統計分析，我們主要想實(shí)現以下幾方面：
　　1. 黑白名單
　　對于三方合作渠道的IP加入白名單，沒(méi)有規則策略；
　　通過(guò)分析日常流量，將異常行為的IP加到黑名單，前端直接返回403；
　　2. 最大訪(fǎng)問(wèn)量
　　對于不在白名單內的IP，每個(gè)IP的每天訪(fǎng)問(wèn)量在正常情況下應該是要有上限的，為避免IP過(guò)量訪(fǎng)問(wèn)我們需要應該進(jìn)行限制；
　　3. 人機驗證
　?。?）對于不在白名單內的IP，每個(gè)IP在一定周期內的訪(fǎng)問(wèn)量超限，此時(shí)需要跳轉至驗證碼頁(yè)進(jìn)行人機驗證；
　?。?）如果驗證碼頁(yè)驗證次數超限，則認定為暴力破解，將IP進(jìn)行封禁一段時(shí)間；
　?。?）暴力破解的IP封禁超時(shí)后，重新解禁，再次訪(fǎng)問(wèn)將重新認證；
　　4. 反查域名
　　對于冒充搜索引擎試圖跳過(guò)訪(fǎng)問(wèn)策略的請求，我們將進(jìn)行域名反查；確定是否為真正的爬蟲(chóng),若為搜索引擎則加入白名單。
　　2
　　實(shí)施規劃
　　1.openresty環(huán)境部署
　　組件
　　備注
　　openresty
　　nginx+lua
　　lua-resty-redis
　　lua連接redis
　　redis
　　存放客戶(hù)端請求實(shí)時(shí)數據
　　人機驗證功能頁(yè)
　　由前端提供此頁(yè)面
　　相關(guān)組件的部署如下：
　　# 0.基礎依賴(lài)yum install -y GeoIP GeoIP-devel GeoIP-data libtool openssl openssl-devel # 1.創(chuàng )建用戶(hù)groupadd openrestyuseradd -G operesty openresty -s /bin/nologin<br /># 2.準備源碼包openresty-xxx.tar.gzpcre-xxx.tar.gz<br />tar -zxvf openresty-xxx.tar.gztar -zxvf pcre-xxx.tar.gz# 3.安裝 LuaJITcd openresty-xxx/bundle/LuaJIT-xxxmake cleanmake make install<br /># 4.安裝openrestycd openresty-xxx./configure --prefix=/usr/local/openresty --with-http_realip_module --with-pcre=../pcre-xxx --with-luajit --with-file-aio --with-http_sub_module --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module --with-http_gzip_static_module --without-select_module --without-poll_module --with-http_geoip_modulemakemake install<br /># 5.lua-resty-redis模塊安裝wget https://github.com/openresty/l ... unzip master.zipcd lua-resty-redis-master<br />#將lib拷貝到openresty安裝目錄下的lua文件夾內cp -rf lib /usr/local/openresty/conf/luacd /usr/local/openresty/conf/lua/libln -s redis.lua resty/redis.lua<br /># 6. 安裝redisyum install redis -y/etc/init.d/redis start
　　至此openresty的基礎文件已經(jīng)部署完畢，下一步需要加載lua腳本實(shí)現相關(guān)的策略配置。
　　2.lua腳本規劃
　　統一將lua模塊及相關(guān)腳本存放在`/usr/local/openresty/conf/lua`目錄下，其中：
　　lua |--lib | |-resty | | |-redis.lua | |-redis.lua #redis驅動(dòng) |--access | |-config.lua #統一配置文件 | |-access_init.lua #加載配置文件、獲取客戶(hù)端IP的方法 | |-access_ip.lua #黑白名單過(guò)濾 | |-access_veryfycode.lua #驗證碼
　　規劃完成后，我們就需要在oprneresty加載即可。
　　vim nginx.conf# 在http區域內添加如下配置。<br />#加載lua配置初始化init_by_lua_file '/usr/local/openresty/nginx/conf/lua/access/access_init.lua';<br />#lua-resty-redislua_package_path "/usr/local/openresty/nginx/conf/lua/lib/resty/?.lua;;";<br />#黑白名單封禁ipaccess_by_lua_file?'/usr/local/openresty/nginx/conf/lua/access/access_ip.lua';
　　其中init_by_lua_file、access_by_lua_file 就是openresty執行流程中的不同階段，我們根據訪(fǎng)問(wèn)流程可以在各階段配置不同的訪(fǎng)問(wèn)策略。
　　3.openresty執行流程
　　
　　如圖openresty執行流程，在相應的階段我們的策略如下：
　?。?）init初始化階段
　　由于init階段是流程的第一階段，即nginx加載全局參數階段，因此也需要首先加載我們的配置文件：
　　# vim config.lua--waf統一配置文件<br />--ip白名單ipWhitelist={--"10.0.0.0-10.255.255.255",--神馬搜索"42.156.0.0-42.156.255.255","42.120.0.0-42.120.255.255","106.11.0.0-106.11.255.255",--三方渠道"113.5.18.230-113.5.18.231","113.5.18.234",--內網(wǎng)"192.168.0.0-192.168.255.255",}<br />----ip黑名單ipBlocklist={"39.104.180.188","42.236.10.1-42.236.10.254",}
　　以上配置文件中的客戶(hù)端單個(gè)地址和地址段，都是通過(guò)access_init.lua來(lái)加載config.lua配置文件并由相關(guān)方法進(jìn)行IP解析：
　　# vim access_init.lua--此文件為需要在http段配置init_by_lua_file '/usr/local/nginx/lua/access/access_init.lua';--注意：由于連接reids無(wú)法在init階段使用，因此驗證碼由單獨的access_verifycode.lua文件使用;--封禁策略：--增加ip黑名單、白名單的ip段支持<br />package.path = "/usr/local/openresty/nginx/conf/lua/access/?.lua;/usr/local/openresty/nginx/conf/lua/lib/?.lua;"package.cpath = "/usr/local/openresty/nginx/conf/lua/?.so;/usr/local/openresty/nginx/conf/lua/lib/?.so;"<br />--加載配置文件require "config"<br />--獲取客戶(hù)端ipfunction getClientIp() IP = ngx.var.remote_addr if IP == nil then IP = "unknown" end return IPend<br /><br />function ipToDecimal(ckip) local n = 4 local decimalNum = 0 local pos = 0 for s, e in function() return string.find(ckip, '.', pos, true) end do n = n - 1 decimalNum = decimalNum + string.sub(ckip, pos, s-1) * (256 ^ n) pos = e + 1 if n == 1 then decimalNum = decimalNum + string.sub(ckip, pos, string.len(ckip)) end end return decimalNumend<br /># 白名單過(guò)濾function whiteip() if next(ipWhitelist) ~= nil then local cIP = getClientIp() local numIP = 0 if cIP ~= "unknown" then numIP = tonumber(ipToDecimal(cIP)) end for _,ip in pairs(ipWhitelist) do local s, e = string.find(ip, '-', 0, true) if s == nil and cIP == ip then return true elseif s ~= nil then sIP = tonumber(ipToDecimal(string.sub(ip, 0, s - 1))) eIP = tonumber(ipToDecimal(string.sub(ip, e + 1, string.len(ip)))) if numIP >= sIP and numIP = sIP and numIP = max_bind_count then should_bind = bind_reaseon.limit_bind elseif tonumber(bind_count) >= 1 then should_bind = bind_reaseon.robot end<br /> if not should_bind then if check_is_reading_list() then should_bind = bind_reaseon.robot end end end<br /> if not should_bind then if is_white == nil or (is_white ~= "wx" and is_white ~= "spider") then res, err = cache:incr(key_count_perday) if res == nil then res = 0 end if res == 1 then cache:expire(key_count_perday, 86400) end if res >= max_connect_count_perday then should_bind = bind_reaseon.limit_perday end end end<br /> return 1, should_bindend<br />local function check_visit_limit()<br /> local should_bind<br /> local redis = require "resty.redis" local cache = redis:new() cache:set_timeout(300000) local ok, err = cache:connect("192.168.3.129", 10005)<br /> if ok then ok, should_bind = check_access(cache) if ok then cache:set_keepalive(60000, 200) else cache:close() end else ngx.log(ngx.INFO, "failed to connect redis" .. tostring(err)) end<br /> if should_bind == bind_reaseon.limit_bind then ngx.exit(456) elseif should_bind == bind_reaseon.limit_perday then ngx.exit(457) elseif should_bind == bind_reaseon.robot then local source = ngx.encode_base64(ngx.var.scheme .. "://" .. ngx.var.host .. ngx.var.request_uri) -- 前端提供的驗證碼頁(yè) local dest = "http://authcode.xxx.cn/authcode.html" .. "?fromurl=" .. source????????--?觸發(fā)策略，跳轉到驗證碼頁(yè)面 ngx.redirect(dest, 302) endend<br />local function doVerify() if whiteip() then elseif blockip() then else check_visit_limit() endend<br />doVerify()
　　注意：人機驗證依賴(lài)redis存儲統計信息，同時(shí)也可以通過(guò)匹配客戶(hù)端的IP來(lái)匹配，用于解封誤封的客戶(hù)端。
　　總結
　　經(jīng)過(guò)長(cháng)時(shí)間的流量分析、攻防實(shí)戰，通過(guò)自建的WAF我們防住了大部分的惡意訪(fǎng)問(wèn)。正所謂“道高一尺，魔高一丈”，如今的盜采行為已經(jīng)和常規訪(fǎng)問(wèn)無(wú)差別，通過(guò)一般的人機驗證已經(jīng)無(wú)法區分。過(guò)于嚴格的策略，則會(huì )“傷敵一千，自損八百”，因此我們還是要找到一個(gè)合適平衡點(diǎn)。
　　
　　
　　你與世界
　　只差一個(gè)
　　公眾號 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　優(yōu)采云采集器——信息批量抓取
　　了解爬蟲(chóng)的都知道，想要一個(gè)網(wǎng)頁(yè)上的圖片、標題及價(jià)格等信息，只需要寫(xiě)個(gè)代碼就能完成了。但是對于小白來(lái)說(shuō)，啥是爬蟲(chóng)？會(huì )爬的蟲(chóng)？更別說(shuō)敲代碼了。有那個(gè)敲代碼的時(shí)間，工作都完成了！不用擔心，今天給大家推薦一款神器——優(yōu)采云采集器，可以免費批量的抓取信息，以后就可以不用加班了。先看介紹——
　　【智能識別數據，小白神器】
　　智能模式：基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。
　　自動(dòng)識別：列表、表格、鏈接、圖片、價(jià)格、郵箱等
　　
　　【可視化點(diǎn)擊，簡(jiǎn)單上手】
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　【支持多種數據導出方式】
　　采集結果可以導出到本地，支持TXT、EXCEL、CSV和HTML文件格式，也可以直接發(fā)布到數據庫(MySQL、MongoDB、SQL Server、PostgreSQL)和網(wǎng)站(Wordpress、Discuz等)，提供豐富的發(fā)布插件供您使用。
　　
　　【功能強大，提供企業(yè)級服務(wù)】
　　優(yōu)采云采集器提供豐富的采集功能，無(wú)論是采集穩定性或是采集效率，都能夠滿(mǎn)足個(gè)人、團隊和企業(yè)級采集需求。
　　豐富的功能：該款優(yōu)采云采集器軟件具有定時(shí)采集，智能防屏蔽，自動(dòng)導出，文件下載，加速引擎，按組啟動(dòng)和導出，Webhook，RESTful API，智能識別SKU和電商大圖等等功能，滿(mǎn)足企業(yè)用戶(hù)的需求。當然，這個(gè)功能一般是用不到的！普通用戶(hù)就隨便搞搞，滿(mǎn)足自己的學(xué)習工作需要就行，沒(méi)有額外的那么大的需求。
　　【云端賬號，方便快捷】
　　云端存儲，防止數據丟失，隨登隨用，方便快捷。創(chuàng )建優(yōu)采云采集器賬號并登錄，您的所有采集任務(wù)都將自動(dòng)同步保存到優(yōu)采云的云端服務(wù)器，無(wú)需擔心采集任務(wù)丟失。優(yōu)采云采集器對賬號沒(méi)有終端綁定限制，您切換終端時(shí)采集任務(wù)也會(huì )同步更新，任務(wù)管理方便快捷。當然，首選的是導出到本地，云端也存一份，以防萬(wàn)一誤刪，到時(shí)候還要再去爬一份。
　　
　　【使用教程】
　　軟件首頁(yè)下方就有教程哈!有些定時(shí)功能不能使用，需要升級，不要點(diǎn)！直接關(guān)掉就行！軟件免費使用，升級指定功能才需要收費，如果操作失誤充值了，我們不負責呀！
　　
　　【獲取方式】
　　需要的小伙伴們，后臺回復“優(yōu)采云”獲取本次的安裝包哦！包括Windows和Mac版本的！整理不易，轉發(fā)和關(guān)注都是支持！讓每一次分享都有意義！
　　 查看全部

　　這5個(gè)應用你要全有，絕對是老司機無(wú)疑！
　　大家好，我是小阿浩~
　　今天給大家分享5款非常好用的電腦軟件，可以解決很多問(wèn)題，直接上干貨！
　　▍1.格式工廠(chǎng)
　　格式工廠(chǎng)是一款辦公利器，可以轉換幾乎所有類(lèi)型多媒體格式，還有文件壓縮、圖片處理、視頻文件修復、文件備份等功能。
　　
　　▍2.Keepass
　　KeePass是一款強大的密碼管理軟件。它能幫你記住電子郵件、主頁(yè)FTP、上網(wǎng)、論壇等用戶(hù)名和密碼，解決你記不住密碼的煩惱，節省了時(shí)間。
　　KeePass把密碼保存在高度加密的數據庫中，不會(huì )讓其他人和其他應用程序所識別。
　　
　　▍3.優(yōu)采云采集器
　　優(yōu)采云采集器是前谷歌技術(shù)團隊傾力打造，基于人工智能技術(shù)，只需要輸入網(wǎng)址就能自動(dòng)識別采集內容。
　　
　　可以智能識別數據，智能模式基于人工智能算法，只需輸入網(wǎng)址就能智能識別列表數據、表格數據和分頁(yè)按鈕，不需要配置任何采集規則，一鍵采集。自動(dòng)識別列表、表格、鏈接、圖片和價(jià)格等
　　流程圖模式：只需根據軟件提示在頁(yè)面中進(jìn)行點(diǎn)擊操作，完全符合人為瀏覽網(wǎng)頁(yè)的思維方式，簡(jiǎn)單幾步即可生成復雜的采集規則，結合智能識別算法，任何網(wǎng)頁(yè)的數據都能輕松采集。
　　可模擬操作：輸入文本、點(diǎn)擊、移動(dòng)鼠標、下拉框、滾動(dòng)頁(yè)面、等待加載、循環(huán)操作和判斷條件等。
　　
　　感謝大家的加雞腿支持！
　　▍4.ScreenToGif
　　ScreenToGif是一款非常好用的屏幕錄制、攝像、畫(huà)板和GIF編輯軟件，開(kāi)源免費，強大實(shí)用。
　　
　　ScreenToGif整體操作非常流暢，界面也很簡(jiǎn)潔，編輯的功能也非常豐富。
　　
　　▍5.Rolan
　　Rolan是一款輕量級的桌面快速啟動(dòng)工具，可以讓你快速啟動(dòng)各種軟件和指令，常用軟件和分組都可以自定義管理，可以提高你的電腦操作效率和辦公效率。
　　
　　啟動(dòng)板可以靈活地設置屬性和分組結構，并自由的存放內容；啟動(dòng)板支持二級分組；分組中可以存放捷徑；實(shí)時(shí)顯示指定文件夾內容，不用再手動(dòng)進(jìn)入文件夾；還有瀏覽器書(shū)簽、備忘錄、剪貼板歷史、快捷鍵綁定等功能。
　　今天的分享到這里就結束啦，感謝你能看到這里，喜歡的話(huà)記得點(diǎn)贊、點(diǎn)在看、分享給伙伴們。
　　▍軟件獲取
　　##老規矩，文章右下角“在看”和最底部“小廣gào”點(diǎn)一下，再取資源。你們的在看和加雞腿讓我更有動(dòng)力分享## 查看全部

　　教你一招 | 獲取網(wǎng)絡(luò )數據只能復制粘貼？試試網(wǎng)絡(luò )"爬蟲(chóng)"！
　　
　　隨著(zhù)移動(dòng)互聯(lián)網(wǎng)的日益普及和廣泛應用，網(wǎng)絡(luò )上的資訊成為人們獲取信息的重要來(lái)源。人們通常根據需求使用百度等搜索引擎，輸入關(guān)鍵字，檢索所需的網(wǎng)頁(yè)內容。在瀏覽網(wǎng)絡(luò )資訊信息的同時(shí)，人們還希望能夠將這些信息保存下來(lái)，選擇適當的方法進(jìn)行數據分析，得出有效結論，為日后相關(guān)決策提供可靠依據。
　　那么如何保存網(wǎng)頁(yè)上的信息呢？通常情況下，大家會(huì )選中網(wǎng)頁(yè)上需要的信息，然后通過(guò) “復制”和“粘貼”操作，保存在電腦的本地文件中。這種方法雖然簡(jiǎn)單直觀(guān)，但是操作繁復，不適宜大批量數據信息的采集。為了準確便捷地獲取網(wǎng)絡(luò )中的海量數據，人們設計開(kāi)發(fā)了多種用于采集數據信息的專(zhuān)業(yè)工具，借助專(zhuān)業(yè)工具中網(wǎng)絡(luò )爬蟲(chóng)的強大功能，能夠更加準確、方便、快速地獲取網(wǎng)頁(yè)信息。這樣的專(zhuān)業(yè)數據采集工具有很多種，本文以“優(yōu)采云”數據采集工具為例，介紹專(zhuān)業(yè)數據采集工具的功能、原理及使用方法。
　　
　　“優(yōu)采云”數據采集工具的功能
　　“優(yōu)采云”數據采集工具是一款通用的數據采集器，能夠采集98%的網(wǎng)頁(yè)上的文本信息。它可根據不同網(wǎng)站提供多種網(wǎng)頁(yè)采集策略，也可以自定義配置，以本地采集或云采集的方式對選中網(wǎng)站中的單個(gè)網(wǎng)頁(yè)或多個(gè)網(wǎng)頁(yè)的內容信息進(jìn)行自動(dòng)提取，并將獲取結果保存在Excel、CSV、HTML、數據庫格式文件中，以方便后續的數據處理與分析。
　　“優(yōu)采云”數據采集工具的原理
　　一般情況下，人們?yōu)g覽網(wǎng)頁(yè)時(shí)，首先要輸入網(wǎng)站的網(wǎng)址；然后通過(guò)鼠標單擊網(wǎng)頁(yè)上的按鈕或熱點(diǎn)等操作，找到所要獲取的相關(guān)信息；最后選中這些信息，提取出來(lái)，保存到特定格式的文件中?！皟?yōu)采云”數據采集工具的核心原理是通過(guò)內置Firefox內核瀏覽器，模擬上述人為瀏覽網(wǎng)頁(yè)的行為，對網(wǎng)頁(yè)的信息進(jìn)行全自動(dòng)提取。這些功能由“優(yōu)采云”采集器的三個(gè)程序完成：負責任務(wù)配置及管理的主程序；任務(wù)的云采集控制和云集成數據的管理程序；數據導出程序。
　　“優(yōu)采云”數據采集工具的操作
　　使用“優(yōu)采云”采集器之前，我們要進(jìn)入其官方網(wǎng)站，下載并安裝“優(yōu)采云”采集器客戶(hù)端（本文以“優(yōu)采云”8.0版軟件為例）。打開(kāi)客戶(hù)端軟件，注冊登錄后即可使用。
　　1.使用模板采用數據
　　“優(yōu)采云”客戶(hù)端中內置了很多網(wǎng)站的采集模板，我們可以根據需求使用這些模板，如圖1所示，按照提示步驟簡(jiǎn)單快捷地全自動(dòng)獲取網(wǎng)站信息。操作過(guò)程分三步：第一，選擇目標網(wǎng)站的模板；第二，配置數據采集參數（采集的關(guān)鍵字、采集的頁(yè)數等），選擇采集模式（本地采集或云采集）自動(dòng)提取數據；第三，選擇輸出的文件格式，導出數據。
　　
　　圖1 客戶(hù)端中內置的網(wǎng)站采集模板
　　上述操作完成后，“優(yōu)采云”客戶(hù)端會(huì )將整個(gè)操作過(guò)程及提取的數據以任務(wù)的形式進(jìn)行保存。通過(guò)客戶(hù)端“我的任務(wù)”項，可以隨時(shí)查看已提取的數據，也可以重復執行或修改當前任務(wù)。
　　2.自定義采集數據
　　當我們希望按照自己的要求獲取網(wǎng)頁(yè)上的個(gè)性化數據時(shí)，就需要使用自定義數據采集模式。首先要確定目標網(wǎng)站和采集需求；然后打開(kāi)網(wǎng)頁(yè)，配置采集選項，提取數據；最后導出數據到指定格式的文件中。
　　不管使用“優(yōu)采云”客戶(hù)端的哪種模式采集網(wǎng)頁(yè)數據信息，整個(gè)流程都可統一為配置任務(wù)、采集數據和導出數據三個(gè)步驟。其中，配置采集選項參數是準確獲取網(wǎng)頁(yè)數據的關(guān)鍵。
　　“優(yōu)采云”數據采集工具的應用案例
　　“優(yōu)采云”數據采集工具能夠采集大多數網(wǎng)站上的網(wǎng)頁(yè)信息，而非只針對某類(lèi)專(zhuān)業(yè)網(wǎng)站數據進(jìn)行采集。下面以獲取豆瓣電影Top 250 （ 250）網(wǎng)頁(yè)數據為例，介紹“優(yōu)采云”數據采集工具的具體使用方法。
　　豆瓣網(wǎng)站是根據每部影片看過(guò)的人數以及該影片所得的評價(jià)等綜合數據，通過(guò)算法分析產(chǎn)生豆瓣電影Top 250榜單。豆瓣電影前250名的數據信息分10個(gè)連續網(wǎng)頁(yè)顯示，每個(gè)網(wǎng)頁(yè)呈現25部電影，每部電影都包括電影排名、電影海報、電影中英文名稱(chēng)、電影導演及主演、參評人數、豆瓣得分等相關(guān)信息。我們可以根據實(shí)際需求，使用“優(yōu)采云”數據采集工具獲取豆瓣電影Top 250的詳細數據，具體方法如下。
　　1.獲取榜單中某一部電影的信息
　　首先，查看豆瓣電影網(wǎng)頁(yè)中關(guān)于某部電影的信息，如《霸王別姬》，確定要獲取的信息內容：電影排名、電影名、導演、主要演員和劇情簡(jiǎn)介五項。其次，在“優(yōu)采云”客戶(hù)端的首頁(yè)中，輸入該部電影網(wǎng)頁(yè)的網(wǎng)址，鼠標單擊“開(kāi)始采集”按鈕，打開(kāi)該網(wǎng)頁(yè)；在顯示網(wǎng)頁(yè)的窗口中，鼠標單擊 “NO2 豆瓣電影Top 250”標簽；在彈出的“操作提示”窗口中選擇“采集該元素文本”，在“配置采集字段”窗口中顯示出“ NO2 豆瓣電影Top 250 ”選項。重復上述操作，分別選中網(wǎng)頁(yè)中 “霸王別姬(1993)”“導演：陳凱歌”等其他標簽完成采集字段的配置，并修改字段名稱(chēng)。再次，在 “操作提示”窗口中執行“保存并開(kāi)始采集”命令，在“運行任務(wù)”窗口中啟動(dòng)“本地采集”選項收集數據信息。最后，將采集到的數據保存到特定格式的文件中。
　　數據信息采集完畢后，除了通過(guò)打開(kāi)數據文件查看采集的信息外，還可以從“優(yōu)采云”客戶(hù)端首頁(yè)的“我的任務(wù)”項中查看采集好的數據。
　　2.獲取某個(gè)網(wǎng)頁(yè)的全部電影信息
　　豆瓣電影榜單中每頁(yè)都會(huì )顯示25部電影的相關(guān)信息，每部電影展示了相同的信息項，如電影排名、海報、電影中文名稱(chēng)、導演及主演等。那么，“優(yōu)采云”客戶(hù)端提取每部電影數據的操作都是相同的。因此，我們只需完成一部電影的數據采集配置，其余電影使用循環(huán)重復操作即可。
　　首先要確定需求，在“優(yōu)采云”客戶(hù)端的首頁(yè)輸入要獲取信息的網(wǎng)址并打開(kāi)網(wǎng)頁(yè)。其次，單擊鼠標選中一部電影相關(guān)數據區域。在彈出的 “操作提示”窗口中選擇“選中子元素”選項，選中該電影的電影排名、海報、電影中文名稱(chēng)、導演及主演等字段；然后再單擊鼠標選擇“選中全部”，建立循環(huán)列表，選中該網(wǎng)頁(yè)中25部電影的相關(guān)數據項；再單擊“采集數據”選項，在預覽窗口中，查看修改要采集的數據字段名。最后啟動(dòng) “本地采集”，獲取數據信息，生成數據文件。
　　3.獲取榜單中全部電影信息
　　除了上述手動(dòng)選擇數據采集字段外，由于豆瓣電影Top 250榜單中每部電影顯示的信息都是相同的，在獲取全部250部電影數據時(shí)，我們可以通過(guò)“操作提示”窗口中的提示信息，自動(dòng)配置要提取的數據項，來(lái)完成電影信息的獲取。
　　首先明確獲取信息需求，確定網(wǎng)址 com/top 250，在“優(yōu)采云”客戶(hù)端打開(kāi)網(wǎng)頁(yè)；在“操作提示”窗口中選擇“自動(dòng)識別網(wǎng)頁(yè)”。經(jīng)過(guò)“優(yōu)采云”算法的識別，自動(dòng)完成采集字段配置，如圖2所示。在“數據預覽”窗口中，可以看到即將采集的字段及數據，通過(guò)“修改”和“刪除”操作可以調整字段相關(guān)信息。然后選擇“生成采集設置”，保存并開(kāi)始采集數據。數據提取完成后，保存到特定格式的文件中。
　　
　　圖2 自動(dòng)完成采集字段配置
　　除了以上這些應用之外，“優(yōu)采云”數據采集工具還可以針對很多采集需求和不同結構的網(wǎng)頁(yè)進(jìn)行數據采集，如獲取特定網(wǎng)頁(yè)數目的數據、使用云采集等。這些都是大家可以進(jìn)一步學(xué)習研究的內容。
　　專(zhuān)業(yè)數據采集工具及網(wǎng)絡(luò )爬蟲(chóng)技術(shù)逐漸成為獲取網(wǎng)絡(luò )信息的重要手段，但是在現實(shí)社會(huì )中，并不是所有數據都可以任意提取和使用。在數據采集時(shí)，我們要遵守有關(guān)的法律法規，負責任地、合理地使用網(wǎng)絡(luò )技術(shù)和網(wǎng)絡(luò )信息。
　　作者單位 | 北京市西城區教育研修學(xué)院
　　內容來(lái)源 | 《中小學(xué)信息技術(shù)教育》雜志2020年第6期《利用專(zhuān)業(yè)數據采集工具獲取網(wǎng)絡(luò )數據的方法》一文
　　 查看全部

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法(如何使用好網(wǎng)頁(yè)采集器讓網(wǎng)站更多的被搜索引擎收錄)
　　網(wǎng)頁(yè)采集器，最近很多站長(cháng)朋友問(wèn)我怎么指定網(wǎng)站采集，市面上的網(wǎng)頁(yè)采集工具基本都需要寫(xiě)采集規則，這需要站長(cháng)朋友了解正則表達式和html代碼基礎。這對于小白站長(cháng)來(lái)說(shuō)是一件非常困難的事情。網(wǎng)頁(yè)采集器可視化批次采集指定網(wǎng)站采集并自動(dòng)偽原創(chuàng )發(fā)布及一鍵自動(dòng)百度、神馬、360、搜狗推送.
　　網(wǎng)頁(yè)采集器可以被任意網(wǎng)頁(yè)數據抓取，所見(jiàn)即所得的操作方法只需點(diǎn)擊幾下鼠標即可輕松獲取。那么我們如何使用好的網(wǎng)頁(yè)來(lái)采集器網(wǎng)站更多的搜索引擎收錄并獲得好的SEO排名。
　　
　　網(wǎng)頁(yè)采集器要求我們能夠清晰直觀(guān)的網(wǎng)站定位會(huì )帶來(lái)較高的客群轉化率。我們的網(wǎng)站 目的是營(yíng)銷(xiāo)。我們的網(wǎng)站只有專(zhuān)注于一件事才能更好的展示出來(lái)，這樣網(wǎng)站的內容搭建就會(huì )相當的簡(jiǎn)單。網(wǎng)頁(yè)采集器基于高度智能的文本識別算法，根據關(guān)鍵詞采集文章，無(wú)需編寫(xiě)采集規則。
　　頁(yè)面采集器做網(wǎng)站SEO優(yōu)化需要網(wǎng)站合理的結構。首先要提的是網(wǎng)站的結構要清晰，布局要合理，拒絕冗余代碼，拒絕大量的JS腳本和FLASH動(dòng)畫(huà)，會(huì )影響網(wǎng)站 的打開(kāi)速度。設置應清晰可見(jiàn)，便于客戶(hù)導航。
　　和關(guān)鍵字描述信息。事實(shí)上，大多數人都知道 關(guān)鍵詞 和描述對于一個(gè) 網(wǎng)站 非常重要，但是有些人忽略了這些信息。關(guān)鍵詞 和 description 相當于一個(gè)搜索領(lǐng)導者提交的名片。有了這張卡片，人們就會(huì )更多地了解你的網(wǎng)站。
　　網(wǎng)頁(yè)采集器可以通過(guò)長(cháng)尾關(guān)鍵詞做全網(wǎng)關(guān)鍵詞文章pan采集，然后合并批量偽原創(chuàng )到網(wǎng)站 文章定期發(fā)布，讓搜索引擎判斷你的網(wǎng)站內容屬于原創(chuàng )，更容易獲得搜索引擎的青睞。還有一點(diǎn)要提醒大家，在網(wǎng)站收錄之后，不要輕易改變你網(wǎng)站的關(guān)鍵詞。所以一個(gè)好的關(guān)鍵詞和描述也是一個(gè)網(wǎng)站的必要條件之一。網(wǎng)頁(yè)采集器可以對文章的標題描述和內容進(jìn)行相應的SEO優(yōu)化設置。
　　網(wǎng)頁(yè)采集器內置了很多網(wǎng)站優(yōu)化方法。網(wǎng)頁(yè) 采集器 支持自動(dòng)內部鏈接。我們都知道網(wǎng)站的內鏈在一個(gè)網(wǎng)站中起著(zhù)非常重要的作用，所以網(wǎng)站采集器內的網(wǎng)頁(yè)會(huì )合理的安排內鏈。網(wǎng)頁(yè)采集器偽原創(chuàng )文章也會(huì )大大提高網(wǎng)站SEO優(yōu)化的指標。好的偽原創(chuàng )文章，對蜘蛛的吸引力很大。網(wǎng)頁(yè)采集器自動(dòng)全網(wǎng)采集，覆蓋六大搜索引擎。自動(dòng)過(guò)濾內容相關(guān)度和文章平滑度，只有采集高度相關(guān)和平滑度文章。
<p>當蜘蛛進(jìn)入網(wǎng)站時(shí)，網(wǎng)站地圖被視為很好的引導，蜘蛛可以輕松進(jìn)入網(wǎng)站的每一個(gè)角落，網(wǎng)頁(yè)采集器可以自動(dòng)生成并更新網(wǎng)站的sitemap地圖，讓蜘蛛第一時(shí)間知道你網(wǎng)站的文章鏈接，可以方便蜘蛛抓取你 查看全部

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法(科技項目（2）)
　　電子設計工程第28卷第28期2020年10月2020年10月收稿日期：2019-12-13稿件編號：201912116基金項目：科技項目（2）作者簡(jiǎn)介：何侯宇（1973—），男，福建福清人，碩士，高級工程師。研究方向：電網(wǎng)規劃、電力營(yíng)銷(xiāo)。保護數據提供者的相關(guān)權益，保證綜合共享數據的持續獲取。目前綜合共享數據已成為戰略資源，許多國家和地區都對其進(jìn)行了研究。我國已逐步進(jìn)入正式運行階段[1]，綜合共享數據是連接數據持有者、數據使用者和數據中心的中心樞紐，綜合共享數據由聚合多個(gè)數據。 ，如果數據被成功使用，需要對數據進(jìn)行搜索、分類(lèi)、組織和處理，并為共享數據的持有者提供相應的權益保護[2]。針對目前我國綜合共享數據的發(fā)展階段，本文在對基于深度學(xué)習的綜合共享數據匹配算法研究的基礎上，提出了一種對綜合共享數據進(jìn)行有效處理的匹配算法，并將參數確定為為匹配算法的有效穩定運行提供可靠保障[3]。
<p>1 綜合數據匹配算法參數的確定 本文首先確定了綜合共享數據匹配算法的參數 基于深度學(xué)習的綜合共享數據匹配算法研究 何厚鈺, 王炳鑫 ( 福建泉州 362000）摘要：針對傳統匹配算法在匹配綜合共享數據時(shí)存在匹配效率低、穩定性差等問(wèn)題，本文研究了一種基于深度學(xué)習的新型綜合共享數據匹配算法，歷史研究數據具有探索性采集， 采集@采集接收到的數據經(jīng)過(guò)信息參數化處理，確定匹配算法的參數，利用WRED工具實(shí)現數據的預處理，利用樹(shù)干模型加速數據的計算和查詢(xún)，提高計算效率，算法從數據重要性三個(gè)方面實(shí)現，設置了對比實(shí)驗。結果表明，基于深度學(xué)習的綜合共享數據匹配算法可以在短時(shí)間內實(shí)現匹配，匹配過(guò)程穩定性高。關(guān)鍵詞：深度學(xué)習；全面的共享數據；數據匹配；匹配算法0.14022/j.issn1674-6236.202 查看全部

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法(網(wǎng)頁(yè)采集器的自動(dòng)識別算法是很復雜的，如果不是什么特別大的項目不建議用太復雜)
　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法是很復雜的，如果不是什么特別大的項目不建議用太復雜的采集器，如果你用的是一些通用的采集器可以試試陸路云采集器是收費軟件，
　　是rs232接口采集。比如愛(ài)采寶、空格都是，如果你要用web方式的話(huà)，
　　自己開(kāi)發(fā)的采集器，開(kāi)源項目自己寫(xiě)也可以。公開(kāi)的就云采集，免費的vsphere采集器，或者采集云都可以。
　　如果主要是想做爬蟲(chóng)，
　　在公司推廣中，見(jiàn)過(guò)一些大神們用自己的采集器做成了精美的ppt版，相當精美，手機端一樣可以采集新聞。我就在想用自己寫(xiě)采集器可以實(shí)現這些功能，就像你做一本ppt，所有新聞內容都是可以看到，不用專(zhuān)門(mén)找圖片。然后，經(jīng)過(guò)一番摸索以后，發(fā)現，基本上這些爬蟲(chóng)的大佬們，都有很棒的寫(xiě)爬蟲(chóng)的思路。他們也根據某類(lèi)需求去寫(xiě)ppt，然后篩選。
　　最后，需要的內容往往可以滿(mǎn)足采集器可以抓取的需求，當然可能還有采集器的定位不同，他的抓取器功能不同。有的人重點(diǎn)在抓取新聞，有的人抓取文章。個(gè)人覺(jué)得好的爬蟲(chóng)無(wú)非是兩點(diǎn)：抓取有價(jià)值的數據，自動(dòng)生成生產(chǎn)模型，可執行代碼。
　　如果是在線(xiàn)的就用scrapy，如果是提取頁(yè)面數據的，要看你是做什么地方，另外你要涉及到什么類(lèi)型的數據，比如做實(shí)時(shí)數據需要引入httpdump，httpclient之類(lèi)的，要全網(wǎng)爬的話(huà)，可以是用java對http通信包統一封裝，就如果你做點(diǎn)簡(jiǎn)單的爬蟲(chóng)，普通的scrapycrawler包就夠了。 查看全部

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法(搜索引擎為什么要重視原創(chuàng )1.1采集泛濫化(一)_)
　　一、搜索引擎為什么要重視原創(chuàng )
　　1.1采集洪水
　　百度的一項調查顯示，80%以上的新聞信息是人工或機器復制的采集，從傳統媒體報紙到娛樂(lè )網(wǎng)站花邊新聞，從游戲指南到產(chǎn)品評論，甚至大學(xué)圖書(shū)館發(fā)出的提醒通知有網(wǎng)站在機器上工作采集?？梢哉f(shuō)，優(yōu)質(zhì)的原創(chuàng )內容是采集包圍的汪洋大海中的一滴水，搜索引擎要淘海是困難和挑戰。
　　1.2 改善搜索用戶(hù)體驗
　　數字化降低了傳播成本，儀器化降低了采集成本，機器采集行為混淆了內容來(lái)源并降低了內容質(zhì)量。在采集過(guò)程中，無(wú)論有意還是無(wú)意，采集網(wǎng)頁(yè)內容不全、格式混亂或附加垃圾等問(wèn)題層出不窮，嚴重影響了搜索結果的質(zhì)量和用戶(hù)體驗。搜索引擎重視原創(chuàng )的根本原因是為了提升用戶(hù)體驗，而這里所說(shuō)的原創(chuàng )就是優(yōu)質(zhì)的原創(chuàng )內容。
　　1.3 鼓勵 原創(chuàng ) 作者和 文章
　　轉載和采集分流優(yōu)質(zhì)原創(chuàng )網(wǎng)站的流量，不再有原創(chuàng )的作者姓名，直接影響優(yōu)質(zhì)原創(chuàng )的收入@> 網(wǎng)站管理員和作者。長(cháng)此以往，會(huì )影響原創(chuàng )用戶(hù)的積極性，不利于創(chuàng )新，也不利于新的優(yōu)質(zhì)內容的產(chǎn)生。鼓勵優(yōu)質(zhì)原創(chuàng )，鼓勵創(chuàng )新，給予原創(chuàng )網(wǎng)站和作者合理的流量，從而促進(jìn)互聯(lián)網(wǎng)內容的繁榮，應該是搜索引擎的一項重要工作。
　　二、采集 很狡猾，識別 原創(chuàng ) 很難
　　2.1采集冒充原創(chuàng )，篡改關(guān)鍵信息
　　目前，大量網(wǎng)站批次采集原創(chuàng )內容后，作者、發(fā)布時(shí)間、來(lái)源等關(guān)鍵信息被人工或機器篡改，冒充原創(chuàng )。這種冒充原創(chuàng )需要被搜索引擎識別和調整。
　　2.2 內容生成器，制造偽原創(chuàng )
　　使用自動(dòng)文章generators之類(lèi)的工具，“原創(chuàng )”一篇文章文章，然后安裝一個(gè)醒目的標題，現在成本很低，而且必須是原創(chuàng )的。但是，原創(chuàng )應該具有社會(huì )共識的價(jià)值，而不是制造出一個(gè)完全沒(méi)有意義的垃圾，也可以算作有價(jià)值的優(yōu)質(zhì)內容原創(chuàng )。內容雖然獨特，但沒(méi)有社會(huì )共識價(jià)值。這種類(lèi)型的 偽原創(chuàng ) 是搜索引擎需要重點(diǎn)識別和打擊的。
　　2.3 網(wǎng)頁(yè)差異化，結構化信息提取困難
　　不同站點(diǎn)的結構差異很大，html標簽的含義和分布也不同，因此標題、作者、時(shí)間等關(guān)鍵信息的提取難度也有很大差異。在中國互聯(lián)網(wǎng)目前的規模下，要做到完整、準確、及時(shí)，實(shí)屬不易。這部分需要搜索引擎和站長(cháng)的配合才能運行得更順暢。以更清晰的結構通知搜索引擎網(wǎng)頁(yè)布局將允許搜索引擎有效地提取原創(chuàng )相關(guān)信息。
　　三、百度識別原創(chuàng )怎么走？
　　3.1成立原創(chuàng )項目組打持久戰
　　面對挑戰，為了提升搜索引擎的用戶(hù)體驗，為了讓優(yōu)質(zhì)的原創(chuàng )人原創(chuàng )網(wǎng)站得到應有的收益，為了推動(dòng)進(jìn)步中國互聯(lián)網(wǎng)，我們招聘了大量人員原創(chuàng )項目組：技術(shù)、產(chǎn)品、運營(yíng)、法務(wù)等。這不是臨時(shí)組織，不是一個(gè)月兩個(gè)月的項目，我們已準備好進(jìn)行一場(chǎng)持久戰。
　　3.2原創(chuàng )識別“原點(diǎn)”算法
　　互聯(lián)網(wǎng)上有數百億或數千億的網(wǎng)頁(yè)。從中挖掘 原創(chuàng ) 內容可以說(shuō)是大海撈針。我們的原創(chuàng )識別系統是在百度大數據云計算平臺上開(kāi)發(fā)的，可以快速實(shí)現所有中文互聯(lián)網(wǎng)網(wǎng)頁(yè)的重復聚合和鏈接指向關(guān)系分析。首先，將采集和原創(chuàng )按內容相似度聚合，將相似的網(wǎng)頁(yè)聚合在一起作為原創(chuàng )標識的候選集；、發(fā)布時(shí)間、鏈接指向、用戶(hù)評論、作者和網(wǎng)站歷史原創(chuàng )、轉發(fā)軌跡等數百個(gè)因素來(lái)識別和判斷原創(chuàng )網(wǎng)頁(yè)；最后，通過(guò)價(jià)值分析系統來(lái)判斷原創(chuàng )
　　目前，通過(guò)我們的實(shí)驗和真實(shí)的在線(xiàn)數據，“起源”算法已經(jīng)取得了一些進(jìn)展，解決了新聞資訊領(lǐng)域的大部分問(wèn)題。當然，其他領(lǐng)域還有更多的原創(chuàng )問(wèn)題等著(zhù)“起源”來(lái)解決，我們堅定不移的去。
　　3.3原創(chuàng )星火計劃
　　我們一直致力于原創(chuàng )內容識別和排序算法調整，但在當前互聯(lián)網(wǎng)環(huán)境下，快速識別原創(chuàng )解決原創(chuàng )問(wèn)題確實(shí)面臨很大挑戰，計算數據規模巨大的。，采集的方法層出不窮，不同站點(diǎn)的構建方式和模板差別很大，內容提取復雜。這些因素都會(huì )影響算法原創(chuàng )的識別，甚至導致判斷錯誤。這個(gè)時(shí)候，百度和站長(cháng)需要共同維護互聯(lián)網(wǎng)的生態(tài)環(huán)境。站長(cháng)推薦原創(chuàng )內容，搜索引擎經(jīng)過(guò)一定判斷后優(yōu)先處理原創(chuàng )內容，共同推動(dòng)生態(tài)改善，鼓勵原創(chuàng ) @原創(chuàng ) 內容。@原創(chuàng )，這是“原創(chuàng ) Spark 項目”，旨在快速解決當前面臨的嚴重問(wèn)題。此外，站長(cháng)對原創(chuàng )內容的推薦將應用到“起源”算法中，幫助百度找到算法的不足，不斷改進(jìn)，使用更智能的識別算法自動(dòng)識別&lt; @原創(chuàng ) 內容。
　　目前，原創(chuàng ) Spark 項目也取得了初步成果。第一階段，部分重點(diǎn)原創(chuàng )新聞網(wǎng)站的原創(chuàng )內容在百度搜索結果中被標記為原創(chuàng )。展示等，也實(shí)現了分揀和流量的合理提升。
　　最后，原創(chuàng ) 是一個(gè)需要長(cháng)期改進(jìn)的生態(tài)問(wèn)題。我們將繼續投入并與站長(cháng)合作，共同推動(dòng)互聯(lián)網(wǎng)生態(tài)的進(jìn)步；原創(chuàng ) 是一個(gè)環(huán)境問(wèn)題，需要大家共同努力來(lái)維護它。做原創(chuàng )，多推薦原創(chuàng )，百度會(huì )繼續努力改進(jìn)排序算法，鼓勵原創(chuàng )內容，為原創(chuàng )作者和&lt; @原創(chuàng ) 網(wǎng)站。流動(dòng)。
　　親愛(ài)的站長(cháng)朋友：
　　大家好！
　　一直以來(lái)，我們本著(zhù)為用戶(hù)提供最優(yōu)質(zhì)、最直接的信息的原則，不斷優(yōu)化算法，升級系統。保護高質(zhì)量頁(yè)面和抑制低質(zhì)量頁(yè)面是一直使用的兩種方法。
　　這一次，我想向所有站長(cháng)和朋友們傳達，我們將針對低質(zhì)量頁(yè)面進(jìn)行一系列調整，我們稱(chēng)之為石榴。初期會(huì )在這樣的頁(yè)面上生效：有大量不良廣告，阻礙用戶(hù)正常瀏覽的頁(yè)面，尤其是彈出大量低質(zhì)量彈窗廣告，混淆網(wǎng)站主要內容的垃圾頁(yè)面。頁(yè)。
　　從整個(gè)互聯(lián)網(wǎng)生態(tài)環(huán)境來(lái)看，泛濫的低質(zhì)量廣告越來(lái)越多地被放置在大量網(wǎng)站的各個(gè)角落，而且無(wú)處不在，嚴重影響了普通用戶(hù)的瀏覽體驗. 想象一下，當您打開(kāi)一個(gè)網(wǎng)頁(yè)時(shí)，您看到的不是您感興趣的內容，而是垃圾郵件彈出廣告或大型廣告，混淆并掩蓋了主要內容。你感覺(jué)如何？不言自明。
　　因此，算法上線(xiàn)后，我們會(huì )看到高質(zhì)量頁(yè)面的排名有所提升，低質(zhì)量廣告少，無(wú)彈窗。當然，前提是主要內容有價(jià)值。相應地，彈出窗口不好的頁(yè)面以及大量混淆頁(yè)面主要內容的垃圾廣告的排名將大大降低。
　　這是搜索引擎尊重用戶(hù)的必然選擇，也是凈化互聯(lián)網(wǎng)整體環(huán)境的必然趨勢。
　　最后希望站長(cháng)能站在用戶(hù)的角度放眼長(cháng)遠，在不影響用戶(hù)體驗的前提下合理投放廣告，贏(yíng)得用戶(hù)的長(cháng)期青睞是網(wǎng)站發(fā)展壯大的基礎.
　　衡量網(wǎng)站的好壞，是不是收錄越多越好？過(guò)去我們個(gè)別站長(cháng)對網(wǎng)站的收錄有一個(gè)標準，就是很多站長(cháng)評價(jià)質(zhì)量，以收錄質(zhì)量為標準。不過(guò)，我們在收錄網(wǎng)站的同時(shí)，也收到了很多驚喜，而收錄尤其是百度，總會(huì )有收錄不穩定的時(shí)候，但是不穩定的網(wǎng)站權重無(wú)疑是垃圾郵件過(guò)多的影響。因此，筆者認為網(wǎng)站的收錄的數量并不能決定網(wǎng)站的權重。適當減少網(wǎng)站低質(zhì)量頁(yè)面收錄有利于網(wǎng)站的發(fā)展。
　　一、減少網(wǎng)站中重復收錄的數量
　　不知道大家有沒(méi)有看過(guò)百度優(yōu)化上的文章。如果您相信百度指南中的標準，您肯定會(huì )從不同的頁(yè)面讀取 URL，但不同的 URL 是基于搜索引擎的主要標準。上面區分。作為一個(gè)搜索引擎，如何選擇標準的鏈接，重復收錄相同內容的頁(yè)面網(wǎng)站是極其不友好的。告訴蜘蛛不要讓它爬進(jìn)一個(gè)可以用來(lái)跳轉的表單，也可以用一系列的url作為你自己設置的頁(yè)面。
　　二、屏蔽對蜘蛛不友好的頁(yè)面
　　由于 網(wǎng)站 的低質(zhì)量頁(yè)面對蜘蛛不友好，我們必須想辦法阻止它們。一般選擇的屏蔽方式是用戶(hù)有不同的評價(jià)標準。這時(shí)，屏蔽搜索引擎的友好頁(yè)面對于網(wǎng)站的未來(lái)發(fā)展也非常重要。所以，有時(shí)候網(wǎng)站用戶(hù)之間的交流，不僅會(huì )影響網(wǎng)站的權重和頁(yè)面的屏蔽標準，在策略上也是兩全其美。
　　三、阻止網(wǎng)站頁(yè)面中的死鏈接
　　網(wǎng)站在開(kāi)發(fā)中，總會(huì )有一些死鏈接，這是我們無(wú)法避免的。比如我們刪除了某篇文章文章，我們更改了文章的地址文章等等。這些是存在于某列的文章，以及文章已被搜索引擎抓取。被你修改后，變成另一個(gè)鏈接頁(yè)面。將成為死鏈接。因此，當我們刪除文章，更改文章的鏈接地址時(shí)，一定要記得立即屏蔽。
　　四、屏蔽 網(wǎng)站 背景
　　我們的網(wǎng)站后端可以自己訪(fǎng)問(wèn)，不想被用戶(hù)看到。然后你需要阻止蜘蛛。一般使用 robots.txt 文件進(jìn)行屏蔽。
　　總結：
　　其實(shí)不管是什么類(lèi)型的攔截，只要能阻止蜘蛛爬取你的網(wǎng)站低質(zhì)量頁(yè)面即可?，F在搜索引擎對網(wǎng)站頁(yè)面的質(zhì)量要求越來(lái)越高。如果我們的網(wǎng)站要長(cháng)期發(fā)展，就必須做好這些重要的工作。本文由：會(huì )說(shuō)話(huà)大全提供，轉載請注明出處，謝謝。 查看全部

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法(掃描筆在工作學(xué)習中成為我們的得力助手，掃描筆融合ocr方法)
　　掃描筆已經(jīng)成為我們工作和學(xué)習的得力助手。掃描筆與ocr方式的結合，是一種可以實(shí)現多種語(yǔ)言互譯的工具。有人稱(chēng)它為字典筆或語(yǔ)言翻譯器?？梢赃_到兩國甚至多語(yǔ)種交流的目的。字典筆有很多品牌。其中，在中國市場(chǎng)，由于英語(yǔ)的廣度，翻譯人員非常受消費者歡迎。
　　目前市面上的掃描筆一般的實(shí)現原理是：“紅外掃描頭+OCR識別引擎+內存”等。核心技術(shù)是OCR（Optical Character Recognition）技術(shù)。說(shuō)到OCR技術(shù)，應該很多人都不陌生。通過(guò)相關(guān)的OCR軟件，我們可以將掃描的紙質(zhì)文檔轉換成可編輯的電子文檔。
　　廈門(mén)云脈專(zhuān)注于OCR領(lǐng)域，擁有優(yōu)秀的OCR識別技術(shù)和算法，出品了多款OCR相關(guān)的識別應用軟件。云脈詞典筆OCR+拼圖算法是云脈最新的應用技術(shù)，主要用于文本的掃描識別。它完美地結合了拼圖和OCR算法來(lái)拼接和識別掃描的文本采集。算法不錯，云麥詞典筆OCR+拼圖算法，識別速度快，識別能力超強，適應性強，深受大家的青睞。
　　云脈詞典筆OCR+拼圖算法是一款功能強大、適應性強的掃描識別工具。首先，它可以?huà)呙杷屑堎|(zhì)文件和書(shū)籍，識別中文、英文、拼音、天字集、繁體字等。它還支持混合識別，以及手寫(xiě)文本識別。其次，無(wú)論是簡(jiǎn)單背景還是復雜背景，都具有出色的識別能力，能夠自動(dòng)去除無(wú)效背景干擾字符信息。三、云脈詞典筆可支持快速點(diǎn)掃識別功能，筆尖到筆尖精準識別功能，不同角度握筆識別，支持同時(shí)左右掃碼。云脈詞典筆的掃描筆SDK開(kāi)發(fā)包利用云脈拼圖技術(shù)和OCR算法為各種掃描筆注入靈魂，實(shí)現識別率高、速度快、適應性強的優(yōu)勢。它成為學(xué)生的新一代導師。 查看全部

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法(網(wǎng)頁(yè)采集器的自動(dòng)識別算法與否，抓取的速度是掛鉤的)
　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法與否，與網(wǎng)頁(yè)采集后編寫(xiě)腳本的質(zhì)量，即抓取的速度是掛鉤的，至于為什么，
　　首先這個(gè)問(wèn)題在seo中非常普遍，但是究竟是怎么識別并判斷網(wǎng)頁(yè)提交后是否有價(jià)值的呢？曾經(jīng)有幾個(gè)高人寫(xiě)過(guò)一些解決方案，其中提到過(guò)網(wǎng)頁(yè)自動(dòng)標注包含聯(lián)系方式。無(wú)論這個(gè)所謂的“標注”原理如何。seo是抓住“人的需求”而不是“什么東西就該標注”。當然我也在嘗試找出真正意義上的“自動(dòng)標注”的原理。
　　第一，對于傳統網(wǎng)站，這個(gè)是最基本的，抓不到價(jià)值意味著(zhù)其優(yōu)化維度是單一的，雖然優(yōu)化從原則上講不能有其他價(jià)值來(lái)體現，但是也有其價(jià)值體現，目前，很多的網(wǎng)站往往就是看這一點(diǎn)，你覺(jué)得你的網(wǎng)站有價(jià)值，你的網(wǎng)站抓不到，這個(gè)沒(méi)用，而恰恰是抓住這個(gè)最關(guān)鍵的，對于這個(gè)有價(jià)值就是優(yōu)化，然后當初沒(méi)有和這一點(diǎn)結合起來(lái)，怎么做的呢？但是結合起來(lái)的價(jià)值和沒(méi)有結合起來(lái)是有區別的，簡(jiǎn)單一點(diǎn)講，沒(méi)有結合好價(jià)值與優(yōu)化，往往結果和做法是一樣的，但是往往很多人陷入了這一點(diǎn)，這種類(lèi)型的網(wǎng)站做不大，做不好，因為其網(wǎng)站作用是傳遞網(wǎng)站價(jià)值的，網(wǎng)站優(yōu)化沒(méi)有好壞之分，但是一定要結合，才會(huì )達到最理想的結果，不可否認，在seo基礎上有一些方法是可以有效的提高網(wǎng)站質(zhì)量，獲得排名和價(jià)值的，但是結合以上這些，能有效提高網(wǎng)站質(zhì)量，并且有意思的提高網(wǎng)站內容優(yōu)化和排名，提高網(wǎng)站的潛在價(jià)值，意味著(zhù)我們能把握住網(wǎng)站定位，網(wǎng)站的點(diǎn)，然后通過(guò)結合以上，使網(wǎng)站價(jià)值最大化，這就是網(wǎng)站價(jià)值，當然我講的有點(diǎn)頭緒，網(wǎng)站必須建立起結合維度，沒(méi)有結合維度一切白搭，那么該如何做呢？第二，我們必須做到基于網(wǎng)站的定位，內容方向，價(jià)值相關(guān)性去思考，而這個(gè)思考，不是我們自己去思考，而是如果看到了一個(gè)頁(yè)面，我們要去思考，人家做的到底對不對，該不該做，怎么做，能不能做，然后你會(huì )發(fā)現了，為什么很多人做不好網(wǎng)站或者直接做不好，主要原因就是其沒(méi)有理清思路，可能理解錯了。 查看全部

　　網(wǎng)頁(yè)采集器的自動(dòng)識別算法(2016年網(wǎng)絡(luò )輿情監測的重要途徑智能及其分析工作智能)
　　摘要：當前，隨著(zhù)互聯(lián)網(wǎng)的快速發(fā)展，網(wǎng)絡(luò )社會(huì )與現實(shí)社會(huì )逐漸同步，線(xiàn)上與線(xiàn)下事件的關(guān)聯(lián)性提高，網(wǎng)絡(luò )輿論越來(lái)越能夠反映現實(shí)中發(fā)生的事情。社會(huì )及時(shí)。因此，網(wǎng)絡(luò )輿情監測不僅可以了解輿情，為相關(guān)決策部門(mén)制定預案提供參考，還可以通過(guò)大數據分析及時(shí)預警突發(fā)事件。以微博、貼吧、論壇、新聞評論等互聯(lián)網(wǎng)信息為對象，以實(shí)用性為原則，研究一種基于文本自動(dòng)分類(lèi)的網(wǎng)絡(luò )輿情監測方法。該方法通過(guò)網(wǎng)絡(luò )爬蟲(chóng)抓取互聯(lián)網(wǎng)上的信息，利用基于KNN算法的文本自動(dòng)分類(lèi)方法完成網(wǎng)絡(luò )輿情的自動(dòng)分類(lèi)。最后通過(guò)實(shí)驗驗證了該方法的實(shí)用性。
　　關(guān)鍵詞：文本分類(lèi)；KNN算法；網(wǎng)絡(luò )爬蟲(chóng)；輿情監測
　　CLC 編號：TP319 證件識別碼：A 文章 編號：1672-7800 (2016）003-0133-03
　　作者簡(jiǎn)介：趙俊奇（1982-），男，上海人，碩士，上海市公安局助理工程師，研究方向為數據挖掘。
　　0 前言
　　隨著(zhù)互聯(lián)網(wǎng)的飛速發(fā)展，特別是“自媒體”時(shí)代的到來(lái)，每個(gè)網(wǎng)民都可以對社會(huì )現象和問(wèn)題發(fā)表自己的看法、意見(jiàn)和情感，對網(wǎng)絡(luò )輿論產(chǎn)生了巨大的影響。根據中國互聯(lián)網(wǎng)絡(luò )信息中心發(fā)布的第36次統計報告，截至2015年6月，我國網(wǎng)民規模已達6.68億。因此，線(xiàn)下發(fā)生的事情很快就會(huì )被網(wǎng)民傳遞到互聯(lián)網(wǎng)上，線(xiàn)上和線(xiàn)下將逐漸融合。一方面，網(wǎng)絡(luò )輿論能夠真實(shí)反映公眾對各種熱點(diǎn)事件的看法，另一方面，互聯(lián)網(wǎng)也成為了一種應急。網(wǎng)絡(luò )輿情監測作為報警平臺越來(lái)越重要[1]。但由于當前網(wǎng)絡(luò )數據量大，人工整理輿情不僅效率低下，而且容易錯過(guò)預警的最佳時(shí)機。輿情的自動(dòng)分類(lèi)和監測是實(shí)現網(wǎng)絡(luò )輿情監測的重要途徑。
　　目前，我國網(wǎng)絡(luò )輿情研究方向比較薄弱，輿情分析不夠智能。一個(gè)重要的原因是網(wǎng)絡(luò )數據作為一個(gè)動(dòng)態(tài)的海量數據源，每天都有成千上萬(wàn)的新詞和新表達，這給相對困難的中文分詞造成了很大的障礙[2]。本文以微博、貼吧、論壇、新聞評論等互聯(lián)網(wǎng)信息為對象，通過(guò)網(wǎng)絡(luò )爬蟲(chóng)及時(shí)獲取數據信息，利用文本分類(lèi)算法對獲取的信息進(jìn)行自動(dòng)分類(lèi)，監控網(wǎng)絡(luò )輿論實(shí)時(shí)。同時(shí)，本文提出了對獲取的數據信息進(jìn)行結構化的思路。通過(guò)提取時(shí)間、地點(diǎn)、事件和事件的其他要素，采用權重設計，根據事件的影響力和重要性，設置閾值來(lái)進(jìn)行應急事件。自動(dòng)警告。實(shí)驗表明，該分類(lèi)方法在網(wǎng)絡(luò )輿情的自動(dòng)采集和監測中具有良好的效果。
　　1 相關(guān)工作
　　網(wǎng)絡(luò )輿情監測涉及機器學(xué)習、數據挖掘、數理統計和自然語(yǔ)言處理等多學(xué)科領(lǐng)域知識，迄今已取得一系列研究成果[3]。
　　楊濤等人。[4]提出了一種網(wǎng)絡(luò )輿情熱點(diǎn)跟蹤方法，并給出了一種基于輿情熱點(diǎn)動(dòng)態(tài)監測的算法，可以更好地捕捉當前熱點(diǎn)事件。但由于只針對熱點(diǎn)輿情，無(wú)法發(fā)揮綜合輿情監測的作用，存在一定的局限性。黃小迪[5]等人在現有在線(xiàn)政問(wèn)平臺的基礎上，結合政府部門(mén)的需求，提出了基于政府的輿情監測系統網(wǎng)站。系統包括綜合輿情指數、政治排名指數、受眾指數和互動(dòng)指數4個(gè)指標，并根據重要性手動(dòng)排名，有助于政府部門(mén)在實(shí)際工作中做好輿情監測工作。但由于其研究對象僅限于政府網(wǎng)站，無(wú)法充分反映網(wǎng)友的觀(guān)點(diǎn)，也無(wú)法對突發(fā)事件及時(shí)預警。
　　美國TDT系統提出了一種輿情監測方法，用于話(huà)題監測和跟蹤。該技術(shù)可以在互聯(lián)網(wǎng)上的海洋數據中找到方向性的數據信息，并可以自動(dòng)跟蹤給定方向的輿情信息和相關(guān)的延伸話(huà)題。目前在定向監測領(lǐng)域有很好的應用，但該系統對未知突發(fā)信息的監測效果不佳[6]。
　　此外，國內以企業(yè)級搜索平臺為核心的輿情管理系統提供商幫付，專(zhuān)門(mén)為政府研發(fā)了網(wǎng)絡(luò )輿情監測系統。，包括緊急事件分析在內的多項功能，可以大大提高監控效率。但是，該系統基于模式匹配，需要人工根據監控目標的變化定期更改設置，智能性較差。
　　從以上分析可以看出，目前網(wǎng)絡(luò )輿情的自動(dòng)監測已經(jīng)取得了一些進(jìn)展，但在各種方法上也存在一定的不足。針對現有不足，以實(shí)用性為原則，研究了一種基于自動(dòng)文本分類(lèi)的網(wǎng)絡(luò )輿情監測方法，以微博、貼吧、論壇、新聞評論等信息為對象。實(shí)驗表明，該方法監測準確率高，隨著(zhù)監測信息量的擴大和分類(lèi)的增加，召回率呈上升趨勢，特別適用于大規模網(wǎng)絡(luò )輿情監測。
　　2 網(wǎng)絡(luò )輿情自動(dòng)分類(lèi)
　　本文以網(wǎng)友發(fā)布的信息為出發(fā)點(diǎn)，通過(guò)網(wǎng)絡(luò )爬蟲(chóng)及時(shí)爬取相關(guān)信息，根據本文設定的基于KNN算法的分類(lèi)方法進(jìn)行自動(dòng)分類(lèi)，實(shí)現輿情的自動(dòng)分類(lèi)。分類(lèi)預先根據客觀(guān)要求進(jìn)行劃分，將每一種類(lèi)型表示為一個(gè)向量模型，并根據算法自動(dòng)劃分新增的信息。
　　2.1 個(gè)數據采集
　　本文利用網(wǎng)絡(luò )爬蟲(chóng)，及時(shí)抓取微博、貼吧、論壇、新聞評論等信息。但是由于網(wǎng)頁(yè)內容復雜，需要采集的有效信息只是其中的一小部分，大量干擾信息影響了采集工作的有效性。因此，data采集分為兩個(gè)階段，一個(gè)是通過(guò)爬蟲(chóng)爬取數據，一個(gè)是對爬取的數據進(jìn)行過(guò)濾。在過(guò)濾階段，我們專(zhuān)門(mén)制定了基于微博、貼吧、論壇、新聞評論格式的網(wǎng)頁(yè)內容過(guò)濾規則，確保獲取高精度的源數據。
　　2.2 輿情分類(lèi)
　　輿情分類(lèi)的本質(zhì)是文本信息的分類(lèi)。本文采用基于KNN算法的分類(lèi)方法。該算法的主要思想是將具有許多相同屬性的信息歸為一類(lèi)，而網(wǎng)絡(luò )輿情信息具有這一特點(diǎn)。話(huà)題的輿論信息往往具有相同的特征[7]。
　　2.2.1 訓練文本和新采集文本的特征向量表示
　　在對采集好的輿論信息進(jìn)行分類(lèi)之前，需要用特征向量來(lái)表達客觀(guān)要求的分類(lèi)。首先，根據客觀(guān)需求的分類(lèi)，給出一定數量的訓練文本，訓練文本中的數據可以根據需要定期增加或減少；其次，使用分詞工具對作為訓練文本的信息進(jìn)行分詞，選擇具有代表性的特征項；最后將每個(gè)類(lèi)別表示為一個(gè)特征向量，如公式(1）.
　　3 網(wǎng)絡(luò )輿情分析與預警
　　根據本文的自動(dòng)分類(lèi)方法，通過(guò)采集網(wǎng)友發(fā)布的信息并自動(dòng)分類(lèi)，形成不同類(lèi)型的輿情模塊，然后根據需要對各個(gè)模塊中的信息進(jìn)行匯總。同時(shí)，系統可以將采集收到的數據形式化，自動(dòng)提取時(shí)間、地點(diǎn)、事件等要素，直接推送給相關(guān)決策部門(mén)，方便數據提取和輿情分析. 此外，監控模塊中的緊急事件分類(lèi)還可以提供緊急事件預警功能。根據分類(lèi)數據的數量，可以設置需要報警的參數組成，實(shí)現自動(dòng)預警。
　　為了分析這種網(wǎng)絡(luò )輿情監測方法的效果，本文定義了量化指標，并通過(guò)不同的分類(lèi)、不同的數據源進(jìn)行了多次實(shí)驗。
　　4.1 量化指標
　　為了分析和評價(jià)本次輿情分類(lèi)的效果，本文提出了Precision Rate和Recall Rate兩個(gè)評價(jià)指標。, 公式 (7） 顯示。
　　某類(lèi)準確率=正確分類(lèi)到某類(lèi)的新采集文本個(gè)數新分類(lèi)到某類(lèi)的采集文本總數(5）
　　總體準確度 = ∑ 每個(gè)類(lèi)別的準確度類(lèi)別總數 (6）
　　召回率 = 新 采集 文本分類(lèi)新采集 文本總數 (7）
　　4.2 實(shí)驗過(guò)程
　　為了進(jìn)一步分析網(wǎng)絡(luò )輿情監測方法的效果，本文依托現有的爬蟲(chóng)工具，通過(guò)多次隨機抽取一定時(shí)間段的數據進(jìn)行實(shí)驗分析。全部網(wǎng)絡(luò )輿情分為思想反應、問(wèn)題傾向、工作動(dòng)態(tài)、對策建議4類(lèi)。得到的實(shí)驗數據如表1所示。
　　根據實(shí)驗數據可以發(fā)現，準確率和召回率都沒(méi)有參考價(jià)值。因此，在此基礎上將分類(lèi)具體化，不再使用“思想反應”等抽象分類(lèi)。同時(shí)增加類(lèi)別，如股市證券、“十三五”規劃、涉警突發(fā)事件等具體類(lèi)別，并逐步增加類(lèi)別。得到一組實(shí)驗數據如表2所示。
　　實(shí)驗發(fā)現，涉警突發(fā)事件的分類(lèi)，由于該類(lèi)型的特點(diǎn)，其數據源可以在短時(shí)間內集中，特征詞比較單一，可以獲得較好的實(shí)驗結果，及時(shí)預警的此類(lèi)事件?？梢园l(fā)揮更好的作用。
　　4.3 實(shí)驗結論
　　通過(guò)以上實(shí)驗可知，為了達到更好的輿情監測效果，應盡可能細化客觀(guān)需求的分類(lèi)；并且，隨著(zhù)分類(lèi)數量的增加和覆蓋范圍的擴大，實(shí)驗的召回率將進(jìn)一步提高。.
　　5 結論
　　隨著(zhù)互聯(lián)網(wǎng)的快速發(fā)展，在線(xiàn)數據量快速增長(cháng)，難以依靠人工進(jìn)行輿情監測。本文提出一種基于自動(dòng)分類(lèi)的網(wǎng)絡(luò )輿情監測方法，可以有效地從海量互聯(lián)網(wǎng)數據中監測各類(lèi)輿情主體信息。在敏感輿情監測方面具有很好的實(shí)用價(jià)值。
　　參考：
　　[1] 馬蘭，亞歷克斯。省級政府輿情監測：紐芬蘭和拉布拉多開(kāi)放線(xiàn)路廣播的流行[J]. 加拿大通訊雜志，2013 (2）:384.
　　[2] 賢一，程玲玲，等?；谡Z(yǔ)義內容識別的網(wǎng)絡(luò )輿情監測分析系統框架[J]. 融合信息技術(shù)學(xué)報, 2010, 5 (10）@ &gt;:48-55.
　　[3] 陳一進(jìn)，曹樹(shù)進(jìn)，陳少馳，等．網(wǎng)絡(luò )輿情信息監測研究進(jìn)展[J]. 圖書(shū)情報知識, 2011 (6）: 41-49.
　　[4] 楊濤．智能信息處理技術(shù)在網(wǎng)絡(luò )輿情分析中的應用[D]. 上海：同濟大學(xué)，2008.
　　[5] 黃小迪. 政府網(wǎng)站輿情監測指標體系及運行機制設計[D]．南京：南京大學(xué)，2013.
　　[6] 洪宇，張宇，劉婷，等。主題檢測與跟蹤的評價(jià)與研究綜述[J]．中國信息學(xué)報, 2007 (6）: 71-87.
　　[7] 蘇以娟，鄧振云，程德波，等。大數據下的快速KNN分類(lèi)算法[J]. 計算機應用研究, 2016 (4）: 1-6. 查看全部