后臺技術(shù)
一篇文章了解爬蟲(chóng)技術(shù)現況 豈安高調分享-
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 342 次瀏覽 ? 2020-07-04 08:01
那是因為，其實(shí)是因為執行js代碼動(dòng)態(tài)添加到標簽上面的，所以這個(gè)時(shí)侯內容在js代碼上面的，而js的執行是在瀏覽器端的操作，所以用程序去懇求網(wǎng)頁(yè)地址的時(shí)侯，得到的response是網(wǎng)頁(yè)代碼和js的代碼，所以自己在瀏覽器端能看到內容，解析時(shí)因為js未執行，肯定找到指定HTML標簽下內容肯定為空，如百度的主頁(yè)就是這些，這個(gè)時(shí)侯的處理辦法，一般來(lái)講主要是要找到包含內容的js代碼串，然后通過(guò)正則表達式獲得相應的內容，而不是解析HTML標簽。B另一種情況是在和用戶(hù)交互時(shí)，JavaScript可能會(huì )動(dòng)態(tài)生成一些dom，如點(diǎn)擊某個(gè)按鍵彈了一個(gè)對話(huà)框等；對于這些情況，一般這種內容都是一些用戶(hù)提示相關(guān)的內容，沒(méi)哪些價(jià)值，如果確實(shí)須要，可以剖析一下js執行邏輯，但這樣的情況極少。Ajax／Fetch異步懇求
這種情況是現今太常見(jiàn)的，尤其是在內容以分頁(yè)方式顯示在網(wǎng)頁(yè)上，并且頁(yè)面無(wú)刷新，或者是對網(wǎng)頁(yè)進(jìn)行某個(gè)交互操作后，得到內容。對于這些頁(yè)面，分析的時(shí)侯我們要跟蹤所有的懇求，觀(guān)察數據究竟是在哪一步加載進(jìn)來(lái)的。然后當我們找到核心的異步懇求的時(shí)侯，就只需抓取這個(gè)異步懇求就可以了，如果原始網(wǎng)頁(yè)沒(méi)有任何有用信息，也沒(méi)必要去抓取原始網(wǎng)頁(yè)了。 爬蟲(chóng)技術(shù)的現況 01語(yǔ)言
理論上來(lái)說(shuō)，任何支持網(wǎng)路通訊的語(yǔ)言都是可以寫(xiě)爬蟲(chóng)的，爬蟲(chóng)本身其實(shí)語(yǔ)言關(guān)系不大，但是，總有相對順手、簡(jiǎn)單的。目前來(lái)說(shuō)，大多數爬蟲(chóng)是用后臺腳本類(lèi)語(yǔ)言寫(xiě)的，其中python無(wú)疑是用的最多最廣的，并且頁(yè)誕生了好多優(yōu)秀的庫和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。但是一般來(lái)說(shuō)，搜索引擎的爬蟲(chóng)對爬蟲(chóng)的效率要求更高，會(huì )選用c++、java、go(適合高并發(fā))，詳情排名前50的開(kāi)源Web爬蟲(chóng)用于數據挖掘。我在學(xué)院時(shí)代就用c++實(shí)現了一個(gè)多線(xiàn)程的框架，但是發(fā)覺(jué)和python實(shí)現的爬蟲(chóng)效率提高并不顯著(zhù)nsf爬蟲(chóng)軟件，原因是，對于簡(jiǎn)單爬蟲(chóng)nsf爬蟲(chóng)軟件，瓶頸在于數據剖析及提取，而網(wǎng)路效率和語(yǔ)言關(guān)系并不大。值得一提的是，在近幾年node發(fā)展特別快， 使得javascript遍地開(kāi)花，有些人也開(kāi)始嘗試用node做爬蟲(chóng)，但是，這也許和其它后臺腳本語(yǔ)言沒(méi)哪些區別，也不如python簡(jiǎn)單， 因為你仍然不能在node里發(fā)起ajax懇求，不能執行原網(wǎng)頁(yè)的dom。因為node的javascript執行環(huán)境和瀏覽器的執行環(huán)境并不相同。那么，難道就真的不能象在瀏覽器中一樣用js寫(xiě)爬蟲(chóng)，用jquery提取內容嗎？想法太大膽，我們姑且擱置。 02運行環(huán)境
爬蟲(chóng)本身不分辨究竟是運行在windows還是Linux，又或是OSX，但從業(yè)務(wù)角度講，我們把運行在服務(wù)端(后臺)的，稱(chēng)之為后臺爬蟲(chóng)。而如今，幾乎所有的爬蟲(chóng)都是后臺爬蟲(chóng)。后
臺爬蟲(chóng)的三大問(wèn)題
后臺爬蟲(chóng)在大行其道的時(shí)侯，也有著(zhù)些許棘手的、到目前也沒(méi)有哪些好的解決方案問(wèn)題，而歸根結底，這些問(wèn)題的根本緣由是因為后臺爬蟲(chóng)的先天不足造成，在即將討論之前，我們先思索一個(gè)問(wèn)題，“爬蟲(chóng)和瀏覽器有哪些優(yōu)缺？” 01相同點(diǎn)
本質(zhì)上都是通過(guò)http/https合同懇求互聯(lián)網(wǎng)數據 02不同點(diǎn)
爬蟲(chóng)通常為自動(dòng)化程序，無(wú)需用用戶(hù)交互，而瀏覽器不是；運行場(chǎng)景不同；瀏覽器運行在客戶(hù)端，而爬蟲(chóng)通常都跑在服務(wù)端；能力不同；瀏覽器包含渲染引擎、javascript虛擬機，而爬蟲(chóng)通常都不具備這三者。了解了這種，我們再來(lái)瞧瞧后臺面臨的問(wèn)題：01問(wèn)題一：交互問(wèn)題
有些網(wǎng)頁(yè)常常須要和用戶(hù)進(jìn)行一些交互，進(jìn)而能夠走到下一步，比如輸入一個(gè)驗證碼，拖動(dòng)一個(gè)滑塊，選幾個(gè)漢字。網(wǎng)站之所以如此做，很多時(shí)侯都是為了驗證訪(fǎng)問(wèn)者究竟是人還是機器。 而爬蟲(chóng)程序遇見(jiàn)這些情況很難處理，傳統的簡(jiǎn)單圖片驗證碼可以通過(guò)圖形處理算法讀出內容，但是隨著(zhù)各種各樣，花樣百出，人神共憤的、變態(tài)的驗證碼越來(lái)越多（尤其是買(mǎi)火車(chē)票時(shí)，分分鐘都想爆臟話(huà)），這個(gè)問(wèn)題就越來(lái)越嚴重。
02問(wèn)題二：Javascript 解析問(wèn)題
如前文所述，javascript可以動(dòng)態(tài)生成dom。目前大多數網(wǎng)頁(yè)屬于動(dòng)態(tài)網(wǎng)頁(yè)（內容由javascript動(dòng)態(tài)填充），尤其是在移動(dòng)端，SPA/PWA應用越來(lái)越流行，網(wǎng)頁(yè)中大多數有用的數據都是通過(guò)ajax/fetch動(dòng)態(tài)獲取后之后再由js填充到網(wǎng)頁(yè)dom樹(shù)中，單純的html靜態(tài)頁(yè)面中有用的數據甚少。 目前主要應對的方案就是對于js ajax/fetch懇求直接懇求ajax/fetch的url ，但是還有一些ajax的懇求參數會(huì )依賴(lài)一段javascript動(dòng)態(tài)生成，比如一個(gè)懇求簽名，再例如用戶(hù)登錄時(shí)對密碼的加密等等，如果一昧的去用后臺腳本去干javascript原本做的事，這就要清楚的理解原網(wǎng)頁(yè)代碼邏輯，而這除了特別麻煩，而且會(huì )使你的爬取代碼異常龐大臃腫。 但是，更致命的是，有些javascript可以做的事爬蟲(chóng)程序是很難甚至是不能模仿的，比如有些網(wǎng)站使用拖動(dòng)滑塊到某個(gè)位置的驗證碼機制，這就很難再爬蟲(chóng)中去模仿。 其實(shí)，總結一些，這些弊病歸根結底，是因為爬蟲(chóng)程序并非是瀏覽器，沒(méi)有javascript解析引擎所致。針對這個(gè)問(wèn)題，目前主要的應對策略就是在爬蟲(chóng)中引入Javascript 引擎，如PhantomJS，但是又有著(zhù)顯著(zhù)的弊病，如服務(wù)器同時(shí)有多個(gè)爬取任務(wù)時(shí)，資源占用很大。
還有就是，這些無(wú)窗口的javascript引擎好多時(shí)侯使用上去并不能象在瀏覽器環(huán)境中一樣，頁(yè)面內部發(fā)生跳轉時(shí)，會(huì )導致流程很難控制。03問(wèn)題三：IP限制
這是目前對后臺爬蟲(chóng)中最致命的。網(wǎng)站的防火墻會(huì )對某個(gè)固定ip在某段時(shí)間內懇求的次數做限制，如果沒(méi)有超過(guò)上線(xiàn)則正常返回數據，超過(guò)了，則拒絕懇求，如qq郵箱。 值得說(shuō)明的是，ip限制有時(shí)并非是專(zhuān)門(mén)為了針對爬蟲(chóng)的，而大多數時(shí)侯是出于網(wǎng)站安全緣由針對DOS攻擊的防御舉措。后臺爬取時(shí)機器和ip有限，很容易達到上線(xiàn)而造成懇求被拒絕。目前主要的應對方案是使用代理，這樣一來(lái)ip的數目都會(huì )多一些，但代理ip仍然有限，對于這個(gè)問(wèn)題，根本不可能徹底解決。 作者：lazydu 查看全部
那是因為，其實(shí)是因為執行js代碼動(dòng)態(tài)添加到標簽上面的，所以這個(gè)時(shí)侯內容在js代碼上面的，而js的執行是在瀏覽器端的操作，所以用程序去懇求網(wǎng)頁(yè)地址的時(shí)侯，得到的response是網(wǎng)頁(yè)代碼和js的代碼，所以自己在瀏覽器端能看到內容，解析時(shí)因為js未執行，肯定找到指定HTML標簽下內容肯定為空，如百度的主頁(yè)就是這些，這個(gè)時(shí)侯的處理辦法，一般來(lái)講主要是要找到包含內容的js代碼串，然后通過(guò)正則表達式獲得相應的內容，而不是解析HTML標簽。B另一種情況是在和用戶(hù)交互時(shí)，JavaScript可能會(huì )動(dòng)態(tài)生成一些dom，如點(diǎn)擊某個(gè)按鍵彈了一個(gè)對話(huà)框等；對于這些情況，一般這種內容都是一些用戶(hù)提示相關(guān)的內容，沒(méi)哪些價(jià)值，如果確實(shí)須要，可以剖析一下js執行邏輯，但這樣的情況極少。Ajax／Fetch異步懇求
這種情況是現今太常見(jiàn)的，尤其是在內容以分頁(yè)方式顯示在網(wǎng)頁(yè)上，并且頁(yè)面無(wú)刷新，或者是對網(wǎng)頁(yè)進(jìn)行某個(gè)交互操作后，得到內容。對于這些頁(yè)面，分析的時(shí)侯我們要跟蹤所有的懇求，觀(guān)察數據究竟是在哪一步加載進(jìn)來(lái)的。然后當我們找到核心的異步懇求的時(shí)侯，就只需抓取這個(gè)異步懇求就可以了，如果原始網(wǎng)頁(yè)沒(méi)有任何有用信息，也沒(méi)必要去抓取原始網(wǎng)頁(yè)了。 爬蟲(chóng)技術(shù)的現況 01語(yǔ)言
理論上來(lái)說(shuō)，任何支持網(wǎng)路通訊的語(yǔ)言都是可以寫(xiě)爬蟲(chóng)的，爬蟲(chóng)本身其實(shí)語(yǔ)言關(guān)系不大，但是，總有相對順手、簡(jiǎn)單的。目前來(lái)說(shuō)，大多數爬蟲(chóng)是用后臺腳本類(lèi)語(yǔ)言寫(xiě)的，其中python無(wú)疑是用的最多最廣的，并且頁(yè)誕生了好多優(yōu)秀的庫和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。但是一般來(lái)說(shuō)，搜索引擎的爬蟲(chóng)對爬蟲(chóng)的效率要求更高，會(huì )選用c++、java、go(適合高并發(fā))，詳情排名前50的開(kāi)源Web爬蟲(chóng)用于數據挖掘。我在學(xué)院時(shí)代就用c++實(shí)現了一個(gè)多線(xiàn)程的框架，但是發(fā)覺(jué)和python實(shí)現的爬蟲(chóng)效率提高并不顯著(zhù)nsf爬蟲(chóng)軟件，原因是，對于簡(jiǎn)單爬蟲(chóng)nsf爬蟲(chóng)軟件，瓶頸在于數據剖析及提取，而網(wǎng)路效率和語(yǔ)言關(guān)系并不大。值得一提的是，在近幾年node發(fā)展特別快， 使得javascript遍地開(kāi)花，有些人也開(kāi)始嘗試用node做爬蟲(chóng)，但是，這也許和其它后臺腳本語(yǔ)言沒(méi)哪些區別，也不如python簡(jiǎn)單， 因為你仍然不能在node里發(fā)起ajax懇求，不能執行原網(wǎng)頁(yè)的dom。因為node的javascript執行環(huán)境和瀏覽器的執行環(huán)境并不相同。那么，難道就真的不能象在瀏覽器中一樣用js寫(xiě)爬蟲(chóng)，用jquery提取內容嗎？想法太大膽，我們姑且擱置。 02運行環(huán)境
爬蟲(chóng)本身不分辨究竟是運行在windows還是Linux，又或是OSX，但從業(yè)務(wù)角度講，我們把運行在服務(wù)端(后臺)的，稱(chēng)之為后臺爬蟲(chóng)。而如今，幾乎所有的爬蟲(chóng)都是后臺爬蟲(chóng)。后
臺爬蟲(chóng)的三大問(wèn)題
后臺爬蟲(chóng)在大行其道的時(shí)侯，也有著(zhù)些許棘手的、到目前也沒(méi)有哪些好的解決方案問(wèn)題，而歸根結底，這些問(wèn)題的根本緣由是因為后臺爬蟲(chóng)的先天不足造成，在即將討論之前，我們先思索一個(gè)問(wèn)題，“爬蟲(chóng)和瀏覽器有哪些優(yōu)缺？” 01相同點(diǎn)
本質(zhì)上都是通過(guò)http/https合同懇求互聯(lián)網(wǎng)數據 02不同點(diǎn)
爬蟲(chóng)通常為自動(dòng)化程序，無(wú)需用用戶(hù)交互，而瀏覽器不是；運行場(chǎng)景不同；瀏覽器運行在客戶(hù)端，而爬蟲(chóng)通常都跑在服務(wù)端；能力不同；瀏覽器包含渲染引擎、javascript虛擬機，而爬蟲(chóng)通常都不具備這三者。了解了這種，我們再來(lái)瞧瞧后臺面臨的問(wèn)題：01問(wèn)題一：交互問(wèn)題
有些網(wǎng)頁(yè)常常須要和用戶(hù)進(jìn)行一些交互，進(jìn)而能夠走到下一步，比如輸入一個(gè)驗證碼，拖動(dòng)一個(gè)滑塊，選幾個(gè)漢字。網(wǎng)站之所以如此做，很多時(shí)侯都是為了驗證訪(fǎng)問(wèn)者究竟是人還是機器。 而爬蟲(chóng)程序遇見(jiàn)這些情況很難處理，傳統的簡(jiǎn)單圖片驗證碼可以通過(guò)圖形處理算法讀出內容，但是隨著(zhù)各種各樣，花樣百出，人神共憤的、變態(tài)的驗證碼越來(lái)越多（尤其是買(mǎi)火車(chē)票時(shí)，分分鐘都想爆臟話(huà)），這個(gè)問(wèn)題就越來(lái)越嚴重。
02問(wèn)題二：Javascript 解析問(wèn)題
如前文所述，javascript可以動(dòng)態(tài)生成dom。目前大多數網(wǎng)頁(yè)屬于動(dòng)態(tài)網(wǎng)頁(yè)（內容由javascript動(dòng)態(tài)填充），尤其是在移動(dòng)端，SPA/PWA應用越來(lái)越流行，網(wǎng)頁(yè)中大多數有用的數據都是通過(guò)ajax/fetch動(dòng)態(tài)獲取后之后再由js填充到網(wǎng)頁(yè)dom樹(shù)中，單純的html靜態(tài)頁(yè)面中有用的數據甚少。 目前主要應對的方案就是對于js ajax/fetch懇求直接懇求ajax/fetch的url ，但是還有一些ajax的懇求參數會(huì )依賴(lài)一段javascript動(dòng)態(tài)生成，比如一個(gè)懇求簽名，再例如用戶(hù)登錄時(shí)對密碼的加密等等，如果一昧的去用后臺腳本去干javascript原本做的事，這就要清楚的理解原網(wǎng)頁(yè)代碼邏輯，而這除了特別麻煩，而且會(huì )使你的爬取代碼異常龐大臃腫。 但是，更致命的是，有些javascript可以做的事爬蟲(chóng)程序是很難甚至是不能模仿的，比如有些網(wǎng)站使用拖動(dòng)滑塊到某個(gè)位置的驗證碼機制，這就很難再爬蟲(chóng)中去模仿。 其實(shí)，總結一些，這些弊病歸根結底，是因為爬蟲(chóng)程序并非是瀏覽器，沒(méi)有javascript解析引擎所致。針對這個(gè)問(wèn)題，目前主要的應對策略就是在爬蟲(chóng)中引入Javascript 引擎，如PhantomJS，但是又有著(zhù)顯著(zhù)的弊病，如服務(wù)器同時(shí)有多個(gè)爬取任務(wù)時(shí)，資源占用很大。
還有就是，這些無(wú)窗口的javascript引擎好多時(shí)侯使用上去并不能象在瀏覽器環(huán)境中一樣，頁(yè)面內部發(fā)生跳轉時(shí)，會(huì )導致流程很難控制。03問(wèn)題三：IP限制
這是目前對后臺爬蟲(chóng)中最致命的。網(wǎng)站的防火墻會(huì )對某個(gè)固定ip在某段時(shí)間內懇求的次數做限制，如果沒(méi)有超過(guò)上線(xiàn)則正常返回數據，超過(guò)了，則拒絕懇求，如qq郵箱。 值得說(shuō)明的是，ip限制有時(shí)并非是專(zhuān)門(mén)為了針對爬蟲(chóng)的，而大多數時(shí)侯是出于網(wǎng)站安全緣由針對DOS攻擊的防御舉措。后臺爬取時(shí)機器和ip有限，很容易達到上線(xiàn)而造成懇求被拒絕。目前主要的應對方案是使用代理，這樣一來(lái)ip的數目都會(huì )多一些，但代理ip仍然有限，對于這個(gè)問(wèn)題，根本不可能徹底解決。 作者：lazydu
好站長(cháng)資源免費分享精品源碼,建站技術(shù)，服務(wù)器安全防護等等各種網(wǎng)路資源分享
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 444 次瀏覽 ? 2020-05-21 08:00
前段時(shí)間幫幾個(gè)顧客安裝過(guò)，功能還算很不錯的，在這里完全免費分享下來(lái)。源碼沒(méi)有任何的限制，任何域名都可以正常使用。以下部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試。
9-9 全面升級程序模板，導航升級，以及寶貝展示升級，添加分享，原價(jià)折扣價(jià)，銷(xiāo)量全部展示，圖片修改為正方形310*310都是依照顧客的需求優(yōu)化的。
優(yōu)化原本值得買(mǎi)頁(yè)面，以及升級文章頁(yè)面改成哪些值得買(mǎi)頁(yè)面，優(yōu)化值得逛頁(yè)面，增加品牌團。支持后臺添加品牌上傳圖片
9-30號升級程序內核功能以及優(yōu)化相關(guān)小問(wèn)題。詳細請看演示。增加404，全站寶貝描述，后臺文章編輯器，前臺文章調用，預告采集，寶貝顯示款式，全面升級
9-9號全面升級頁(yè)面降低品牌團等等多功能
8-29 修復后臺一鍵手動(dòng)采集價(jià)格0元錯誤
8-21升級程序飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，全新安裝包，修復手機版，增加報考頁(yè)面，以及安裝不需要恢復數據，增加偽靜態(tài)規則。。。。
6.0的內核和性能比5.0的好好多，并且降低獨立緩存技術(shù)。加速網(wǎng)站。 后期更新升級。。。
支持，后臺一鍵手動(dòng)采集，以及各個(gè)地方相關(guān)logo直接后臺上傳更改即可，非常簡(jiǎn)便飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，新手也會(huì )操作。
客服，等等后臺可以操作，支持顯示寶貝詳盡，后臺單品采集可以采集寶貝詳盡，支持u站采集寶貝詳盡。
會(huì )員系統，報名系統，后臺系統全面升級，
前臺有些廣告位沒(méi)有設置，后期會(huì )更新教程給你們。
本次升級有使用6.0的可以直接覆蓋升級，但是沒(méi)有寶貝詳盡。6.0亮點(diǎn)：u站采，淘寶網(wǎng)采集一鍵手動(dòng)采集，單品采集，寶貝描述，后臺可以在線(xiàn)升級。。功能趕超所有版本飛天俠，全網(wǎng)惟一一家可以更新的，幾千客戶(hù)體驗和支持我們，謝謝大家選擇我們，我們程序以?xún)?yōu)價(jià)分享，結交更多好朋友，本站開(kāi)啟超級群，和開(kāi)放群。還有更多功能后期繼續上線(xiàn)，后臺在線(xiàn)升級哈
以上部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試
下面演示圖片100%為我們親測截圖 查看全部
前段時(shí)間幫幾個(gè)顧客安裝過(guò)，功能還算很不錯的，在這里完全免費分享下來(lái)。源碼沒(méi)有任何的限制，任何域名都可以正常使用。以下部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試。
9-9 全面升級程序模板，導航升級，以及寶貝展示升級，添加分享，原價(jià)折扣價(jià)，銷(xiāo)量全部展示，圖片修改為正方形310*310都是依照顧客的需求優(yōu)化的。
優(yōu)化原本值得買(mǎi)頁(yè)面，以及升級文章頁(yè)面改成哪些值得買(mǎi)頁(yè)面，優(yōu)化值得逛頁(yè)面，增加品牌團。支持后臺添加品牌上傳圖片
9-30號升級程序內核功能以及優(yōu)化相關(guān)小問(wèn)題。詳細請看演示。增加404，全站寶貝描述，后臺文章編輯器，前臺文章調用，預告采集，寶貝顯示款式，全面升級
9-9號全面升級頁(yè)面降低品牌團等等多功能
8-29 修復后臺一鍵手動(dòng)采集價(jià)格0元錯誤
8-21升級程序飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，全新安裝包，修復手機版，增加報考頁(yè)面，以及安裝不需要恢復數據，增加偽靜態(tài)規則。。。。
6.0的內核和性能比5.0的好好多，并且降低獨立緩存技術(shù)。加速網(wǎng)站。 后期更新升級。。。
支持，后臺一鍵手動(dòng)采集，以及各個(gè)地方相關(guān)logo直接后臺上傳更改即可，非常簡(jiǎn)便飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，新手也會(huì )操作。
客服，等等后臺可以操作，支持顯示寶貝詳盡，后臺單品采集可以采集寶貝詳盡，支持u站采集寶貝詳盡。
會(huì )員系統，報名系統，后臺系統全面升級，
前臺有些廣告位沒(méi)有設置，后期會(huì )更新教程給你們。
本次升級有使用6.0的可以直接覆蓋升級，但是沒(méi)有寶貝詳盡。6.0亮點(diǎn)：u站采，淘寶網(wǎng)采集一鍵手動(dòng)采集，單品采集，寶貝描述，后臺可以在線(xiàn)升級。。功能趕超所有版本飛天俠，全網(wǎng)惟一一家可以更新的，幾千客戶(hù)體驗和支持我們，謝謝大家選擇我們，我們程序以?xún)?yōu)價(jià)分享，結交更多好朋友，本站開(kāi)啟超級群，和開(kāi)放群。還有更多功能后期繼續上線(xiàn)，后臺在線(xiàn)升級哈
以上部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試
下面演示圖片100%為我們親測截圖
MSVOD V9教程之后臺采集管理怎么填寫(xiě)采集規則圖文
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 492 次瀏覽 ? 2020-04-26 11:00
MSVOD V9教程之后臺采集管理怎么填寫(xiě)采集規則圖文教程詳盡
雨過(guò)天晴工作室發(fā)覺(jué)好多同學(xué)在使用魅思CMS過(guò)程中不會(huì )寫(xiě)規則，有些同學(xué)又不想用火車(chē)頭采集，那后臺自帶的采集就是挺好的選擇。以下就是怎樣在MSVOD v9后臺寫(xiě)采集規則的詳盡教程，只要你有點(diǎn)網(wǎng)頁(yè)基礎知識可以直接學(xué)習自己制做吧
一、簡(jiǎn)介
文章的采集功能是通過(guò)程序來(lái)遠程獲取目標網(wǎng)頁(yè)內容，經(jīng)過(guò)本地規則解析處理后儲存到服務(wù)器的數據庫內。
文章采集系統顛覆傳統采集模式和流程火車(chē)頭采集教程，采集規則與采集界面分離,規則設置更簡(jiǎn)單，只需有基礎技術(shù)知識的人員設置好相關(guān)規則。
編輯人員無(wú)需了解很過(guò)細節的技 術(shù)規則，只需選中自己想要采集的文章列表火車(chē)頭采集教程，就可以象發(fā)布文章一樣，輕松地完成數據采集操作。
二、功能演示
一、采集流程 簡(jiǎn)單的講有三個(gè)步驟： 1、添加采集點(diǎn)，填寫(xiě)采集規則。 2、采集網(wǎng)址，采集內容 3、發(fā)布內容到指定欄目
以采集新浪新聞()為例，作一下詳盡流程介紹。
實(shí)例說(shuō)明： 目標：采集新浪新聞到V9系統 “國內” 欄目中。 目標網(wǎng)址： 1、添加采集點(diǎn) 2. 網(wǎng)址規則配置
1. 添加采集點(diǎn)，填寫(xiě)采集規則
A.內容規則
注：上圖的“目標網(wǎng)頁(yè)源碼”是指：目標網(wǎng)頁(yè)的源代碼。具體步驟如下：
目標網(wǎng)頁(yè)——>右鍵——>查看源代碼——>找到你要采集的源代碼開(kāi)始和結束，按“上圖”填寫(xiě)規則。 查看全部
雨過(guò)天晴工作室發(fā)覺(jué)好多同學(xué)在使用魅思CMS過(guò)程中不會(huì )寫(xiě)規則，有些同學(xué)又不想用火車(chē)頭采集，那后臺自帶的采集就是挺好的選擇。以下就是怎樣在MSVOD v9后臺寫(xiě)采集規則的詳盡教程，只要你有點(diǎn)網(wǎng)頁(yè)基礎知識可以直接學(xué)習自己制做吧
一、簡(jiǎn)介
文章的采集功能是通過(guò)程序來(lái)遠程獲取目標網(wǎng)頁(yè)內容，經(jīng)過(guò)本地規則解析處理后儲存到服務(wù)器的數據庫內。
文章采集系統顛覆傳統采集模式和流程火車(chē)頭采集教程，采集規則與采集界面分離,規則設置更簡(jiǎn)單，只需有基礎技術(shù)知識的人員設置好相關(guān)規則。
編輯人員無(wú)需了解很過(guò)細節的技 術(shù)規則，只需選中自己想要采集的文章列表火車(chē)頭采集教程，就可以象發(fā)布文章一樣，輕松地完成數據采集操作。
二、功能演示
一、采集流程 簡(jiǎn)單的講有三個(gè)步驟： 1、添加采集點(diǎn)，填寫(xiě)采集規則。 2、采集網(wǎng)址，采集內容 3、發(fā)布內容到指定欄目
以采集新浪新聞()為例，作一下詳盡流程介紹。
實(shí)例說(shuō)明： 目標：采集新浪新聞到V9系統 “國內” 欄目中。 目標網(wǎng)址： 1、添加采集點(diǎn) 2. 網(wǎng)址規則配置
1. 添加采集點(diǎn)，填寫(xiě)采集規則
A.內容規則
注：上圖的“目標網(wǎng)頁(yè)源碼”是指：目標網(wǎng)頁(yè)的源代碼。具體步驟如下：
目標網(wǎng)頁(yè)——>右鍵——>查看源代碼——>找到你要采集的源代碼開(kāi)始和結束，按“上圖”填寫(xiě)規則。 查看全部
MSVOD V9教程之后臺采集管理怎么填寫(xiě)采集規則圖文教程詳盡
雨過(guò)天晴工作室發(fā)覺(jué)好多同學(xué)在使用魅思CMS過(guò)程中不會(huì )寫(xiě)規則，有些同學(xué)又不想用火車(chē)頭采集，那后臺自帶的采集就是挺好的選擇。以下就是怎樣在MSVOD v9后臺寫(xiě)采集規則的詳盡教程，只要你有點(diǎn)網(wǎng)頁(yè)基礎知識可以直接學(xué)習自己制做吧
一、簡(jiǎn)介
文章的采集功能是通過(guò)程序來(lái)遠程獲取目標網(wǎng)頁(yè)內容，經(jīng)過(guò)本地規則解析處理后儲存到服務(wù)器的數據庫內。
文章采集系統顛覆傳統采集模式和流程火車(chē)頭采集教程，采集規則與采集界面分離,規則設置更簡(jiǎn)單，只需有基礎技術(shù)知識的人員設置好相關(guān)規則。
編輯人員無(wú)需了解很過(guò)細節的技 術(shù)規則，只需選中自己想要采集的文章列表火車(chē)頭采集教程，就可以象發(fā)布文章一樣，輕松地完成數據采集操作。
二、功能演示
一、采集流程 簡(jiǎn)單的講有三個(gè)步驟： 1、添加采集點(diǎn)，填寫(xiě)采集規則。 2、采集網(wǎng)址，采集內容 3、發(fā)布內容到指定欄目
以采集新浪新聞()為例，作一下詳盡流程介紹。
實(shí)例說(shuō)明： 目標：采集新浪新聞到V9系統 “國內” 欄目中。 目標網(wǎng)址： 1、添加采集點(diǎn) 2. 網(wǎng)址規則配置
1. 添加采集點(diǎn)，填寫(xiě)采集規則
A.內容規則
注：上圖的“目標網(wǎng)頁(yè)源碼”是指：目標網(wǎng)頁(yè)的源代碼。具體步驟如下：
目標網(wǎng)頁(yè)——>右鍵——>查看源代碼——>找到你要采集的源代碼開(kāi)始和結束，按“上圖”填寫(xiě)規則。
Dedecms后臺還原數據提示:沒(méi)有該欄目數據可能緩存文件沒(méi)更新
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 286 次瀏覽 ? 2020-04-09 11:10
織夢(mèng)dedecms程序建站問(wèn)題還是挺多的，對這款程序研究比較透徹的解決上去還便捷些，如果是菜鳥(niǎo)遇見(jiàn)了可能還真是須要好好尋思一段時(shí)間，一位站長(cháng)同事聽(tīng)同學(xué)介紹說(shuō)無(wú)憂(yōu)主機獨立IP空間特別適宜網(wǎng)站優(yōu)化，于是就訂購了目前銷(xiāo)售最為火熱的hkip300M主機空間織夢(mèng)數據還原文件織夢(mèng)數據還原文件，購買(mǎi)后因為自己是菜鳥(niǎo)又不知道怎么搬家，于是就聯(lián)系到了小編幫忙從西部數碼搬家過(guò)來(lái)。搬家過(guò)程還是比較順利的，可是在搬家后小編登錄該顧客的網(wǎng)站后臺去重新更新欄目和生成文件的時(shí)侯報錯了，報錯提示如下：
沒(méi)有該欄目數據可能緩存文件(data/cache/inc_catalog_base.inc)沒(méi)有更新請檢測是否有寫(xiě)入權限。小編還專(zhuān)門(mén)截圖保存了，如下圖：
相信以上的問(wèn)題不止是小編一個(gè)人遇見(jiàn)過(guò)吧，小編在百度問(wèn)答也聽(tīng)到之前有站長(cháng)朋友們咨詢(xún)過(guò)類(lèi)似的問(wèn)題，那么遇見(jiàn)這個(gè)苦惱的問(wèn)題究竟該怎么解決呢？下面小編就來(lái)分享下解決的方式吧。
解決的思路：其實(shí)在網(wǎng)站的后臺更新的時(shí)侯，織夢(mèng)程序會(huì )手動(dòng)生成一個(gè)緩存文件。緩存文件名稱(chēng)是：inc_catalog_base.inc。
具體處理方式：
第一步：登陸到主機空間，查看下文件的權限是否是執行權限，如果不是請修改為755執行權限。
第二步：找到緩存文件inc_catalog_base.inc直接刪掉。
第三步：登陸網(wǎng)站的后臺更新緩存，步驟：點(diǎn)擊生成–>更新系統緩存–>開(kāi)始執行就可以。
第四步：再次生成一次欄目-更新欄目HTML就大功告成了。 查看全部
織夢(mèng)dedecms程序建站問(wèn)題還是挺多的，對這款程序研究比較透徹的解決上去還便捷些，如果是菜鳥(niǎo)遇見(jiàn)了可能還真是須要好好尋思一段時(shí)間，一位站長(cháng)同事聽(tīng)同學(xué)介紹說(shuō)無(wú)憂(yōu)主機獨立IP空間特別適宜網(wǎng)站優(yōu)化，于是就訂購了目前銷(xiāo)售最為火熱的hkip300M主機空間織夢(mèng)數據還原文件織夢(mèng)數據還原文件，購買(mǎi)后因為自己是菜鳥(niǎo)又不知道怎么搬家，于是就聯(lián)系到了小編幫忙從西部數碼搬家過(guò)來(lái)。搬家過(guò)程還是比較順利的，可是在搬家后小編登錄該顧客的網(wǎng)站后臺去重新更新欄目和生成文件的時(shí)侯報錯了，報錯提示如下：
沒(méi)有該欄目數據可能緩存文件(data/cache/inc_catalog_base.inc)沒(méi)有更新請檢測是否有寫(xiě)入權限。小編還專(zhuān)門(mén)截圖保存了，如下圖：
相信以上的問(wèn)題不止是小編一個(gè)人遇見(jiàn)過(guò)吧，小編在百度問(wèn)答也聽(tīng)到之前有站長(cháng)朋友們咨詢(xún)過(guò)類(lèi)似的問(wèn)題，那么遇見(jiàn)這個(gè)苦惱的問(wèn)題究竟該怎么解決呢？下面小編就來(lái)分享下解決的方式吧。
解決的思路：其實(shí)在網(wǎng)站的后臺更新的時(shí)侯，織夢(mèng)程序會(huì )手動(dòng)生成一個(gè)緩存文件。緩存文件名稱(chēng)是：inc_catalog_base.inc。
具體處理方式：
第一步：登陸到主機空間，查看下文件的權限是否是執行權限，如果不是請修改為755執行權限。
第二步：找到緩存文件inc_catalog_base.inc直接刪掉。
第三步：登陸網(wǎng)站的后臺更新緩存，步驟：點(diǎn)擊生成–>更新系統緩存–>開(kāi)始執行就可以。
第四步：再次生成一次欄目-更新欄目HTML就大功告成了。
一篇文章了解爬蟲(chóng)技術(shù)現況 豈安高調分享-
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 342 次瀏覽 ? 2020-07-04 08:01
那是因為，其實(shí)是因為執行js代碼動(dòng)態(tài)添加到標簽上面的，所以這個(gè)時(shí)侯內容在js代碼上面的，而js的執行是在瀏覽器端的操作，所以用程序去懇求網(wǎng)頁(yè)地址的時(shí)侯，得到的response是網(wǎng)頁(yè)代碼和js的代碼，所以自己在瀏覽器端能看到內容，解析時(shí)因為js未執行，肯定找到指定HTML標簽下內容肯定為空，如百度的主頁(yè)就是這些，這個(gè)時(shí)侯的處理辦法，一般來(lái)講主要是要找到包含內容的js代碼串，然后通過(guò)正則表達式獲得相應的內容，而不是解析HTML標簽。B另一種情況是在和用戶(hù)交互時(shí)，JavaScript可能會(huì )動(dòng)態(tài)生成一些dom，如點(diǎn)擊某個(gè)按鍵彈了一個(gè)對話(huà)框等；對于這些情況，一般這種內容都是一些用戶(hù)提示相關(guān)的內容，沒(méi)哪些價(jià)值，如果確實(shí)須要，可以剖析一下js執行邏輯，但這樣的情況極少。Ajax／Fetch異步懇求
這種情況是現今太常見(jiàn)的，尤其是在內容以分頁(yè)方式顯示在網(wǎng)頁(yè)上，并且頁(yè)面無(wú)刷新，或者是對網(wǎng)頁(yè)進(jìn)行某個(gè)交互操作后，得到內容。對于這些頁(yè)面，分析的時(shí)侯我們要跟蹤所有的懇求，觀(guān)察數據究竟是在哪一步加載進(jìn)來(lái)的。然后當我們找到核心的異步懇求的時(shí)侯，就只需抓取這個(gè)異步懇求就可以了，如果原始網(wǎng)頁(yè)沒(méi)有任何有用信息，也沒(méi)必要去抓取原始網(wǎng)頁(yè)了。 爬蟲(chóng)技術(shù)的現況 01語(yǔ)言
理論上來(lái)說(shuō)，任何支持網(wǎng)路通訊的語(yǔ)言都是可以寫(xiě)爬蟲(chóng)的，爬蟲(chóng)本身其實(shí)語(yǔ)言關(guān)系不大，但是，總有相對順手、簡(jiǎn)單的。目前來(lái)說(shuō)，大多數爬蟲(chóng)是用后臺腳本類(lèi)語(yǔ)言寫(xiě)的，其中python無(wú)疑是用的最多最廣的，并且頁(yè)誕生了好多優(yōu)秀的庫和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。但是一般來(lái)說(shuō)，搜索引擎的爬蟲(chóng)對爬蟲(chóng)的效率要求更高，會(huì )選用c++、java、go(適合高并發(fā))，詳情排名前50的開(kāi)源Web爬蟲(chóng)用于數據挖掘。我在學(xué)院時(shí)代就用c++實(shí)現了一個(gè)多線(xiàn)程的框架，但是發(fā)覺(jué)和python實(shí)現的爬蟲(chóng)效率提高并不顯著(zhù)nsf爬蟲(chóng)軟件，原因是，對于簡(jiǎn)單爬蟲(chóng)nsf爬蟲(chóng)軟件，瓶頸在于數據剖析及提取，而網(wǎng)路效率和語(yǔ)言關(guān)系并不大。值得一提的是，在近幾年node發(fā)展特別快， 使得javascript遍地開(kāi)花，有些人也開(kāi)始嘗試用node做爬蟲(chóng)，但是，這也許和其它后臺腳本語(yǔ)言沒(méi)哪些區別，也不如python簡(jiǎn)單， 因為你仍然不能在node里發(fā)起ajax懇求，不能執行原網(wǎng)頁(yè)的dom。因為node的javascript執行環(huán)境和瀏覽器的執行環(huán)境并不相同。那么，難道就真的不能象在瀏覽器中一樣用js寫(xiě)爬蟲(chóng)，用jquery提取內容嗎？想法太大膽，我們姑且擱置。 02運行環(huán)境
爬蟲(chóng)本身不分辨究竟是運行在windows還是Linux，又或是OSX，但從業(yè)務(wù)角度講，我們把運行在服務(wù)端(后臺)的，稱(chēng)之為后臺爬蟲(chóng)。而如今，幾乎所有的爬蟲(chóng)都是后臺爬蟲(chóng)。后
臺爬蟲(chóng)的三大問(wèn)題
后臺爬蟲(chóng)在大行其道的時(shí)侯，也有著(zhù)些許棘手的、到目前也沒(méi)有哪些好的解決方案問(wèn)題，而歸根結底，這些問(wèn)題的根本緣由是因為后臺爬蟲(chóng)的先天不足造成，在即將討論之前，我們先思索一個(gè)問(wèn)題，“爬蟲(chóng)和瀏覽器有哪些優(yōu)缺？” 01相同點(diǎn)
本質(zhì)上都是通過(guò)http/https合同懇求互聯(lián)網(wǎng)數據 02不同點(diǎn)
爬蟲(chóng)通常為自動(dòng)化程序，無(wú)需用用戶(hù)交互，而瀏覽器不是；運行場(chǎng)景不同；瀏覽器運行在客戶(hù)端，而爬蟲(chóng)通常都跑在服務(wù)端；能力不同；瀏覽器包含渲染引擎、javascript虛擬機，而爬蟲(chóng)通常都不具備這三者。了解了這種，我們再來(lái)瞧瞧后臺面臨的問(wèn)題：01問(wèn)題一：交互問(wèn)題
有些網(wǎng)頁(yè)常常須要和用戶(hù)進(jìn)行一些交互，進(jìn)而能夠走到下一步，比如輸入一個(gè)驗證碼，拖動(dòng)一個(gè)滑塊，選幾個(gè)漢字。網(wǎng)站之所以如此做，很多時(shí)侯都是為了驗證訪(fǎng)問(wèn)者究竟是人還是機器。 而爬蟲(chóng)程序遇見(jiàn)這些情況很難處理，傳統的簡(jiǎn)單圖片驗證碼可以通過(guò)圖形處理算法讀出內容，但是隨著(zhù)各種各樣，花樣百出，人神共憤的、變態(tài)的驗證碼越來(lái)越多（尤其是買(mǎi)火車(chē)票時(shí)，分分鐘都想爆臟話(huà)），這個(gè)問(wèn)題就越來(lái)越嚴重。
02問(wèn)題二：Javascript 解析問(wèn)題
如前文所述，javascript可以動(dòng)態(tài)生成dom。目前大多數網(wǎng)頁(yè)屬于動(dòng)態(tài)網(wǎng)頁(yè)（內容由javascript動(dòng)態(tài)填充），尤其是在移動(dòng)端，SPA/PWA應用越來(lái)越流行，網(wǎng)頁(yè)中大多數有用的數據都是通過(guò)ajax/fetch動(dòng)態(tài)獲取后之后再由js填充到網(wǎng)頁(yè)dom樹(shù)中，單純的html靜態(tài)頁(yè)面中有用的數據甚少。 目前主要應對的方案就是對于js ajax/fetch懇求直接懇求ajax/fetch的url ，但是還有一些ajax的懇求參數會(huì )依賴(lài)一段javascript動(dòng)態(tài)生成，比如一個(gè)懇求簽名，再例如用戶(hù)登錄時(shí)對密碼的加密等等，如果一昧的去用后臺腳本去干javascript原本做的事，這就要清楚的理解原網(wǎng)頁(yè)代碼邏輯，而這除了特別麻煩，而且會(huì )使你的爬取代碼異常龐大臃腫。 但是，更致命的是，有些javascript可以做的事爬蟲(chóng)程序是很難甚至是不能模仿的，比如有些網(wǎng)站使用拖動(dòng)滑塊到某個(gè)位置的驗證碼機制，這就很難再爬蟲(chóng)中去模仿。 其實(shí)，總結一些，這些弊病歸根結底，是因為爬蟲(chóng)程序并非是瀏覽器，沒(méi)有javascript解析引擎所致。針對這個(gè)問(wèn)題，目前主要的應對策略就是在爬蟲(chóng)中引入Javascript 引擎，如PhantomJS，但是又有著(zhù)顯著(zhù)的弊病，如服務(wù)器同時(shí)有多個(gè)爬取任務(wù)時(shí)，資源占用很大。
還有就是，這些無(wú)窗口的javascript引擎好多時(shí)侯使用上去并不能象在瀏覽器環(huán)境中一樣，頁(yè)面內部發(fā)生跳轉時(shí)，會(huì )導致流程很難控制。03問(wèn)題三：IP限制
這是目前對后臺爬蟲(chóng)中最致命的。網(wǎng)站的防火墻會(huì )對某個(gè)固定ip在某段時(shí)間內懇求的次數做限制，如果沒(méi)有超過(guò)上線(xiàn)則正常返回數據，超過(guò)了，則拒絕懇求，如qq郵箱。 值得說(shuō)明的是，ip限制有時(shí)并非是專(zhuān)門(mén)為了針對爬蟲(chóng)的，而大多數時(shí)侯是出于網(wǎng)站安全緣由針對DOS攻擊的防御舉措。后臺爬取時(shí)機器和ip有限，很容易達到上線(xiàn)而造成懇求被拒絕。目前主要的應對方案是使用代理，這樣一來(lái)ip的數目都會(huì )多一些，但代理ip仍然有限，對于這個(gè)問(wèn)題，根本不可能徹底解決。 作者：lazydu 查看全部
那是因為，其實(shí)是因為執行js代碼動(dòng)態(tài)添加到標簽上面的，所以這個(gè)時(shí)侯內容在js代碼上面的，而js的執行是在瀏覽器端的操作，所以用程序去懇求網(wǎng)頁(yè)地址的時(shí)侯，得到的response是網(wǎng)頁(yè)代碼和js的代碼，所以自己在瀏覽器端能看到內容，解析時(shí)因為js未執行，肯定找到指定HTML標簽下內容肯定為空，如百度的主頁(yè)就是這些，這個(gè)時(shí)侯的處理辦法，一般來(lái)講主要是要找到包含內容的js代碼串，然后通過(guò)正則表達式獲得相應的內容，而不是解析HTML標簽。B另一種情況是在和用戶(hù)交互時(shí)，JavaScript可能會(huì )動(dòng)態(tài)生成一些dom，如點(diǎn)擊某個(gè)按鍵彈了一個(gè)對話(huà)框等；對于這些情況，一般這種內容都是一些用戶(hù)提示相關(guān)的內容，沒(méi)哪些價(jià)值，如果確實(shí)須要，可以剖析一下js執行邏輯，但這樣的情況極少。Ajax／Fetch異步懇求
這種情況是現今太常見(jiàn)的，尤其是在內容以分頁(yè)方式顯示在網(wǎng)頁(yè)上，并且頁(yè)面無(wú)刷新，或者是對網(wǎng)頁(yè)進(jìn)行某個(gè)交互操作后，得到內容。對于這些頁(yè)面，分析的時(shí)侯我們要跟蹤所有的懇求，觀(guān)察數據究竟是在哪一步加載進(jìn)來(lái)的。然后當我們找到核心的異步懇求的時(shí)侯，就只需抓取這個(gè)異步懇求就可以了，如果原始網(wǎng)頁(yè)沒(méi)有任何有用信息，也沒(méi)必要去抓取原始網(wǎng)頁(yè)了。 爬蟲(chóng)技術(shù)的現況 01語(yǔ)言
理論上來(lái)說(shuō)，任何支持網(wǎng)路通訊的語(yǔ)言都是可以寫(xiě)爬蟲(chóng)的，爬蟲(chóng)本身其實(shí)語(yǔ)言關(guān)系不大，但是，總有相對順手、簡(jiǎn)單的。目前來(lái)說(shuō)，大多數爬蟲(chóng)是用后臺腳本類(lèi)語(yǔ)言寫(xiě)的，其中python無(wú)疑是用的最多最廣的，并且頁(yè)誕生了好多優(yōu)秀的庫和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。但是一般來(lái)說(shuō)，搜索引擎的爬蟲(chóng)對爬蟲(chóng)的效率要求更高，會(huì )選用c++、java、go(適合高并發(fā))，詳情排名前50的開(kāi)源Web爬蟲(chóng)用于數據挖掘。我在學(xué)院時(shí)代就用c++實(shí)現了一個(gè)多線(xiàn)程的框架，但是發(fā)覺(jué)和python實(shí)現的爬蟲(chóng)效率提高并不顯著(zhù)nsf爬蟲(chóng)軟件，原因是，對于簡(jiǎn)單爬蟲(chóng)nsf爬蟲(chóng)軟件，瓶頸在于數據剖析及提取，而網(wǎng)路效率和語(yǔ)言關(guān)系并不大。值得一提的是，在近幾年node發(fā)展特別快， 使得javascript遍地開(kāi)花，有些人也開(kāi)始嘗試用node做爬蟲(chóng)，但是，這也許和其它后臺腳本語(yǔ)言沒(méi)哪些區別，也不如python簡(jiǎn)單， 因為你仍然不能在node里發(fā)起ajax懇求，不能執行原網(wǎng)頁(yè)的dom。因為node的javascript執行環(huán)境和瀏覽器的執行環(huán)境并不相同。那么，難道就真的不能象在瀏覽器中一樣用js寫(xiě)爬蟲(chóng)，用jquery提取內容嗎？想法太大膽，我們姑且擱置。 02運行環(huán)境
爬蟲(chóng)本身不分辨究竟是運行在windows還是Linux，又或是OSX，但從業(yè)務(wù)角度講，我們把運行在服務(wù)端(后臺)的，稱(chēng)之為后臺爬蟲(chóng)。而如今，幾乎所有的爬蟲(chóng)都是后臺爬蟲(chóng)。后
臺爬蟲(chóng)的三大問(wèn)題
后臺爬蟲(chóng)在大行其道的時(shí)侯，也有著(zhù)些許棘手的、到目前也沒(méi)有哪些好的解決方案問(wèn)題，而歸根結底，這些問(wèn)題的根本緣由是因為后臺爬蟲(chóng)的先天不足造成，在即將討論之前，我們先思索一個(gè)問(wèn)題，“爬蟲(chóng)和瀏覽器有哪些優(yōu)缺？” 01相同點(diǎn)
本質(zhì)上都是通過(guò)http/https合同懇求互聯(lián)網(wǎng)數據 02不同點(diǎn)
爬蟲(chóng)通常為自動(dòng)化程序，無(wú)需用用戶(hù)交互，而瀏覽器不是；運行場(chǎng)景不同；瀏覽器運行在客戶(hù)端，而爬蟲(chóng)通常都跑在服務(wù)端；能力不同；瀏覽器包含渲染引擎、javascript虛擬機，而爬蟲(chóng)通常都不具備這三者。了解了這種，我們再來(lái)瞧瞧后臺面臨的問(wèn)題：01問(wèn)題一：交互問(wèn)題
有些網(wǎng)頁(yè)常常須要和用戶(hù)進(jìn)行一些交互，進(jìn)而能夠走到下一步，比如輸入一個(gè)驗證碼，拖動(dòng)一個(gè)滑塊，選幾個(gè)漢字。網(wǎng)站之所以如此做，很多時(shí)侯都是為了驗證訪(fǎng)問(wèn)者究竟是人還是機器。 而爬蟲(chóng)程序遇見(jiàn)這些情況很難處理，傳統的簡(jiǎn)單圖片驗證碼可以通過(guò)圖形處理算法讀出內容，但是隨著(zhù)各種各樣，花樣百出，人神共憤的、變態(tài)的驗證碼越來(lái)越多（尤其是買(mǎi)火車(chē)票時(shí)，分分鐘都想爆臟話(huà)），這個(gè)問(wèn)題就越來(lái)越嚴重。
02問(wèn)題二：Javascript 解析問(wèn)題
如前文所述，javascript可以動(dòng)態(tài)生成dom。目前大多數網(wǎng)頁(yè)屬于動(dòng)態(tài)網(wǎng)頁(yè)（內容由javascript動(dòng)態(tài)填充），尤其是在移動(dòng)端，SPA/PWA應用越來(lái)越流行，網(wǎng)頁(yè)中大多數有用的數據都是通過(guò)ajax/fetch動(dòng)態(tài)獲取后之后再由js填充到網(wǎng)頁(yè)dom樹(shù)中，單純的html靜態(tài)頁(yè)面中有用的數據甚少。 目前主要應對的方案就是對于js ajax/fetch懇求直接懇求ajax/fetch的url ，但是還有一些ajax的懇求參數會(huì )依賴(lài)一段javascript動(dòng)態(tài)生成，比如一個(gè)懇求簽名，再例如用戶(hù)登錄時(shí)對密碼的加密等等，如果一昧的去用后臺腳本去干javascript原本做的事，這就要清楚的理解原網(wǎng)頁(yè)代碼邏輯，而這除了特別麻煩，而且會(huì )使你的爬取代碼異常龐大臃腫。 但是，更致命的是，有些javascript可以做的事爬蟲(chóng)程序是很難甚至是不能模仿的，比如有些網(wǎng)站使用拖動(dòng)滑塊到某個(gè)位置的驗證碼機制，這就很難再爬蟲(chóng)中去模仿。 其實(shí)，總結一些，這些弊病歸根結底，是因為爬蟲(chóng)程序并非是瀏覽器，沒(méi)有javascript解析引擎所致。針對這個(gè)問(wèn)題，目前主要的應對策略就是在爬蟲(chóng)中引入Javascript 引擎，如PhantomJS，但是又有著(zhù)顯著(zhù)的弊病，如服務(wù)器同時(shí)有多個(gè)爬取任務(wù)時(shí)，資源占用很大。
還有就是，這些無(wú)窗口的javascript引擎好多時(shí)侯使用上去并不能象在瀏覽器環(huán)境中一樣，頁(yè)面內部發(fā)生跳轉時(shí)，會(huì )導致流程很難控制。03問(wèn)題三：IP限制
這是目前對后臺爬蟲(chóng)中最致命的。網(wǎng)站的防火墻會(huì )對某個(gè)固定ip在某段時(shí)間內懇求的次數做限制，如果沒(méi)有超過(guò)上線(xiàn)則正常返回數據，超過(guò)了，則拒絕懇求，如qq郵箱。 值得說(shuō)明的是，ip限制有時(shí)并非是專(zhuān)門(mén)為了針對爬蟲(chóng)的，而大多數時(shí)侯是出于網(wǎng)站安全緣由針對DOS攻擊的防御舉措。后臺爬取時(shí)機器和ip有限，很容易達到上線(xiàn)而造成懇求被拒絕。目前主要的應對方案是使用代理，這樣一來(lái)ip的數目都會(huì )多一些，但代理ip仍然有限，對于這個(gè)問(wèn)題，根本不可能徹底解決。 作者：lazydu
好站長(cháng)資源免費分享精品源碼,建站技術(shù)，服務(wù)器安全防護等等各種網(wǎng)路資源分享
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 444 次瀏覽 ? 2020-05-21 08:00
前段時(shí)間幫幾個(gè)顧客安裝過(guò)，功能還算很不錯的，在這里完全免費分享下來(lái)。源碼沒(méi)有任何的限制，任何域名都可以正常使用。以下部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試。
9-9 全面升級程序模板，導航升級，以及寶貝展示升級，添加分享，原價(jià)折扣價(jià)，銷(xiāo)量全部展示，圖片修改為正方形310*310都是依照顧客的需求優(yōu)化的。
優(yōu)化原本值得買(mǎi)頁(yè)面，以及升級文章頁(yè)面改成哪些值得買(mǎi)頁(yè)面，優(yōu)化值得逛頁(yè)面，增加品牌團。支持后臺添加品牌上傳圖片
9-30號升級程序內核功能以及優(yōu)化相關(guān)小問(wèn)題。詳細請看演示。增加404，全站寶貝描述，后臺文章編輯器，前臺文章調用，預告采集，寶貝顯示款式，全面升級
9-9號全面升級頁(yè)面降低品牌團等等多功能
8-29 修復后臺一鍵手動(dòng)采集價(jià)格0元錯誤
8-21升級程序飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，全新安裝包，修復手機版，增加報考頁(yè)面，以及安裝不需要恢復數據，增加偽靜態(tài)規則。。。。
6.0的內核和性能比5.0的好好多，并且降低獨立緩存技術(shù)。加速網(wǎng)站。 后期更新升級。。。
支持，后臺一鍵手動(dòng)采集，以及各個(gè)地方相關(guān)logo直接后臺上傳更改即可，非常簡(jiǎn)便飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，新手也會(huì )操作。
客服，等等后臺可以操作，支持顯示寶貝詳盡，后臺單品采集可以采集寶貝詳盡，支持u站采集寶貝詳盡。
會(huì )員系統，報名系統，后臺系統全面升級，
前臺有些廣告位沒(méi)有設置，后期會(huì )更新教程給你們。
本次升級有使用6.0的可以直接覆蓋升級，但是沒(méi)有寶貝詳盡。6.0亮點(diǎn)：u站采，淘寶網(wǎng)采集一鍵手動(dòng)采集，單品采集，寶貝描述，后臺可以在線(xiàn)升級。。功能趕超所有版本飛天俠，全網(wǎng)惟一一家可以更新的，幾千客戶(hù)體驗和支持我們，謝謝大家選擇我們，我們程序以?xún)?yōu)價(jià)分享，結交更多好朋友，本站開(kāi)啟超級群，和開(kāi)放群。還有更多功能后期繼續上線(xiàn)，后臺在線(xiàn)升級哈
以上部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試
下面演示圖片100%為我們親測截圖 查看全部
前段時(shí)間幫幾個(gè)顧客安裝過(guò)，功能還算很不錯的，在這里完全免費分享下來(lái)。源碼沒(méi)有任何的限制，任何域名都可以正常使用。以下部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試。
9-9 全面升級程序模板，導航升級，以及寶貝展示升級，添加分享，原價(jià)折扣價(jià)，銷(xiāo)量全部展示，圖片修改為正方形310*310都是依照顧客的需求優(yōu)化的。
優(yōu)化原本值得買(mǎi)頁(yè)面，以及升級文章頁(yè)面改成哪些值得買(mǎi)頁(yè)面，優(yōu)化值得逛頁(yè)面，增加品牌團。支持后臺添加品牌上傳圖片
9-30號升級程序內核功能以及優(yōu)化相關(guān)小問(wèn)題。詳細請看演示。增加404，全站寶貝描述，后臺文章編輯器，前臺文章調用，預告采集，寶貝顯示款式，全面升級
9-9號全面升級頁(yè)面降低品牌團等等多功能
8-29 修復后臺一鍵手動(dòng)采集價(jià)格0元錯誤
8-21升級程序飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，全新安裝包，修復手機版，增加報考頁(yè)面，以及安裝不需要恢復數據，增加偽靜態(tài)規則。。。。
6.0的內核和性能比5.0的好好多，并且降低獨立緩存技術(shù)。加速網(wǎng)站。 后期更新升級。。。
支持，后臺一鍵手動(dòng)采集，以及各個(gè)地方相關(guān)logo直接后臺上傳更改即可，非常簡(jiǎn)便飛天俠50完美修復:無(wú)需api一鍵采集,u站采集，新手也會(huì )操作。
客服，等等后臺可以操作，支持顯示寶貝詳盡，后臺單品采集可以采集寶貝詳盡，支持u站采集寶貝詳盡。
會(huì )員系統，報名系統，后臺系統全面升級，
前臺有些廣告位沒(méi)有設置，后期會(huì )更新教程給你們。
本次升級有使用6.0的可以直接覆蓋升級，但是沒(méi)有寶貝詳盡。6.0亮點(diǎn)：u站采，淘寶網(wǎng)采集一鍵手動(dòng)采集，單品采集，寶貝描述，后臺可以在線(xiàn)升級。。功能趕超所有版本飛天俠，全網(wǎng)惟一一家可以更新的，幾千客戶(hù)體驗和支持我們，謝謝大家選擇我們，我們程序以?xún)?yōu)價(jià)分享，結交更多好朋友，本站開(kāi)啟超級群，和開(kāi)放群。還有更多功能后期繼續上線(xiàn)，后臺在線(xiàn)升級哈
以上部份說(shuō)明為轉載過(guò)來(lái)，具體的請自行下載測試
下面演示圖片100%為我們親測截圖
MSVOD V9教程之后臺采集管理怎么填寫(xiě)采集規則圖文
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 492 次瀏覽 ? 2020-04-26 11:00
MSVOD V9教程之后臺采集管理怎么填寫(xiě)采集規則圖文教程詳盡
雨過(guò)天晴工作室發(fā)覺(jué)好多同學(xué)在使用魅思CMS過(guò)程中不會(huì )寫(xiě)規則，有些同學(xué)又不想用火車(chē)頭采集，那后臺自帶的采集就是挺好的選擇。以下就是怎樣在MSVOD v9后臺寫(xiě)采集規則的詳盡教程，只要你有點(diǎn)網(wǎng)頁(yè)基礎知識可以直接學(xué)習自己制做吧
一、簡(jiǎn)介
文章的采集功能是通過(guò)程序來(lái)遠程獲取目標網(wǎng)頁(yè)內容，經(jīng)過(guò)本地規則解析處理后儲存到服務(wù)器的數據庫內。
文章采集系統顛覆傳統采集模式和流程火車(chē)頭采集教程，采集規則與采集界面分離,規則設置更簡(jiǎn)單，只需有基礎技術(shù)知識的人員設置好相關(guān)規則。
編輯人員無(wú)需了解很過(guò)細節的技 術(shù)規則，只需選中自己想要采集的文章列表火車(chē)頭采集教程，就可以象發(fā)布文章一樣，輕松地完成數據采集操作。
二、功能演示
一、采集流程 簡(jiǎn)單的講有三個(gè)步驟： 1、添加采集點(diǎn)，填寫(xiě)采集規則。 2、采集網(wǎng)址，采集內容 3、發(fā)布內容到指定欄目
以采集新浪新聞()為例，作一下詳盡流程介紹。
實(shí)例說(shuō)明： 目標：采集新浪新聞到V9系統 “國內” 欄目中。 目標網(wǎng)址： 1、添加采集點(diǎn) 2. 網(wǎng)址規則配置
1. 添加采集點(diǎn)，填寫(xiě)采集規則
A.內容規則
注：上圖的“目標網(wǎng)頁(yè)源碼”是指：目標網(wǎng)頁(yè)的源代碼。具體步驟如下：
目標網(wǎng)頁(yè)——>右鍵——>查看源代碼——>找到你要采集的源代碼開(kāi)始和結束，按“上圖”填寫(xiě)規則。 查看全部
雨過(guò)天晴工作室發(fā)覺(jué)好多同學(xué)在使用魅思CMS過(guò)程中不會(huì )寫(xiě)規則，有些同學(xué)又不想用火車(chē)頭采集，那后臺自帶的采集就是挺好的選擇。以下就是怎樣在MSVOD v9后臺寫(xiě)采集規則的詳盡教程，只要你有點(diǎn)網(wǎng)頁(yè)基礎知識可以直接學(xué)習自己制做吧
一、簡(jiǎn)介
文章的采集功能是通過(guò)程序來(lái)遠程獲取目標網(wǎng)頁(yè)內容，經(jīng)過(guò)本地規則解析處理后儲存到服務(wù)器的數據庫內。
文章采集系統顛覆傳統采集模式和流程火車(chē)頭采集教程，采集規則與采集界面分離,規則設置更簡(jiǎn)單，只需有基礎技術(shù)知識的人員設置好相關(guān)規則。
編輯人員無(wú)需了解很過(guò)細節的技 術(shù)規則，只需選中自己想要采集的文章列表火車(chē)頭采集教程，就可以象發(fā)布文章一樣，輕松地完成數據采集操作。
二、功能演示
一、采集流程 簡(jiǎn)單的講有三個(gè)步驟： 1、添加采集點(diǎn)，填寫(xiě)采集規則。 2、采集網(wǎng)址，采集內容 3、發(fā)布內容到指定欄目
以采集新浪新聞()為例，作一下詳盡流程介紹。
實(shí)例說(shuō)明： 目標：采集新浪新聞到V9系統 “國內” 欄目中。 目標網(wǎng)址： 1、添加采集點(diǎn) 2. 網(wǎng)址規則配置
1. 添加采集點(diǎn)，填寫(xiě)采集規則
A.內容規則
注：上圖的“目標網(wǎng)頁(yè)源碼”是指：目標網(wǎng)頁(yè)的源代碼。具體步驟如下：
目標網(wǎng)頁(yè)——>右鍵——>查看源代碼——>找到你要采集的源代碼開(kāi)始和結束，按“上圖”填寫(xiě)規則。 查看全部
MSVOD V9教程之后臺采集管理怎么填寫(xiě)采集規則圖文教程詳盡
雨過(guò)天晴工作室發(fā)覺(jué)好多同學(xué)在使用魅思CMS過(guò)程中不會(huì )寫(xiě)規則，有些同學(xué)又不想用火車(chē)頭采集，那后臺自帶的采集就是挺好的選擇。以下就是怎樣在MSVOD v9后臺寫(xiě)采集規則的詳盡教程，只要你有點(diǎn)網(wǎng)頁(yè)基礎知識可以直接學(xué)習自己制做吧
一、簡(jiǎn)介
文章的采集功能是通過(guò)程序來(lái)遠程獲取目標網(wǎng)頁(yè)內容，經(jīng)過(guò)本地規則解析處理后儲存到服務(wù)器的數據庫內。
文章采集系統顛覆傳統采集模式和流程火車(chē)頭采集教程，采集規則與采集界面分離,規則設置更簡(jiǎn)單，只需有基礎技術(shù)知識的人員設置好相關(guān)規則。
編輯人員無(wú)需了解很過(guò)細節的技 術(shù)規則，只需選中自己想要采集的文章列表火車(chē)頭采集教程，就可以象發(fā)布文章一樣，輕松地完成數據采集操作。
二、功能演示
一、采集流程 簡(jiǎn)單的講有三個(gè)步驟： 1、添加采集點(diǎn)，填寫(xiě)采集規則。 2、采集網(wǎng)址，采集內容 3、發(fā)布內容到指定欄目
以采集新浪新聞()為例，作一下詳盡流程介紹。
實(shí)例說(shuō)明： 目標：采集新浪新聞到V9系統 “國內” 欄目中。 目標網(wǎng)址： 1、添加采集點(diǎn) 2. 網(wǎng)址規則配置
1. 添加采集點(diǎn)，填寫(xiě)采集規則
A.內容規則
注：上圖的“目標網(wǎng)頁(yè)源碼”是指：目標網(wǎng)頁(yè)的源代碼。具體步驟如下：
目標網(wǎng)頁(yè)——>右鍵——>查看源代碼——>找到你要采集的源代碼開(kāi)始和結束，按“上圖”填寫(xiě)規則。
Dedecms后臺還原數據提示:沒(méi)有該欄目數據可能緩存文件沒(méi)更新
采集交流 ? 優(yōu)采云 發(fā)表了文章 ? 0 個(gè)評論 ? 286 次瀏覽 ? 2020-04-09 11:10
織夢(mèng)dedecms程序建站問(wèn)題還是挺多的，對這款程序研究比較透徹的解決上去還便捷些，如果是菜鳥(niǎo)遇見(jiàn)了可能還真是須要好好尋思一段時(shí)間，一位站長(cháng)同事聽(tīng)同學(xué)介紹說(shuō)無(wú)憂(yōu)主機獨立IP空間特別適宜網(wǎng)站優(yōu)化，于是就訂購了目前銷(xiāo)售最為火熱的hkip300M主機空間織夢(mèng)數據還原文件織夢(mèng)數據還原文件，購買(mǎi)后因為自己是菜鳥(niǎo)又不知道怎么搬家，于是就聯(lián)系到了小編幫忙從西部數碼搬家過(guò)來(lái)。搬家過(guò)程還是比較順利的，可是在搬家后小編登錄該顧客的網(wǎng)站后臺去重新更新欄目和生成文件的時(shí)侯報錯了，報錯提示如下：
沒(méi)有該欄目數據可能緩存文件(data/cache/inc_catalog_base.inc)沒(méi)有更新請檢測是否有寫(xiě)入權限。小編還專(zhuān)門(mén)截圖保存了，如下圖：
相信以上的問(wèn)題不止是小編一個(gè)人遇見(jiàn)過(guò)吧，小編在百度問(wèn)答也聽(tīng)到之前有站長(cháng)朋友們咨詢(xún)過(guò)類(lèi)似的問(wèn)題，那么遇見(jiàn)這個(gè)苦惱的問(wèn)題究竟該怎么解決呢？下面小編就來(lái)分享下解決的方式吧。
解決的思路：其實(shí)在網(wǎng)站的后臺更新的時(shí)侯，織夢(mèng)程序會(huì )手動(dòng)生成一個(gè)緩存文件。緩存文件名稱(chēng)是：inc_catalog_base.inc。
具體處理方式：
第一步：登陸到主機空間，查看下文件的權限是否是執行權限，如果不是請修改為755執行權限。
第二步：找到緩存文件inc_catalog_base.inc直接刪掉。
第三步：登陸網(wǎng)站的后臺更新緩存，步驟：點(diǎn)擊生成–>更新系統緩存–>開(kāi)始執行就可以。
第四步：再次生成一次欄目-更新欄目HTML就大功告成了。 查看全部
織夢(mèng)dedecms程序建站問(wèn)題還是挺多的，對這款程序研究比較透徹的解決上去還便捷些，如果是菜鳥(niǎo)遇見(jiàn)了可能還真是須要好好尋思一段時(shí)間，一位站長(cháng)同事聽(tīng)同學(xué)介紹說(shuō)無(wú)憂(yōu)主機獨立IP空間特別適宜網(wǎng)站優(yōu)化，于是就訂購了目前銷(xiāo)售最為火熱的hkip300M主機空間織夢(mèng)數據還原文件織夢(mèng)數據還原文件，購買(mǎi)后因為自己是菜鳥(niǎo)又不知道怎么搬家，于是就聯(lián)系到了小編幫忙從西部數碼搬家過(guò)來(lái)。搬家過(guò)程還是比較順利的，可是在搬家后小編登錄該顧客的網(wǎng)站后臺去重新更新欄目和生成文件的時(shí)侯報錯了，報錯提示如下：
沒(méi)有該欄目數據可能緩存文件(data/cache/inc_catalog_base.inc)沒(méi)有更新請檢測是否有寫(xiě)入權限。小編還專(zhuān)門(mén)截圖保存了，如下圖：
相信以上的問(wèn)題不止是小編一個(gè)人遇見(jiàn)過(guò)吧，小編在百度問(wèn)答也聽(tīng)到之前有站長(cháng)朋友們咨詢(xún)過(guò)類(lèi)似的問(wèn)題，那么遇見(jiàn)這個(gè)苦惱的問(wèn)題究竟該怎么解決呢？下面小編就來(lái)分享下解決的方式吧。
解決的思路：其實(shí)在網(wǎng)站的后臺更新的時(shí)侯，織夢(mèng)程序會(huì )手動(dòng)生成一個(gè)緩存文件。緩存文件名稱(chēng)是：inc_catalog_base.inc。
具體處理方式：
第一步：登陸到主機空間，查看下文件的權限是否是執行權限，如果不是請修改為755執行權限。
第二步：找到緩存文件inc_catalog_base.inc直接刪掉。
第三步：登陸網(wǎng)站的后臺更新緩存，步驟：點(diǎn)擊生成–>更新系統緩存–>開(kāi)始執行就可以。
第四步：再次生成一次欄目-更新欄目HTML就大功告成了。
