亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(由C#編寫(xiě)的多線(xiàn)程異步抓取網(wǎng)頁(yè)的網(wǎng)絡(luò )爬蟲(chóng)控制臺程序)
　　C#編寫(xiě)的一個(gè)多線(xiàn)程異步網(wǎng)絡(luò )爬蟲(chóng)控制臺程序
　　描述：C#編寫(xiě)的多線(xiàn)程異步網(wǎng)絡(luò )爬蟲(chóng)控制臺程序。功能：目前只能提取網(wǎng)絡(luò )鏈接，使用的兩個(gè)記錄文件不需要很大。暫時(shí)無(wú)法抓取網(wǎng)頁(yè)文字、圖片、視頻和html代碼，敬請諒解。但是需要注意的是，網(wǎng)頁(yè)的數量非常多。下面的代碼理論上可以捕獲整個(gè)Internet網(wǎng)頁(yè)鏈接。但實(shí)際上，由于處理器功能和網(wǎng)絡(luò )條件（主要是網(wǎng)速）的限制，一般家用電腦最多可以處理12個(gè)線(xiàn)程的爬蟲(chóng)任務(wù)，爬蟲(chóng)速度是有限的。它可以爬行，但需要時(shí)間和耐心。當然，這個(gè)程序是可以捕獲所有鏈接的，因為鏈接不占用太多系統空間，并且借助日志文件，可以將爬取的網(wǎng)頁(yè)數量堆積起來(lái)，甚至可以訪(fǎng)問(wèn)所有互聯(lián)網(wǎng)網(wǎng)絡(luò )鏈接，當然最好是分批進(jìn)行。建議將maxNum設置為500-1000左右，慢慢積累。另外，由于是控制臺程序，有時(shí)顯示的字符過(guò)多，系統會(huì )暫停顯示。這時(shí)候，只需點(diǎn)擊控制臺并按回車(chē)鍵即可。當程序暫停時(shí)，您可以按 Enter 嘗試。/// 要使用這個(gè)程序，請確保已經(jīng)創(chuàng )建了相應的記錄文件。為簡(jiǎn)化代碼，本程序不夠健壯，請見(jiàn)諒。/// 默認文件創(chuàng )建在E盤(pán)根目錄下的兩個(gè)文本文件：“待爬取的URL.txt”和“待爬取的URL.txt”。并注意不要有后綴出錯。這兩個(gè)文件中的鏈接基本上都是有效鏈接，可以分開(kāi)處理。這個(gè)爬蟲(chóng)的速度如下：10個(gè)線(xiàn)程最快，大約每分鐘500個(gè)鏈接，6-8個(gè)線(xiàn)程最快，每分鐘大約400-500個(gè)鏈接，2-4個(gè)線(xiàn)程最快，大約200-400個(gè)鏈接每分鐘，最快的單線(xiàn)程大概是每分鐘70-100個(gè)鏈接用多線(xiàn)程異步爬取，完全是出于效率的考慮。本程序的多線(xiàn)程同步并不會(huì )帶來(lái)速度的提升，只要爬取的網(wǎng)頁(yè)不是太重復和冗余即可。異步并不意味著(zhù)錯誤。并注意不要有后綴出錯。這兩個(gè)文件中的鏈接基本上都是有效鏈接，可以分開(kāi)處理。這個(gè)爬蟲(chóng)的速度如下：10個(gè)線(xiàn)程最快，大約每分鐘500個(gè)鏈接，6-8個(gè)線(xiàn)程最快，每分鐘大約400-500個(gè)鏈接，2-4個(gè)線(xiàn)程最快，大約200-400個(gè)鏈接每分鐘，最快的單線(xiàn)程大概是每分鐘70-100個(gè)鏈接用多線(xiàn)程異步爬取，完全是出于效率的考慮。本程序的多線(xiàn)程同步并不會(huì )帶來(lái)速度的提升，只要爬取的網(wǎng)頁(yè)不是太重復和冗余即可。異步并不意味著(zhù)錯誤。這個(gè)爬蟲(chóng)的速度如下：10個(gè)線(xiàn)程最快，大約每分鐘500個(gè)鏈接，6-8個(gè)線(xiàn)程最快，每分鐘大約400-500個(gè)鏈接，2-4個(gè)線(xiàn)程最快，大約200-400個(gè)鏈接每分鐘，最快的單線(xiàn)程大概是每分鐘70-100個(gè)鏈接用多線(xiàn)程異步爬取，完全是出于效率的考慮。本程序的多線(xiàn)程同步并不會(huì )帶來(lái)速度的提升，只要爬取的網(wǎng)頁(yè)不是太重復和冗余即可。異步并不意味著(zhù)錯誤。這個(gè)爬蟲(chóng)的速度如下：10個(gè)線(xiàn)程最快，大約每分鐘500個(gè)鏈接，6-8個(gè)線(xiàn)程最快，每分鐘大約400-500個(gè)鏈接，2-4個(gè)線(xiàn)程最快，大約200-400個(gè)鏈接每分鐘，最快的單線(xiàn)程大概是每分鐘70-100個(gè)鏈接用多線(xiàn)程異步爬取，完全是出于效率的考慮。本程序的多線(xiàn)程同步并不會(huì )帶來(lái)速度的提升，只要爬取的網(wǎng)頁(yè)不是太重復和冗余即可。異步并不意味著(zhù)錯誤。最快的單線(xiàn)程大概是每分鐘多線(xiàn)程異步爬70-100個(gè)鏈接，完全是出于效率考慮。本程序的多線(xiàn)程同步并不會(huì )帶來(lái)速度的提升，只要爬取的網(wǎng)頁(yè)不是太重復和冗余即可。異步并不意味著(zhù)錯誤。最快的單線(xiàn)程大概是每分鐘多線(xiàn)程異步爬70-100個(gè)鏈接，完全是出于效率考慮。本程序的多線(xiàn)程同步并不會(huì )帶來(lái)速度的提升，只要爬取的網(wǎng)頁(yè)不是太重復和冗余即可。異步并不意味著(zhù)錯誤。
　　現在就下載 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(不同時(shí)間段的網(wǎng)絡(luò )表格數據節點(diǎn)獲取需要注意的事項！)
　　(1）數據URL獲取
　　網(wǎng)易財經(jīng)、新浪財經(jīng)等網(wǎng)站數據可免費獲取。我們可以使用爬蟲(chóng)方法（通過(guò)rvest包）抓取對應的網(wǎng)站表數據。首先，我們可以在網(wǎng)易財經(jīng)搶到600550，以2019年第三季度的數據為例。它的網(wǎng)站是：
　　,
　　可以看出，不同時(shí)間段的網(wǎng)址是有規律的，只需更改其中的股票代碼、年份和季節即可循環(huán)抓取多只股票。
　　(2）Web 表數據節點(diǎn)獲取
　　我們需要解析網(wǎng)頁(yè)表格數據的節點(diǎn)。除了系統地掌握網(wǎng)頁(yè)設計的原理和基本結構，我們還可以通過(guò)FireFox（Firebug插件）和Chrome瀏覽器解析網(wǎng)頁(yè)結構，得到相應的分支結構點(diǎn)。這里我們使用火狐瀏覽器，具體操作是在找到我們需要的表格位置后（請探討如何找到表格位置），右鍵復制XPath路徑。
　　table部分的XPath是/html/body/div[2]/div[4]/table[1]。
　　
　　(3） 抓取單個(gè)股票的單頁(yè)數據
　　library(rvest)
symbol=600550
year=2019
season=3
url=paste0("http://quotes.money.163.com/trade/lsjysj_",symbol,".html?year=",year,"&season=",season)
web=read_html(url)
xpath="/html/body/div[2]/div[4]/table[1]"
web.table=web%>%html_nodes(xpath=xpath)%>%html_table()
　　此時(shí)的web.table就是爬取到的數據
　　(4） 從單個(gè)股票的多個(gè)頁(yè)面抓取并合并數據
　　library(lubridate)
symbol=600550
from="2001-05-28"
from=as.Date(from)
to=Sys.Date()
time.index=seq(from=from,to=to,by="quarter")#生成以季度為開(kāi)始的時(shí)間序列
year.id=year(time.index)#獲取年份
quarter.id=quarter(time.index)#獲取季度
price=list()
for(t in 1:length(time.index)){
year=year.id[t]
season=quarter.id[t]
url=paste0("http://quotes.money.163.com/trade/lsjysj_",symbol,".html?year=",year,"&season=",season)
web=read_html(url)
xpath="/html/body/div[2]/div[4]/table[1]"
web.table=web%>%html_nodes(xpath=xpath)%>%html_table()
web.table=web.table[[1]][-1,]
price[[t]]=web.table
}
　　(5） 多只股票多頁(yè)數據抓取合并
　　get.wangyi.stock=function(symbol,from,to){
from=as.Date(from)
to=as.Date(to)
if(mday(from==1)){
from=from-1
}
time.index=seq(from=from,to=to,by="quarter")
year.id=year(time.index)
quarter.id=quarter(time.index)
prices=list()
for(t in 1:length(time.index)){
year=year.id[t]
season=quarter.id[t] url=paste0("http://quotes.money.163.com/trade/lsjysj_",symbol,".html?year=",year,"&season=",season)
web=read_html(url)
xpath="/html/body/div[2]/div[4]/table[1]"
web.table=web%>%html_nodes(xpath=xpath)%>%html_table()
web.table=web.table[[1]][-1,]
prices[[t]]=web.table
}
}
to=Sys.Date()
stock.index=matrix(nrow=6,ncol=2)
stock.index[,1]=c("600550.ss","600192.ss","600152.ss","600644.ss","600885.ss","600151.ss")
stock.index[,2]=c("2017-05-28","2017-05-28","2017-05-28","2017-05-28","2017-05-28","2017-05-28")
for(i in nrow(stock.index)){
symbol=stock.index[i,1]
from=stock.index[i,2]
prices=get.wangyi.stock(symbol,from,to)
filenames=paste0("D://dataset//",symbol,".csv")
}
　　(6） 讀取所有A股數據
　　我們也可以將所有A股代碼整理成一個(gè)文件，閱讀后實(shí)時(shí)更新所有A股股票數據。這個(gè)方法可以用來(lái)建立我們自己的數據庫進(jìn)行實(shí)時(shí)分析。同時(shí)，通過(guò)網(wǎng)絡(luò )爬蟲(chóng)，我們也可以抓取到很多有意義的數據，并實(shí)時(shí)更新。 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(java程序中獲取后臺js完后的完整頁(yè)面是什么？)
　　很多網(wǎng)站使用js或者jquery來(lái)生成數據。后臺獲取數據后，使用 document.write() 或 ("#id").html="" 寫(xiě)入頁(yè)面。這時(shí)候用瀏覽器看源碼是看不到數據的。
　　HttpClient 不起作用?？淳W(wǎng)上的HtmlUnit，說(shuō)是加載后臺js后可以得到完整的頁(yè)面，但是我按照文章寫(xiě)的，但是不行。一般代碼是這樣寫(xiě)的：
　　String url = "http://xinjinqiao.tprtc.com/ad ... 3B%3B
try {
WebClient webClient = new WebClient(BrowserVersion.FIREFOX_10);
//設置webClient的相關(guān)參數
webClient.getOptions().setJavaScriptEnabled(true);
webClient.getOptions().setCssEnabled(false);
webClient.setAjaxController(new NicelyResynchronizingAjaxController());
//webClient.getOptions().setTimeout(50000);
webClient.getOptions().setThrowExceptionOnScriptError(false);
//模擬瀏覽器打開(kāi)一個(gè)目標網(wǎng)址
HtmlPage rootPage = webClient.getPage(url);
System.out.println("為了獲取js執行的數據 線(xiàn)程開(kāi)始沉睡等待");
Thread.sleep(3000);//主要是這個(gè)線(xiàn)程的等待 因為js加載也是需要時(shí)間的
System.out.println("線(xiàn)程結束沉睡");
String html = rootPage.asText();
System.out.println(html);
} catch (Exception e) {
}
　　事實(shí)上，它根本不起作用。
　　典型的是這個(gè)鏈接的頁(yè)面。 java程序中如何獲取數據？ 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(Python爬蟲(chóng)開(kāi)發(fā)環(huán)境搭建.x的爬蟲(chóng)筆記)
　　原作者及原文鏈接：Jack-Cui, /c406495762/...
　　操作平臺：Windows Python版本：Python3.x IDE：Sublime text3
　　一直想學(xué)習Python爬蟲(chóng)的知識，上網(wǎng)搜了一下，大部分都是基于Python2.x。所以打算寫(xiě)一篇Python3.x的爬蟲(chóng)筆記，供后續復習。歡迎交流，共同進(jìn)步。
　　一、預備知識1.Python3.x基礎知識學(xué)習：2.開(kāi)發(fā)環(huán)境搭建：二、網(wǎng)絡(luò )爬蟲(chóng)的定義
　　網(wǎng)絡(luò )爬蟲(chóng)也稱(chēng)為網(wǎng)絡(luò )蜘蛛。如果將 Internet 比作蜘蛛網(wǎng)，那么蜘蛛就是在網(wǎng)上爬行的蜘蛛。網(wǎng)絡(luò )爬蟲(chóng)根據網(wǎng)頁(yè)的地址，即 URL 搜索網(wǎng)頁(yè)。舉個(gè)簡(jiǎn)單的例子，我們在瀏覽器地址欄中輸入的字符串就是URL，例如：。
　　URL是Uniform Resource Locator，其一般格式如下（方括號[]是可選的）：
　　協(xié)議://主機名[:端口]/路徑/[;參數][?查詢(xún)]#fragment
　　URL格式由三部分組成：
　?。?)protocol：第一部分是協(xié)議，比如百度使用的是https協(xié)議；
　?。?)hostname[:port]：第二部分為主機名（端口號為可選參數）。一般網(wǎng)站的默認端口號為80。例如host百度的名字是這個(gè)是服務(wù)器的地址；
　?。?)path：第三部分是宿主機資源的具體地址，如目錄、文件名等。
　　網(wǎng)絡(luò )爬蟲(chóng)根據這個(gè) URL 獲取網(wǎng)頁(yè)信息。
　　三、簡(jiǎn)單爬蟲(chóng)示例
　　在 Python3.x 中，我們可以使用 urlib 組件來(lái)抓取網(wǎng)頁(yè)。urllib 是一個(gè) URL 處理包。這個(gè)包收錄一些處理 URL 的模塊，如下：
　　urllib.request 模塊用于打開(kāi)和讀取 URL；
　　urllib.error 模塊中收錄了 urllib.request 產(chǎn)生的一些錯誤，可以通過(guò) try 捕獲和處理；
　　urllib.parse 模塊收錄一些解析 URL 的方法；
　　urllib.robotparser 模塊用于解析 robots.txt 文本文件。它提供了一個(gè)單獨的RobotFileParser類(lèi)來(lái)測試爬蟲(chóng)是否可以通過(guò)該類(lèi)提供的can_fetch()方法下載一個(gè)頁(yè)面。
　　我們使用 urllib.request.urlopen() 接口函數輕松打開(kāi)一個(gè)網(wǎng)站，讀取和打印信息。
　　urlopen 有一些可選參數。具體信息請參考Python自帶的文檔。
　　知道了這一點(diǎn)，我們就可以寫(xiě)出最簡(jiǎn)單的程序了，文件名是urllib_test01.py，感受一下一個(gè)urllib庫的魅力：
　　# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
response = request.urlopen("http://fanyi.baidu.com")
html = response.read()
print(html)
復制代碼
　　urllib 使用 request.urlopen() 打開(kāi)和讀取 URLs 信息，返回的對象 response 就像一個(gè)文本對象，我們可以調用 read() 來(lái)讀取它。然后通過(guò)print()，打印出讀取到的信息。
　　運行程序ctrl+b，可以在Sublime中查看結果，如下：
　　您也可以在 cmd（控制臺）中輸入命令：
　　python urllib_test01.py
復制代碼
　　運行py文件，輸出信息相同，如下：
　　其實(shí)這是瀏覽器接收到的信息，但是我們在使用瀏覽器的時(shí)候，瀏覽器已經(jīng)把這些信息轉換成界面信息供我們?yōu)g覽了。當然，我們也可以從瀏覽器中查看這些代碼。比如使用谷歌瀏覽器，在任意界面右擊選擇Check，就是勾選元素（不是所有頁(yè)面都可以勾選元素，比如起點(diǎn)中文網(wǎng)站的付費版塊。）。以百度界面為例。截圖如下：
　　如您所見(jiàn)，我們的審核結果在右側。我們可以在本地更改元素，即瀏覽器（客戶(hù)端），但這不會(huì )上傳到服務(wù)器。例如，我可以修改我的支付寶余額并安裝一個(gè)包，例如：
　　我真的有錢(qián)嗎？顯然，如果我被迫這樣做，我就沒(méi)有錢(qián)了。我剛剛修改了關(guān)于review元素的信息。
　　有一些偏差，但事實(shí)是瀏覽器作為客戶(hù)端從服務(wù)器獲取信息，然后解析信息，然后顯示給我們。
　　回到正題，雖然我們成功獲取到了信息，但很明顯，都是二進(jìn)制亂碼，看起來(lái)很不方便。我們該怎么辦？
　　我們可以通過(guò)一個(gè)簡(jiǎn)單的decode()命令來(lái)解碼網(wǎng)頁(yè)的信息并顯示出來(lái)。我們新建一個(gè)文件，命名為urllib_test02.py，編寫(xiě)如下代碼（或以百度翻譯網(wǎng)站為例）：
　　# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
response = request.urlopen("http://www.fanyi.baidu.com/")
html = response.read()
html = html.decode("utf-8")
print(html)
復制代碼
　　這樣，我們就可以得到這個(gè)結果。顯然，解碼后的信息看起來(lái)更整潔、更舒服：
　　當然，前提是我們已經(jīng)知道這個(gè)網(wǎng)頁(yè)是utf-8編碼的，如何查看網(wǎng)頁(yè)的編碼方式呢？需要人工操作，一個(gè)很簡(jiǎn)單的方法就是使用瀏覽器查看元素。只需要找到head標簽開(kāi)頭的chareset就知道網(wǎng)頁(yè)使用的是哪種編碼。如下：
　　所以我們知道這個(gè)網(wǎng)站的編碼方式，但這需要我們每次打開(kāi)瀏覽器，找到編碼方式。顯然，這有點(diǎn)麻煩。使用幾行代碼來(lái)解決它更容易更酷。
　　四、自動(dòng)獲取網(wǎng)頁(yè)編碼的方法
　　獲取網(wǎng)頁(yè)代碼的方法有很多，我更喜歡使用第三方庫。
　　首先我們需要安裝第三方庫chardet，它是一個(gè)用來(lái)判斷編碼的模塊。安裝方法如下圖所示。只需輸入命令：
　　pip install chardet
復制代碼
　　安裝后，我們可以使用chardet.detect()方法來(lái)判斷網(wǎng)頁(yè)的編碼。此時(shí)，我們可以編寫(xiě)一個(gè)小程序來(lái)判斷網(wǎng)頁(yè)的編碼方式，新建的文件名為chardet_test01.py：
　　# -*- coding: UTF-8 -*-
from urllib import request
import chardet
if __name__ == "__main__":
response = request.urlopen("http://fanyi.baidu.com/")
html = response.read()
charset = chardet.detect(html)
print(charset)
復制代碼
　　運行程序，查看輸出結果如下：
　　看，返回的是字典，所以我們知道了網(wǎng)頁(yè)的編碼方式，我們可以根據得到的信息使用不同的解碼方式。
　　PS：關(guān)于編碼方式的內容，可以自行百度 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(.4win7框架：如何獲取網(wǎng)頁(yè)上動(dòng)態(tài)加載的數據)
　　環(huán)境：python3.4
　　贏(yíng)7
　　框架：scrapy
　　繼上一篇之后，這次我將講如何獲取網(wǎng)頁(yè)上動(dòng)態(tài)加載的數據：
　　作為初學(xué)者，剛開(kāi)始接觸爬蟲(chóng)的時(shí)候，我們一般只會(huì )爬取一些靜態(tài)內容（如何區分靜態(tài)內容和動(dòng)態(tài)內容，這里不講理論，只教一些小方法）：
　　首先打開(kāi)谷歌瀏覽器，然后按F12，就會(huì )彈出谷歌自帶的開(kāi)發(fā)者工具，首先在“元素”下找到你需要抓取的內容；
　　然后，在網(wǎng)頁(yè)可視化界面上右鍵，選擇查看網(wǎng)頁(yè)源代碼。網(wǎng)頁(yè)源碼就是我們按照抓取靜態(tài)網(wǎng)頁(yè)的方法在網(wǎng)頁(yè)中可以看到的所有東西，開(kāi)發(fā)者工具可以查看。有些東西我們在網(wǎng)頁(yè)的源代碼中是看不到的；
　　最后，通過(guò)將我們在F12中查看的內容與網(wǎng)頁(yè)源代碼中的內容進(jìn)行對比，我們可以初步判斷哪些數據是靜態(tài)加載的，哪些數據是動(dòng)態(tài)加載的。
　　--------- ---分割線(xiàn)-----------
　　一般的請求方法有兩種，post請求方法和get請求方法。在這篇文章中，我們先說(shuō)一下get請求方法。
　　說(shuō)到get請求，這應該是最常用的請求之一。表達 get 請求的最直觀(guān)方式是什么？其實(shí)我們把網(wǎng)址放在地址欄中打開(kāi)網(wǎng)頁(yè)，這是一個(gè)get請求。
　　--------- ---分割線(xiàn)-----------
　　好的，現在讓我們進(jìn)入主題：讓我們先用一個(gè)例子來(lái)描述它。抓取大型購物的商品評論時(shí)網(wǎng)站：
　　
　　當我們點(diǎn)擊 1 或 2 3 4 時(shí)，我們會(huì )發(fā)現 URL 根本沒(méi)有變化，這意味著(zhù)這些評論是動(dòng)態(tài)加載的。然后我們使用F12下的抓包工具嘗試抓包：（F12，然后選擇“網(wǎng)絡(luò )”），出現下圖：
　　
　　接下來(lái)是最重要的：在可視化界面中，我們點(diǎn)擊“2”按鈕，讓評論頁(yè)面跳轉到第二頁(yè)，看看能否順利抓包：
　　
　　OK，可以看到有2個(gè)gif文件，2個(gè)png文件，還有一個(gè)腳本文件。一開(kāi)始，我們不知道應該檢查哪個(gè)文件。好吧，最笨的辦法，一個(gè)一個(gè)點(diǎn)進(jìn)去：所以你管我把它們都訂了，除了腳本文件，其他的都是這樣的：
　　
　　哈哈，如果沒(méi)有next，那我們只能檢查腳本文件了?？碦esponse，發(fā)現只是一堆代碼，查起來(lái)好像不方便？好的，沒(méi)問(wèn)題，我們試試預覽，效果會(huì )很好。. . . 很高興找到結果：
　　
　　你看到嗎！評論評論，大家應該相信網(wǎng)站大寫(xiě)手的英文是絕對沒(méi)問(wèn)題的，不會(huì )像我一樣給評論起個(gè)“pinglun”的吧！
　　然后點(diǎn)擊這條評論看看里面有什么：
　　
　　好了，就是我們要的注釋了，所以這個(gè)文件所在的URL就是我們需要的，接下來(lái)我們通過(guò)看Headers來(lái)獲取URL！
　　
　　URL就是我們需要的URL（URL被馬賽克抹掉了，不好意思各位，因為我哥也怕被水表查），狀態(tài)值為200表示訪(fǎng)問(wèn)成功，訪(fǎng)問(wèn)方法： GET，回顯話(huà)題，使用get請求獲取網(wǎng)頁(yè)的動(dòng)態(tài)加載數據。好了，今天的教程到此結束。什么？不構造一個(gè)獲取請求？那請到我的第一篇博文找大神的爬蟲(chóng)教程鏈接~~~~
　　好了，這篇文章到此結束。我從頭到尾都沒(méi)有看到任何代碼。哈哈，有時(shí)候教他們釣魚(yú)不如教他們釣魚(yú)。代碼很重要，方法也很重要。有了這些分析方法，相信大家都能快速掌握獲取動(dòng)態(tài)網(wǎng)頁(yè)內容的技巧。下一篇我們會(huì )講如何使用post請求來(lái)獲取網(wǎng)頁(yè)的動(dòng)態(tài)加載數據~我們下期再見(jiàn) 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(基于關(guān)鍵字的自動(dòng)下載網(wǎng)頁(yè)資源的程序,())
　　網(wǎng)絡(luò )爬蟲(chóng) * 簡(jiǎn)介-crawler 爬蟲(chóng)，即Spider（網(wǎng)絡(luò )爬蟲(chóng)），其定義可分為廣義和狹義。狹義上，是指遵循標準http協(xié)議，使用超鏈接和Web文檔檢索方式遍歷萬(wàn)維網(wǎng)的軟件程序；而廣義的定義是遵循h(huán)ttp協(xié)議，檢索Web文檔的軟件稱(chēng)為網(wǎng)絡(luò )爬蟲(chóng)。網(wǎng)絡(luò )爬蟲(chóng)是一款功能強大的自動(dòng)提取網(wǎng)頁(yè)的程序。它從萬(wàn)維網(wǎng)下載網(wǎng)頁(yè)以供搜索引擎使用。它是搜索引擎的重要組成部分。*關(guān)注爬蟲(chóng) 隨著(zhù)互聯(lián)網(wǎng)的飛速發(fā)展，萬(wàn)維網(wǎng)已經(jīng)成為海量信息的載體，如何有效地提取和利用這些信息成為一個(gè)巨大的挑戰。搜索引擎，比如傳統的通用搜索引擎AltaVista、Yahoo! 而谷歌等作為輔助人們檢索信息的工具，已經(jīng)成為用戶(hù)訪(fǎng)問(wèn)萬(wàn)維網(wǎng)的入口和向導。但是，這些通用的搜索引擎也有一定的局限性。大量用戶(hù)不關(guān)心的網(wǎng)頁(yè)。(2)一般搜索引擎的目標是最大化網(wǎng)絡(luò )覆蓋。有限的搜索引擎服務(wù)器資源和無(wú)限的網(wǎng)絡(luò )數據資源之間的矛盾將進(jìn)一步加深。(3)隨著(zhù)數據形式的豐富在萬(wàn)維網(wǎng)和網(wǎng)絡(luò )技術(shù)的不斷發(fā)展中，圖片、數據庫、音視頻多媒體等不同的數據大量出現，很好的發(fā)現和獲取。
　　處理和搜索行為匹配結構化數據和元數據信息。如數碼產(chǎn)品mp3：內存、大小、尺寸、電池型號、價(jià)格、廠(chǎng)家等，還可以提供比價(jià)服務(wù)*爬蟲(chóng)基本原理從一個(gè)或幾個(gè)初始網(wǎng)頁(yè)的URL（通常是一個(gè)網(wǎng)站 homepage)，遍歷網(wǎng)頁(yè)空間，閱讀網(wǎng)頁(yè)內容，不斷從一個(gè)站點(diǎn)移動(dòng)到另一個(gè)站點(diǎn)，并自動(dòng)建立索引。在抓取網(wǎng)頁(yè)的過(guò)程中，找到網(wǎng)頁(yè)中的其他鏈接地址，解析HTML文件，取出網(wǎng)頁(yè)中的子鏈接，并添加到網(wǎng)頁(yè)數據庫中，不斷從當前頁(yè)面中提取新的URL并將它們放入隊列中，因此循環(huán)繼續。, 直到這個(gè)網(wǎng)站的所有網(wǎng)頁(yè)都被抓取完畢，
　　*爬蟲(chóng)的基本原理。另外，爬蟲(chóng)爬過(guò)的所有網(wǎng)頁(yè)都會(huì )被系統存儲起來(lái)，進(jìn)行一定的分析、過(guò)濾和索引，以供以后查詢(xún)和檢索。網(wǎng)絡(luò )爬蟲(chóng)在分析某個(gè)網(wǎng)頁(yè)時(shí)，不依賴(lài)用戶(hù)干預，利用HTML語(yǔ)言的標記結構，獲取指向其他網(wǎng)頁(yè)的URL地址。如果把整個(gè)互聯(lián)網(wǎng)看作一個(gè)網(wǎng)站，理論上網(wǎng)絡(luò )爬蟲(chóng)可以抓取到互聯(lián)網(wǎng)上的所有網(wǎng)頁(yè)，可以對后續的抓取過(guò)程提供反饋和指導。正是這種行為方式，這些程序被稱(chēng)為蜘蛛、爬蟲(chóng)和機器人。*爬蟲(chóng)基本原理 Spider是如何爬取所有網(wǎng)頁(yè)的？在 Web 出現之前，傳統的文本集合，例如目錄數據庫和期刊摘要，存儲在磁帶或 CD 上并用作索引系統。相應地，Web 上所有可訪(fǎng)問(wèn)的 URL 都未分類(lèi)。采集 URL 的唯一方法是掃描并采集指向其他頁(yè)面的超鏈接。這些頁(yè)面尚未采集。* 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(Python爬蟲(chóng)學(xué)習筆記)
　　操作平臺：Windows Python版本：Python3.x IDE：Sublime text3
　　一直想學(xué)習Python爬蟲(chóng)的知識，上網(wǎng)搜了一下，大部分都是基于Python2.x。所以打算寫(xiě)一篇Python3.x的爬蟲(chóng)筆記，供后續復習。歡迎交流，共同進(jìn)步。
　　一、預備知識
　　1.Python3.x基礎知識學(xué)習：
　　您可以通過(guò)以下方式學(xué)習：
　?。?)廖雪峰Python3教程（文檔）：
　　網(wǎng)址：
　?。?)菜鳥(niǎo)教程Python3教程（文檔）：
　　網(wǎng)址：
　?。?) Fish C Studio Python 教程（視頻）：
　　小龜老師人很好，講課風(fēng)格幽默詼諧。如果時(shí)間充裕，可以考慮看視頻。
　　網(wǎng)址：
　　2.開(kāi)發(fā)環(huán)境設置：
　　Sublime text3搭建Pyhthon IDE，可以查看博客：
　　網(wǎng)址：
　　網(wǎng)址：
　　二、網(wǎng)絡(luò )爬蟲(chóng)的定義
　　網(wǎng)絡(luò )爬蟲(chóng)也稱(chēng)為網(wǎng)絡(luò )蜘蛛。如果將 Internet 比作蜘蛛網(wǎng)，那么蜘蛛就是在網(wǎng)上爬行的蜘蛛。網(wǎng)絡(luò )爬蟲(chóng)根據網(wǎng)頁(yè)的地址，即 URL 搜索網(wǎng)頁(yè)。舉個(gè)簡(jiǎn)單的例子，我們在瀏覽器地址欄中輸入的字符串就是URL，例如：
　　URL是Uniform Resource Locator，其一般格式如下（方括號[]是可選的）：
　　協(xié)議://主機名[:端口]/路徑/[;參數][?查詢(xún)]#fragment
　　URL格式由三部分組成：
　?。?)protocol：第一部分是協(xié)議，比如百度使用的是https協(xié)議；
　?。?)hostname[:port]：第二部分為主機名（端口號為可選參數）。一般網(wǎng)站的默認端口號為80。例如host百度的名字是這個(gè)是服務(wù)器的地址；
　?。?)path：第三部分是宿主機資源的具體地址，如目錄、文件名等。
　　網(wǎng)絡(luò )爬蟲(chóng)根據這個(gè) URL 獲取網(wǎng)頁(yè)信息。
　　三、簡(jiǎn)單爬蟲(chóng)示例
　　在 Python3.x 中，我們可以使用 urlib 組件來(lái)抓取網(wǎng)頁(yè)。urllib 是一個(gè) URL 處理包。這個(gè)包收錄一些處理 URL 的模塊，如下：
　　1.urllib.request 模塊用于打開(kāi)和讀取 URL；
　　2.urllib.error 模塊中收錄了 urllib.request 產(chǎn)生的一些錯誤，可以通過(guò) try 捕獲和處理；
　　3.urllib.parse 模塊收錄一些解析 URL 的方法；
　　4.urllib.robotparser 模塊用于解析robots.txt 文本文件。它提供了一個(gè)單獨的RobotFileParser類(lèi)，可以通過(guò)該類(lèi)提供的can_fetch()方法來(lái)測試爬蟲(chóng)是否可以下載一個(gè)頁(yè)面。
　　我們可以使用接口函數urllib.request.urlopen()輕松打開(kāi)一個(gè)網(wǎng)站，讀取和打印信息。
　　urlopen 有一些可選參數。具體信息請參考Python自帶的文檔。
　　知道了這一點(diǎn)，我們就可以寫(xiě)出最簡(jiǎn)單的程序了，文件名是urllib_test01.py，感受一下一個(gè)urllib庫的魅力：
　　# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
response = request.urlopen("http://fanyi.baidu.com")
html = response.read()
print(html)
　　urllib 使用 request.urlopen() 打開(kāi)和讀取 URLs 信息，返回的對象 response 就像一個(gè)文本對象，我們可以調用 read() 來(lái)讀取它。然后通過(guò)print()，打印出讀取到的信息。
　　運行程序ctrl+b，可以在Sublime中查看結果，如下：
　　您也可以在 cmd（控制臺）中輸入命令：
　　python urllib_test01.py
　　運行py文件，輸出信息相同，如下：
　　其實(shí)這是瀏覽器接收到的信息，但是我們在使用瀏覽器的時(shí)候，瀏覽器已經(jīng)把這些信息轉換成界面信息供我們?yōu)g覽了。當然，我們也可以從瀏覽器中查看這些代碼。比如使用谷歌瀏覽器，在任意界面右擊選擇Check，即勾選元素（不是所有頁(yè)面都可以勾選元素，比如起點(diǎn)中文網(wǎng)站的付費版塊。）。以百度界面為例。截圖如下：
　　如您所見(jiàn)，我們的審核結果在右側。我們可以在本地更改元素，即瀏覽器（客戶(hù)端），但這不會(huì )上傳到服務(wù)器。例如，我可以修改我的支付寶余額并安裝一個(gè)包，例如：
　　我真的有錢(qián)嗎？顯然，如果我被迫這樣做，我就沒(méi)有錢(qián)了。我只是修改了關(guān)于review元素的信息。
　　有一些偏差，但事實(shí)是瀏覽器作為客戶(hù)端從服務(wù)器獲取信息，然后解析信息，然后將其展示給我們。
　　回到正題，雖然我們成功獲取到了信息，但很明顯，都是二進(jìn)制亂碼，看起來(lái)很不方便。我們該怎么辦？
　　我們可以通過(guò)一個(gè)簡(jiǎn)單的 decode() 命令來(lái)解碼網(wǎng)頁(yè)的信息并顯示出來(lái)。我們新建一個(gè)文件，命名為urllib_test02.py，編寫(xiě)如下代碼（或以百度翻譯網(wǎng)站為例）：
　　# -*- coding: UTF-8 -*-
from urllib import request
if __name__ == "__main__":
response = request.urlopen("http://www.fanyi.baidu.com/")
html = response.read()
html = html.decode("utf-8")
print(html)
　　這樣，我們就可以得到這個(gè)結果。顯然，解碼后的信息看起來(lái)更整潔、更舒服：
　　當然，前提是我們已經(jīng)知道這個(gè)網(wǎng)頁(yè)是utf-8編碼的，如何查看網(wǎng)頁(yè)的編碼方式呢？需要人工操作，一個(gè)很簡(jiǎn)單的方法就是使用瀏覽器查看元素。只需要找到head標簽開(kāi)頭的chareset就知道網(wǎng)頁(yè)使用的是哪種編碼。如下：
　　所以我們知道這個(gè)網(wǎng)站的編碼方式，但這需要我們每次打開(kāi)瀏覽器，找到編碼方式。顯然，這有點(diǎn)麻煩。用幾行代碼來(lái)解決，更省事，更爽。
　　四、自動(dòng)獲取網(wǎng)頁(yè)編碼的方法
　　獲取網(wǎng)頁(yè)代碼的方法有很多，我更喜歡使用第三方庫。
　　首先我們需要安裝第三方庫chardet，它是一個(gè)用來(lái)判斷編碼的模塊。安裝方法如下圖所示。只需輸入命令：
　　pip install chardet
　　安裝后，我們可以使用chardet.detect()方法來(lái)判斷網(wǎng)頁(yè)的編碼。此時(shí)，我們可以編寫(xiě)一個(gè)小程序來(lái)判斷網(wǎng)頁(yè)的編碼方式，新建的文件名為chardet_test01.py：
　　# -*- coding: UTF-8 -*-
from urllib import request
import chardet
if __name__ == "__main__":
response = request.urlopen("http://fanyi.baidu.com/")
html = response.read()
charset = chardet.detect(html)
print(charset)
　　運行程序，查看輸出結果如下：
　　看，返回的是字典，所以我們知道了網(wǎng)頁(yè)的編碼方式，我們可以根據得到的信息使用不同的解碼方式。
　　PS：關(guān)于編碼方式的內容，可以自行百度，或者閱讀這篇博客：
　　網(wǎng)址： 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(一個(gè)_selector.xpath.u去重與增量爬取)
　　response_selector.xpath(u'//div[contains(@class,"house-title")]/p[contains(@class,"house-update-info c_888 f12")]/text()').extract( )
　　因為有些數據不能用Xpath提取，所以也需要正則匹配。如有異常，應予處理。一般當頁(yè)面無(wú)法匹配到對應的字段時(shí)，應該設置為0，項目處理完畢后，需要對其進(jìn)行處理。進(jìn)行過(guò)濾處理。
　　3） 去重和增量爬取
　　去重和增量爬取對服務(wù)器來(lái)說(shuō)意義重大，可以減輕服務(wù)器壓力，保證數據的準確性。如果不進(jìn)行去重，被爬取的內容會(huì )爬取大量重復的內容，大大降低了爬蟲(chóng)效率。事實(shí)上，重復數據刪除的過(guò)程非常簡(jiǎn)單。核心是在每次發(fā)出請求時(shí)判斷該請求是否在爬取隊列中。如果它已經(jīng)存在，則丟棄當前請求。
　　具體實(shí)施步驟：
　　
　　(1)從要爬取的隊列中獲取url
　　(2) 判斷請求的URL是否已經(jīng)被抓取，如果已經(jīng)被抓取，則忽略該請求，不抓取，繼續其他操作，將URL插入到抓取隊列中
　?。?) 重復步驟 1
　　這里我們使用了scrapy-redis去重組件，所以沒(méi)有實(shí)現，但是原理還是需要理解的，具體可以看源碼。
　　4）爬蟲(chóng)中間件
　　爬蟲(chóng)中間件可以幫助我們在scrapy爬蟲(chóng)過(guò)程中自由擴展我們的程序。以下是爬蟲(chóng)反屏蔽中間件、下載器異常狀態(tài)中間件和非200狀態(tài)中間件。
　　(1）爬蟲(chóng)反屏蔽組件的實(shí)現
　　在訪(fǎng)問(wèn)網(wǎng)站的網(wǎng)頁(yè)時(shí)，會(huì )給網(wǎng)站帶來(lái)一定的負載，爬蟲(chóng)程序模擬了我們正常訪(fǎng)問(wèn)網(wǎng)頁(yè)的過(guò)程，但是。大型爬蟲(chóng)會(huì )給網(wǎng)站增加很大的負載，影響普通用戶(hù)的訪(fǎng)問(wèn)。為了保證網(wǎng)頁(yè)可以被大多數正常用戶(hù)訪(fǎng)問(wèn)，大多數網(wǎng)站都有相應的反爬蟲(chóng)策略。一旦訪(fǎng)問(wèn)行為被認定為爬蟲(chóng)，網(wǎng)站會(huì )采取一定的措施限制您的訪(fǎng)問(wèn)，比如提醒您訪(fǎng)問(wèn)過(guò)于頻繁，請您輸入驗證碼，如果比較嚴重，您的ip會(huì )被封禁，禁止你訪(fǎng)問(wèn)網(wǎng)站。本系統在有針對性的抓取網(wǎng)頁(yè)數據時(shí)，會(huì )持續訪(fǎng)問(wèn)網(wǎng)站的內容。
　　本系統采用以下方法防止爬蟲(chóng)被攔截：
　　1.模擬不同的瀏覽器行為
　　2. 一定頻率更換代理服務(wù)器和網(wǎng)關(guān)
　　3. 符合君子協(xié)議，降低爬蟲(chóng)爬取網(wǎng)頁(yè)的頻率，減少并發(fā)爬取的進(jìn)程，限制每個(gè)IP的并發(fā)爬取次數，犧牲一定的效率來(lái)?yè)Q取系統的穩定性。
　　4.禁用cookies，網(wǎng)站會(huì )在cookie中插入一些信息來(lái)判斷用戶(hù)訪(fǎng)問(wèn)時(shí)是否是機器人。我們屏蔽和調整cookie，這也有利于我們的身份不同意暴露。
　　5. 手動(dòng)編碼，這應該是無(wú)懈可擊的反禁措施。所有的系統都不比人工操作好，但它們降低了自動(dòng)化，效率不高，但它們確實(shí)是最有效的措施。當爬蟲(chóng)被禁止時(shí)，它會(huì )被重定向到一個(gè)驗證碼頁(yè)面。輸入驗證碼重新訪(fǎng)問(wèn)頁(yè)面。為此，我添加了一個(gè)電子郵件提醒模塊。當爬蟲(chóng)被封禁時(shí)，我會(huì )發(fā)郵件提醒管理員解封。同時(shí)將重定向的請求重新加入到下載隊列中進(jìn)行爬取，保證數據的完整性。
　　爬蟲(chóng)預防網(wǎng)站屏蔽的原理如下圖所示：
　　
　?。ㄒ唬┠M不同瀏覽器行為的實(shí)現思路和代碼
　　原理：從scrapy的介紹可以知道scrapy有下載中間件。在這個(gè)中間件中，我們可以自定義請求和響應，類(lèi)似于spring面向方面的編程，就像在程序運行前后嵌入一個(gè)鉤子。核心是修改請求的屬性
　　首先是擴展下載中間件，首先在seetings.py中添加中間件，
　　其次，擴展中間件，主要是寫(xiě)一個(gè)useragent列表，將常用的瀏覽器請求頭保存為一個(gè)列表，如下圖：
　　
　　讓請求的頭文件從列表中隨機選擇一個(gè)代理值，然后下載到下載器。
　　
　　綜上所述，每次發(fā)出請求，都是模擬使用不同的瀏覽器訪(fǎng)問(wèn)目標網(wǎng)站。
　　(B) 使用代理ip爬取的實(shí)現思路和代碼。
　　首先，將中間件添加到seetings.py。擴展下載組件請求的頭文件會(huì )從代理ip池中隨機取出一個(gè)代理值，然后下載到下載器。
　　1.代理ip池的設計開(kāi)發(fā)流程如下：
　　
　　一種。獲取免費代理ip網(wǎng)站。
　　灣 存儲和驗證代理ip
　　C。驗證存儲在數據庫中
　　d. 如果達到最大ip數，停止爬取，一定時(shí)間后驗證數據ip的有效性，刪除無(wú)效ip
　　e. 直到數據庫ip小于0，繼續爬取ip，重復步驟a。
　　這里的代理ip模塊使用的是七夜代理ip池的開(kāi)源項目
　　代理ip爬蟲(chóng)運行截圖：
　　
　?。ㄈ┡老x(chóng)異常狀態(tài)組件的處理
　　爬蟲(chóng)運行時(shí)沒(méi)有被阻塞，訪(fǎng)問(wèn)網(wǎng)站并不總是200請求成功，而是有各種狀態(tài)，比如上面爬蟲(chóng)被ban的時(shí)候，返回的狀態(tài)其實(shí)是302，就是為了防止阻塞組件 捕獲要實(shí)現的 302 狀態(tài)。同時(shí)，異常情況的處理有利于爬蟲(chóng)的魯棒性。
　　擴展中間件在設置中捕捉到異常情況后，將請求重新加入等待下載隊列的過(guò)程如下：
　　
　　(D) 數據存儲模塊
　　數據存儲模塊主要負責存儲從端爬取解析的頁(yè)面。使用 Mongodb 存儲數據。
　　Scrapy 支持 json、csv 和 xml 等數據存儲格式。用戶(hù)可以在運行爬蟲(chóng)時(shí)進(jìn)行設置，例如：scrapy crawl spider -o items.json -t json，也可以在Scrapy項目文件ItemPipline文件中定義，同時(shí)Scrapy也支持數據庫存儲，如如Monogdb、Redis等。當數據量很大到一定程度時(shí)，可以使用Mongodb或Reids集群來(lái)解決。本系統的數據存儲如下圖所示：
　　
　　(E) 抓斗設計
　　本文以網(wǎng)絡(luò )房屋數據為爬取目標，slave端分析抓取現場(chǎng)數據。因此，采集到的內容必須能夠客觀(guān)、準確地反映網(wǎng)絡(luò )房屋數據的特點(diǎn)。
　　以58個(gè)同城網(wǎng)絡(luò )房源數據為例，通過(guò)分析網(wǎng)頁(yè)結構，定義字段的詳細信息如下表所示。
　　序號字段名稱(chēng)字段含義
　　1title 帖子標題
　　2money 租金
　　3method租借方式
　　4area區域
　　5community所在的社區
　　6targeturl 帖子詳情
　　7city所在的城市
　　8Pub_time 發(fā)布發(fā)布時(shí)間
　　現場(chǎng)選擇主要是基于本系統的應用研究，因為系統開(kāi)發(fā)單機配置比較低，沒(méi)有圖片文件下載到本機。減輕單機壓力。
　　(F) 數據處理
　　1)對象定義程序
　　Item 是定義捕獲數據的容器。它是通過(guò)創(chuàng )建一個(gè) scrapy.item.Item 類(lèi)來(lái)聲明的。定義屬性為scrapy.item.Field對象，通過(guò)實(shí)例化需要的item來(lái)控制獲取的站點(diǎn)數據。系統定義了九個(gè)抓取對象，分別是：帖子標題、租金、租賃方式、位置、社區、城市、帖子詳情頁(yè)鏈接、發(fā)布時(shí)間。這里的字段定義是根據數據處理端的需要來(lái)定義的。關(guān)鍵代碼如下：
　　類(lèi) TcZufangItem(Item):
　　#帖子名稱(chēng)
　　標題=字段（）
　?。Ｗ?br /> 　　錢(qián)=字段（）
　　#出租方式
　　方法=字段（）
　　#您所在的地區
　　區域=字段（）
　?。５攸c(diǎn)
　　社區=字段（）
　　#發(fā)布詳情網(wǎng)址
　　目標網(wǎng)址=字段（）
　　#發(fā)布發(fā)布時(shí)間
　　pub_time=字段（）
　　#位置城市
　　城市=字段（）
　　2)數據處理程序
　　Pipeline 類(lèi)定義了數據保存和輸出方法。Spider的parse方法返回的Item，在處理完ITEM_PIPELINES列表中Pipeline類(lèi)對應的數據后，會(huì )以top格式輸出數據。本系統返回管道的數據存儲在Mongodb中。關(guān)鍵代碼如下：
　　def process_item(self, item, spider):
　　如果 item['pub_time'] == 0：
　　raise DropItem("發(fā)現重復項：%s"% 項)
　　如果項目['方法'] == 0：
　　raise DropItem("發(fā)現重復項：%s"% 項)
　　如果項目['社區']==0：
　　raise DropItem("發(fā)現重復項：%s"% 項)
　　如果 item['money']==0:
　　raise DropItem("發(fā)現重復項：%s"% 項)
　　如果 item['area'] == 0:
　　raise DropItem("發(fā)現重復項：%s"% 項)
　　如果項目['城市'] == 0：
　　raise DropItem("發(fā)現重復項：%s"% 項)
　　zufang_detail = {
　　'title': item.get('title'),
　　'錢(qián)'：item.get('錢(qián)'),
　　'方法'：item.get('方法'),
　　'area': item.get('area',''),
　　'社區': item.get('社區',''),
　　'targeturl': item.get('targeturl'),
　　'pub_time': item.get('pub_time',''),
　　'city':item.get('city','')
　　}
　　result = self.db['zufang_detail'].insert(zufang_detail)
　　打印'[成功]'+item['targeturl']+'寫(xiě)入MongoDB數據庫'
　　歸還物品
　　(G) 數據可視化設計
　　數據的可視化，其實(shí)就是把數據庫的數據轉換成我們用戶(hù)容易觀(guān)察的形式。本系統使用Mongodb來(lái)存儲數據。數據可視化基于Django+Semantiui，效果如下圖所示：
　　
　　
　　四、系統操作
　　系統以58同城租賃平臺為爬取目標。運行十個(gè)小時(shí)后，系統繼續抓取網(wǎng)頁(yè)上總共數萬(wàn)個(gè)列表數據。
　　Master運行截圖：
　　
　　Slave 運行截圖：
　　
　　五、系統部署
　　環(huán)境部署，因為分布式部署需要的環(huán)境類(lèi)似。如果一個(gè)服務(wù)器部署程序需要配置環(huán)境，那就很麻煩了。這里使用docker鏡像部署爬蟲(chóng)程序，使用Daocloud上的scrapy-env對。程序已經(jīng)部署完畢，具體的docker部署過(guò)程可以參考網(wǎng)上。 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(Python模塊的安裝方法和使用難度-快-困難-簡(jiǎn)單)
　　我們需要讓爬蟲(chóng)從每個(gè)網(wǎng)頁(yè)中提取一些數據，然后實(shí)現某些事情，這種做法叫做數據抓取。
　　分析網(wǎng)頁(yè)
　　查看網(wǎng)頁(yè)源代碼并使用 Firebug Lite 擴展。Firebug 是由 Joe Hewitt 開(kāi)發(fā)的與 Firefox 集成的強大 Web 開(kāi)發(fā)工具。它可以實(shí)時(shí)編輯、調試和監控任何頁(yè)面的 CSS、HTML 和 JavaScript。這里用來(lái)查看網(wǎng)頁(yè)的源代碼。
　　安裝 Firebug Lite，下載 Firebug Lite 包，然后在瀏覽器中安裝插件。
　　網(wǎng)頁(yè)抓取的三種方法
　　正則表達式，BeatifulSoup 模板，強大的 lxml 模塊
　　正則表達式
　　def download(url,user_agent=\'wswp\',proxy=None,num_retries=2):
print \'Downloading:\',url
headers={\'User-agent\':user_agent}
request=urllib2.Request(url,headers=headers)
opener=urllib2.build_opener()
if opener:
proxy_params={urlparse.urlparse(url).scheme:proxy}
opener.add_handler(urllib2.ProxyHandler(proxy_params))
try:
html=urllib2.urlopen(request).read()
except urllib2.URLError as e:
print \'Download:\' ,e.reason
html=None
if num_retries>0:
if hasattr(e,\'code\') and 500
Area
Population
"""
　　測試三種方法的性能
<p>import re
import urllib2
import urlparse
from bs4 import BeautifulSoup
import lxml.html
import time
#
#
#
#獲取網(wǎng)頁(yè)內容
def download(url,user_agent=\'wswp\',proxy=None,num_retries=2):
print \'Downloading:\',url
headers={\'User-agent\':user_agent}
request=urllib2.Request(url,headers=headers)
opener=urllib2.build_opener()
if opener:
proxy_params={urlparse.urlparse(url).scheme:proxy}
opener.add_handler(urllib2.ProxyHandler(proxy_params))
try:
html=urllib2.urlopen(request).read()
except urllib2.URLError as e:
print \'Download:\' ,e.reason
html=None
if num_retries>0:
if hasattr(e,\'code\') and 500 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(網(wǎng)絡(luò )爬蟲(chóng)的爬行策略和存儲方法介紹-上海怡健醫學(xué))
　　網(wǎng)絡(luò )爬蟲(chóng)是指按照一定的規則自動(dòng)爬取網(wǎng)絡(luò )上的程序（模擬手動(dòng)登錄網(wǎng)頁(yè)的方式）。簡(jiǎn)單的說(shuō)，就是你在網(wǎng)上看到的頁(yè)面內容被獲取并存儲。網(wǎng)絡(luò )爬蟲(chóng)的爬取策略分為深度優(yōu)先和廣度優(yōu)先。下圖展示了從A到B到D到E到C到F的深度優(yōu)先遍歷方法（ABDECF）和廣度優(yōu)先遍歷方法ABCDEF。
　　
　　網(wǎng)絡(luò )爬蟲(chóng)實(shí)現原理
　　1、獲取初始網(wǎng)址。初始URL地址可以由用戶(hù)手動(dòng)指定，也可以由用戶(hù)指定的一個(gè)或多個(gè)初始抓取網(wǎng)頁(yè)確定。
　　2、 根據初始 URL 抓取頁(yè)面，獲取新 URL。獲取初始URL地址后，首先需要抓取對應URL地址中的網(wǎng)頁(yè)。在對應的URL地址中抓取網(wǎng)頁(yè)后，將網(wǎng)頁(yè)存儲在原創(chuàng )數據庫中，在抓取網(wǎng)頁(yè)的同時(shí)發(fā)現新的URL爬行過(guò)程。
　　3、將新的 URL 放入 URL 隊列。第二步，獲取下一個(gè)新的URL地址后，將新的URL地址放入URL隊列中。
　　4、 從 URL 隊列中讀取新的 URL，并根據新的 URL 抓取網(wǎng)頁(yè)。同時(shí)，從新的網(wǎng)頁(yè)中獲取新的URL，重復上面提到的爬取過(guò)程。
　　5、滿(mǎn)足爬蟲(chóng)系統設置的停止條件時(shí)停止爬行。在寫(xiě)爬蟲(chóng)的時(shí)候，一般都會(huì )設置相應的停止條件。如果不設置停止條件，爬蟲(chóng)會(huì )一直爬到無(wú)法獲取新的URL地址。如果設置了停止條件，則爬蟲(chóng)會(huì )在滿(mǎn)足停止條件時(shí)停止爬行。 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(網(wǎng)站遇到瓶頸怎么辦？如何打開(kāi)另一扇之門(mén)？)
　　當我在爬取網(wǎng)站時(shí)遇到瓶頸，想上前解決的時(shí)候，我經(jīng)常先看網(wǎng)站的robots.txt文件，有時(shí)會(huì )再打開(kāi)一個(gè)供你捕捉。門(mén)。
　　寫(xiě)爬蟲(chóng)有很多苦惱的地方，比如：
　　1. 訪(fǎng)問(wèn)頻率太高，受限；
　　2.如何大量找到這個(gè)網(wǎng)站的網(wǎng)址；
　　3.如何抓取網(wǎng)站新生成的URL等；
　　
　　這些問(wèn)題困擾著(zhù)爬蟲(chóng)。如果有大量離散的IP和賬號，這些都不是問(wèn)題，但大多數公司不具備這個(gè)條件。
　　我們工作中編寫(xiě)的爬蟲(chóng)大多是一次性的、臨時(shí)的任務(wù)，需要你快速完成工作。遇到上述情況時(shí)，嘗試查看robots.txt文件。
　　舉個(gè)栗子：
　　老板給你分配任務(wù)，捕捉豆瓣每天生成的影評、書(shū)評、群帖、同城帖、個(gè)人日志。
　　想想這個(gè)任務(wù)有多大。豆瓣擁有1.6億注冊用戶(hù)。對于抓取個(gè)人日志的任務(wù)，您必須每天至少訪(fǎng)問(wèn)一次每個(gè)人的主頁(yè)。
　　這將不得不每天訪(fǎng)問(wèn)1. 6 億次，并且不計算群組/同城帖子。
　　設計一個(gè)普通的爬蟲(chóng)不能依靠幾十個(gè)IP來(lái)完成任務(wù)。
　　先看robots.txt
　　當boss給你以上任務(wù)的時(shí)候，靠你的兩把槍?zhuān)闶窃趺赐瓿傻?，不要跟boss講技術(shù)，他不懂，他只想要結果。
　　我們來(lái)看看豆瓣的robots.txt
　　
　　看圖片上面的紅框，里面有兩個(gè)sitemap文件
　　打開(kāi) sitemap_updated_index 文件并查看：
　　
　　里面有一個(gè)一個(gè)的壓縮文件，里面有豆瓣頭一天新生成的影評、書(shū)評、帖子等。有興趣的可以打開(kāi)壓縮文件看看。
　　換句話(huà)說(shuō)，你只需要每天訪(fǎng)問(wèn)robots.txt中的站點(diǎn)地圖文件，就可以知道哪些URL是新生成的。
　　無(wú)需遍歷豆瓣網(wǎng)站上的數億個(gè)鏈接，大大節省了您的爬蟲(chóng)時(shí)間和爬蟲(chóng)設計的復雜度，同時(shí)也降低了豆瓣網(wǎng)站的帶寬消耗。這是雙贏(yíng)的，哈哈。
　　robots.txt 的站點(diǎn)地圖文件找到了獲取新 URL 網(wǎng)站 的方法。沿著(zhù)這個(gè)思路也可以解決查找大量網(wǎng)站 URL的問(wèn)題。
　　再給一個(gè)栗子：
　　老板給你另一個(gè)任務(wù)。老板說(shuō)你上次抓豆瓣，你說(shuō)每天需要大量的IP才能得到豆瓣新發(fā)的帖子。這一次，我給你1000個(gè)IP，捕捉天眼查過(guò)的千萬(wàn)家企業(yè)的商業(yè)信息。.
　　看了這么多IP，流口水了，但是分析網(wǎng)站后發(fā)現，這種網(wǎng)站的爬取入口很少（爬取入口指的是頻道頁(yè)面，即聚合很多鏈接的那種頁(yè)面。）。
　　獲取保留的 URL 很容易，而且查看這么多 IP 也不是很忙。
　　如果性能發(fā)現這個(gè)網(wǎng)站幾萬(wàn)甚至幾十萬(wàn)個(gè)URL，放到等待隊列中，可以讓這么多IP作業(yè)滿(mǎn)載而歸，不偷懶。
　　我們來(lái)看看他的 robots.txt 文件：
　　
　　
　　打開(kāi)紅框處的站點(diǎn)地圖，有30,000個(gè)公司網(wǎng)址。上圖是1月3日生成的，URL是根據年月日生成的。你可以把網(wǎng)址改成1月2號，又可以看到2號站點(diǎn)地圖有幾萬(wàn)個(gè)公司網(wǎng)址，所以你可以找到幾十萬(wàn)個(gè)種子網(wǎng)址供你爬取。
　　PS：上面的sitemap其實(shí)可以解決天眼查新更新新生成的URL爬取的問(wèn)題。
　　一個(gè)小技巧不僅降低了爬蟲(chóng)設計的復雜度，還降低了對方的帶寬消耗。
　　這在工作中非常適用。在工作中，你不在乎你使用的框架有多好，只在乎你做事有多快，有多好。
　　如果你善于查看 robots.txt 文件，你會(huì )發(fā)現一些獨特的東西。 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(Chrome瀏覽器插件WebScraper可輕松實(shí)現網(wǎng)頁(yè)數據的爬取)
　　Chrome瀏覽器插件Web Scraper可以輕松抓取網(wǎng)頁(yè)數據，無(wú)需考慮爬蟲(chóng)中的登錄、驗證碼、異步加載等復雜問(wèn)題。
　　先粘貼爬蟲(chóng)58數據的sitemap如下：
　　{"_id":"hefeitongcheng","startUrl":[";ClickID=1"],"selectors":[{"id":"click","type":"SelectorElementClick","parentSelectors" :["_root"],"selector":".list-main-style li","multiple":true,"delay":"5000","clickElementSelector":"strong span","clickType":"clickMore ","discardInitialElements":"do-not-discard","clickElementUniquenessType":"uniqueText"},{"id":"link","type":"SelectorLink","parentSelectors":["click"], "selector":".title a","multiple":false,"delay":0},{"id":"name","type":"SelectorText","parentSelectors":["link"], "selector":"h1","multiple":false,"regex":"","delay":0},{"id":"jiage","type":"SelectorText","parentSelectors":[ "link"],"selector":".house_basic_title_money span","multiple":false,"regex":"","delay":0},{"id":"add","type":"SelectorText ","parentSelectors":["link"],"selector":"p.p_2","multiple":false,"regex":"","delay":0}]}
　　
　　Web Scraper 爬取過(guò)程及要點(diǎn)：
　　安裝Web Scraper插件后，抓取操作分三步完成
　　1、新建站點(diǎn)地圖（創(chuàng )建爬蟲(chóng)項目）
　　2、選擇抓取的網(wǎng)頁(yè)內容，點(diǎn)擊~(yú)點(diǎn)擊~(yú)點(diǎn)擊，操作
　　3、啟用抓取和下載 CSV 數據
　　最關(guān)鍵的一步是第二步，主要有兩點(diǎn)：
　　首先選擇數據塊Element，我們在頁(yè)面上取的每一塊數據，都是重復的，在數據??塊中選擇Multiple，然后取需要的數據字段（上面Excel中的列）
　　爬取大量數據的重點(diǎn)是掌握分頁(yè)的控制。
　　分頁(yè)分為3種情況：
　　1. URL 參數分頁(yè)（比較組織） ?page=2 或 ?page=[1-27388]
　　2.滾動(dòng)加載，點(diǎn)擊“加載更多”加載頁(yè)面數據元素向下滾動(dòng)
　　3.點(diǎn)擊頁(yè)碼標簽（包括“下一頁(yè)”標簽）鏈接或元素點(diǎn)擊
　　其他例子A：jd爬升hw p30價(jià)格信息
　　{"_id":"huaweip30","startUrl":[";enc=utf-8&wq=%E5%8D%8E%E4%B8%BAp30%20512&pvid=ed449bf16e44461fac90ff6fae2e66cds"][ "id":"element","type":"SelectorElementClick","parentSelectors":["_root"],"selector":"div.gl-i-wrap","multiple":true,"delay": "1500","clickElementSelector":".p-num a:nth-of-type(3)","clickType":"clickOnce","discardInitialElements":"do-not-discard","clickElementUniquenessType ":"uniqueText"},{"id":"name","type":"SelectorText","parentSelectors":["element"],"selector":"a em","multiple":false," regex":"","delay":0},{"id":"jiage","type":"SelectorText","parentSelectors":["element"],"selector":"div.p-price ","multiple":false,"regex":"","delay":0}]}
　　其他例子B：爬上百度關(guān)鍵詞信息
　　{ "_ id": "wailaizhu", "startUrl": [ "; pn = 0 & oq = wailaizhu% 20h0101 & tn = baiduhome_pg & ie = utf-8 & rsv_idx = 2 & rsv_pq = f62d1151tv_f0 5b15EoMWRlm3% 2BeroyWXBKI% 2FDZ3H0BlGKJ6lNa6mmYBo4nNDUeJNeeN8BvgiE9S9Orivd"], "selectors": [ {"id":"element","type":"SelectorElementClick","parent_selector"],"div_selector":","[" "multiple":true,"delay":"1500","clickElementSelector":"a span.pc","clickType":"clickOnce","discardInitialElements":"do-not-discard","clickElementUniquenessType":" uniqueText"},{"id":"name", "type":"SelectorText","parentSelectors":["element"],"selector":"a","multiple":false,"regex":" ","delay":0},{"id":"body","type":"SelectorText","parentSelectors":["element"],"selector":"_parent_","multiple":false, "regex":"","delay":0} ]} 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(
從HttpFox的POSTData項看到(圖)Data(組圖)
)
　　#表示刪不去這一行，這個(gè)代碼框框啊 啊啊啊啊啊
　　一、 作為python爬蟲(chóng)，一般需要對網(wǎng)頁(yè)進(jìn)行簡(jiǎn)單的分析，然后才能爬取數據。這里推薦火狐的HttpFox，簡(jiǎn)單實(shí)用。
　　如下圖，巨潮信息網(wǎng)通過(guò)查詢(xún)展示想要的數據，然后抓取。
　　
　　二、 爬取查詢(xún)數據，查詢(xún)類(lèi)型，表示需要貼過(guò)去的相關(guān)數據才能得到想要的數據。
　　通過(guò)HttpFox分析獲取相關(guān)數據，帖子的過(guò)往數據相當復雜。從HttpFox的POST Data項可以看到如下一系列信息：
　　stock=&searchkey=&plate=sz%3Bszmb%3Bszzx%3Bszcy%3Bshmb%3B&category=category_sjdbg_szsh%3Bcategory_ndbg_szsh
　　%3Bcategory_bndbg_szsh%3Bcategory_yjdbg_szsh%3B&trade=&column=szse&columnTitle=%E5%8E%86%E5%8F%B2%E5%85
　　%AC%E5%91%8A%E6%9F%A5%E8%AF%A2&pageNum=1&pageSize=30&tabName=fulltext&sortName=&sortType=&limit=&showTitle
　　category_sjdbg_szsh%2Fcategory%2F%E4%B8%89%E5%AD%A3%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_ndbg_szsh
　　%2Fcategory%2F%E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_bndbg_szsh%2Fcategory%2F%E5%8D%8A%
　　E5%B9%B4%E5%BA%A6%E6%8A%A5%E5%91%8A%3Bcategory_yjdbg_szsh%2Fcategory%2F%E4%B8%80%E5%AD%A3%E5
　　%BA%A6%E6%8A%A5%E5%91%8A%3Bsz%2Fplate%2F%E6%B7%B1%E5%B8%82%E5%85%AC%E5%8F%B8% 3Bszmb%2Fplate
　　%2F%E6%B7%B1%E5%B8%82%E4%B8%BB%E6%9D%BF%3Bszzx%2Fplate%2F%E4%B8%AD%E5%B0%8F%E6% 9D%BF%3Bszcy
　　%2Fplate%2F%E5%88%9B%E4%B8%9A%E6%9D%BF%3Bshmb%2Fplate%2F%E6%B2%AA%E5%B8%82%E4%B8%BB% E6%9D%B
　　F&seDate=2016-10-13
　　我想專(zhuān)注于捕獲第一季度、半年、第三季度和年度報告。查看類(lèi)別選擇：
　　category=category_sjdbg_szsh%3Bcategory_ndbg_szsh%3Bcategory_bndbg_szsh
　　%3Bcategory_yjdbg_szsh%3B
　　面對如此復雜的帖子數據，我不知道如何構建自己的帖子數據項。特別是當某個(gè)后變量采用多個(gè)值時(shí)。注意：%3B 是表示分號“;”的 URL 編碼值。解決了一個(gè)變量多個(gè)值的問(wèn)題。
　　#-*- coding: utf8 -*-
import urllib2
import urllib
import re
import time,datetime
import os
import shutil
def getstock(page,strdate):
values = {
&#39;stock&#39;:&#39;&#39;,
&#39;searchkey&#39;:&#39;&#39;,
&#39;plate&#39;:&#39;sz;szmb;szzx;szcy;shmb&#39;,
#%category_bndbg_szsh半年報告；category_sjdbg_szsh三季度；category_ndbg_szsh年度；category_yjdbg_szsh一季度
&#39;category&#39;:&#39;category_bndbg_szsh;category_sjdbg_szsh;category_ndbg_szsh;category_yjdbg_szsh&#39;,
&#39;trade&#39;:&#39;&#39;,
&#39;column&#39;:&#39;szse&#39;,
&#39;columnTitle&#39;:&#39;%E5%8E%86%E5%8F%B2%E5%85%AC%E5%91%8A%E6%9F%A5%E8%AF%A2&#39;,
&#39;pageNum&#39;:page,
&#39;pageSize&#39;:&#39;50&#39;,
&#39;tabName&#39;:&#39;fulltext&#39;,
&#39;sortName&#39;:&#39;&#39;,
&#39;sortType&#39;:&#39;&#39;,
&#39;limit&#39;:&#39;&#39;,
&#39;seDate&#39;:strdate}
data = urllib.urlencode(values)
url = "http://www.cninfo.com.cn/cninf ... ot%3B
request = urllib2.Request(url,data)
datime = datetime.datetime.now()
response = urllib2.urlopen(request,timeout=4)
re_data = response.read()
re_data = re_data.decode(&#39;utf8&#39;)
dict_data = eval(re_data.replace(&#39;null&#39;,&#39;None&#39;).replace(&#39;true&#39;,&#39;True&#39;).replace(&#39;false&#39;,&#39;False&#39;))
print dict_data #轉成dict數據，輸出看看
return dict_data
try:
date2 = time.strftime(&#39;%Y-%m-%d&#39;, time.localtime())
page = 1
ret = getstock(str(page),str(date2))
except Exception as error:
print error
　　good luck！ 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(動(dòng)態(tài)網(wǎng)頁(yè)數據抓取什么是AJAX：異步JavaScript和XML的區別)
　　什么是 AJAX？
　　AJAX (Asynchronouse JavaScript And XML) 異步 JavaScript 和 XML。通過(guò)在后臺與服務(wù)器交換少量數據，Ajax 可以使網(wǎng)頁(yè)異步更新。這意味著(zhù)可以在不重新加載整個(gè)網(wǎng)頁(yè)的情況下更新網(wǎng)頁(yè)的某些部分。如果內容需要更新，傳統網(wǎng)頁(yè)（不使用 Ajax）必須重新加載整個(gè)網(wǎng)頁(yè)。因為傳統的數據傳輸格式是XML語(yǔ)法。所以它被稱(chēng)為 AJAX。其實(shí)現在數據交互基本都是用JSON。使用AJAX加載的數據，即使使用JS將數據渲染到瀏覽器中，在右鍵-&gt;查看網(wǎng)頁(yè)源代碼中仍然看不到通過(guò)ajax加載的數據，只能看到使用這個(gè)url加載的html代碼。
　　ajax數據的獲取方式：直接分析ajax調用的接口。然后通過(guò)代碼請求這個(gè)接口。使用Selenium+chromedriver模擬瀏覽器行為獲取數據。
　　道路
　　優(yōu)勢
　　缺點(diǎn)
　　分析界面
　　可以直接請求數據。無(wú)需做一些解析工作。代碼量小，性能高。
　　解析接口比較復雜，尤其是一些被js混淆的接口，必須有一定的js基礎。很容易被發(fā)現為爬蟲(chóng)。
　　硒
　　直接模擬瀏覽器的行為。瀏覽器可以請求的內容也可以使用 selenium 請求。爬蟲(chóng)更穩定。
　　很多代碼。低性能。
　　Selenium+chromedriver 獲取動(dòng)態(tài)數據：
　　Selenium 相當于一個(gè)機器人?？梢栽跒g覽器上模擬一些人類(lèi)的行為，在瀏覽器上自動(dòng)處理一些行為，比如點(diǎn)擊、填充數據、刪除cookies等。 chromedriver是一個(gè)驅動(dòng)Chrome瀏覽器的驅動(dòng)，可以用來(lái)驅動(dòng)瀏覽器. 當然，不同的瀏覽器有不同的驅動(dòng)程序。下面列出了不同的瀏覽器及其相應的驅動(dòng)程序：
　　Chrome: Firefox: Edge: Safari: Install Selenium: Selenium有多種語(yǔ)言版本，如java、ruby、python等，我們可以下載python版本。pip install selenium install chromedriver：下載完成后，放到一個(gè)不需要權限的純英文目錄下。安裝 Selenium 和 chromedriver：快速入門(mén)：
　　from selenium import webdriver
# chromedriver的絕對路徑
driver_path = r‘D:\ProgramApp\chromedriver\chromedriver.exe‘
# 初始化一個(gè)driver，并且指定chromedriver的路徑
driver = webdriver.Chrome(executable_path=driver_path)
# 請求網(wǎng)頁(yè)
driver.get("https://www.baidu.com/")
# 通過(guò)page_source獲取網(wǎng)頁(yè)源代碼
print(driver.page_source)
　　Selenium 常見(jiàn)操作：
　　更多教程參考：
　　關(guān)閉頁(yè)面： driver.close()：關(guān)閉當前頁(yè)面。driver.quit()：退出整個(gè)瀏覽器。定位元素：
　　需要注意的是 find_element 是獲取第一個(gè)滿(mǎn)足條件的元素。find_elements 是獲取所有滿(mǎn)足條件的元素。
　　find_element_by_id：根據id來(lái)查找某個(gè)元素。等價(jià)于：
submitTag = driver.find_element_by_id(‘su‘)
submitTag1 = driver.find_element(By.ID,‘su‘)
find_element_by_class_name：根據類(lèi)名查找元素。 等價(jià)于：
submitTag = driver.find_element_by_class_name(‘su‘)
submitTag1 = driver.find_element(By.CLASS_NAME,‘su‘)
find_element_by_name：根據name屬性的值來(lái)查找元素。等價(jià)于：
submitTag = driver.find_element_by_name(‘email‘)
submitTag1 = driver.find_element(By.NAME,‘email‘)
find_element_by_tag_name：根據標簽名來(lái)查找元素。等價(jià)于：
submitTag = driver.find_element_by_tag_name(‘div‘)
submitTag1 = driver.find_element(By.TAG_NAME,‘div‘)
find_element_by_xpath：根據xpath語(yǔ)法來(lái)獲取元素。等價(jià)于：
submitTag = driver.find_element_by_xpath(‘//div‘)
submitTag1 = driver.find_element(By.XPATH,‘//div‘)
find_element_by_css_selector：根據css選擇器選擇元素。等價(jià)于：
submitTag = driver.find_element_by_css_selector(‘//div‘)
submitTag1 = driver.find_element(By.CSS_SELECTOR,‘//div‘)
　　操作表單元素：
　　操作輸入框：分為兩步。第一步：找到這個(gè)元素。第二步：使用send_keys(value)填寫(xiě)數據。示例代碼如下：
　　inputTag = driver.find_element_by_id('kw')
　　inputTag.send_keys('python')
　　使用clear方法清除輸入框的內容。示例代碼如下：
　　inputTag.clear()
　　操作復選框：因為要選中復選框標簽，所以在網(wǎng)頁(yè)上用鼠標點(diǎn)擊它。因此，如果要選中復選框標簽，請先選中此標簽，然后再執行點(diǎn)擊事件。示例代碼如下：
　　rememberTag = driver.find_element_by_name("rememberMe")
　　記住Tag.click()
　　選擇選擇：不能直接點(diǎn)擊選擇元素。因為元素需要點(diǎn)擊后被選中。這時(shí)候，selenium 專(zhuān)門(mén)為 select 標簽提供了一個(gè)類(lèi) selenium.webdriver.support.ui.Select。將獲取的元素作為參數傳遞給該類(lèi)以創(chuàng )建該對象。您可以在將來(lái)使用此對象進(jìn)行選擇。示例代碼如下：
　　fromselenium.webdriver.support.ui importSelect
　　# 選中這個(gè)標簽，然后使用Select創(chuàng )建一個(gè)對象
　　selectTag = Select(driver.find_element_by_name("jumpMenu"))
　　#根據索引選擇
　　selectTag.select_by_index(1)
　　# 按值選擇
　　selectTag.select_by_value("")
　　# 根據可見(jiàn)文本選擇
　　selectTag.select_by_visible_text("95 顯示客戶(hù)端")
　　# 取消所有選項
　　selectTag.deselect_all()
　　操作按鈕：操作按鈕的方式有很多種。比如單擊、右鍵、雙擊等，這里是最常用的一種。只需點(diǎn)擊。直接調用click函數就行了。示例代碼如下：
　　inputTag = driver.find_element_by_id('su')
　　inputTag.click()
　　行為鏈：
　　有時(shí)頁(yè)面上的操作可能會(huì )有很多步驟，這時(shí)可以使用鼠標行為鏈類(lèi)ActionChains來(lái)完成。例如，現在您想將鼠標移動(dòng)到一個(gè)元素并執行一個(gè)點(diǎn)擊事件。那么示例代碼如下：
　　inputTag = driver.find_element_by_id(‘kw‘)
submitTag = driver.find_element_by_id(‘su‘)
actions = ActionChains(driver)
actions.move_to_element(inputTag)
actions.send_keys_to_element(inputTag,‘python‘)
actions.move_to_element(submitTag)
actions.click(submitTag)
actions.perform()
　　還有更多與鼠標相關(guān)的操作。
　　餅干操作：
　　獲取所有的cookie：
for cookie in driver.get_cookies():
print(cookie)
根據cookie的key獲取value：
value = driver.get_cookie(key)
刪除所有的cookie：
driver.delete_all_cookies()
刪除某個(gè)cookie：
driver.delete_cookie(key)
　　頁(yè)面等待：
　　現在越來(lái)越多的網(wǎng)頁(yè)使用 Ajax 技術(shù)，因此程序無(wú)法確定元素何時(shí)完全加載。如果實(shí)際頁(yè)面等待時(shí)間過(guò)長(cháng)，某個(gè)dom元素沒(méi)有出來(lái)，而你的代碼直接使用了這個(gè)WebElement，那么就會(huì )拋出NullPointer異常。為了解決這個(gè)問(wèn)題。所以Selenium提供了兩種等待方式：一種是隱式等待，另一種是顯式等待。
　　隱式等待：調用 driver.implicitly_wait。然后，在獲取不可用元素之前，它會(huì )等待 10 秒。示例代碼如下
　　driver = webdriver.Chrome(executable_path=driver_path)
driver.implicitly_wait(10)
# 請求網(wǎng)頁(yè)
driver.get("https://www.douban.com/")
　　2/顯示等待：顯示等待是表示在執行獲取元素的操作之前，一定的條件成立。也可以指定等待的最長(cháng)時(shí)間，超過(guò)這個(gè)時(shí)間就會(huì )拋出異常。顯示等待應在 selenium.webdriver.support.excepted_conditions 和 selenium.webdriver.support.ui.WebDriverWait 的預期條件下完成。示例代碼如下：
　　 from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Firefox()
driver.get("http://somedomain/url_that_delays_loading")
try:
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, "myDynamicElement"))
)
finally:
driver.quit()
　　其他一些等待條件：
　　更多條件參考：
　　切換頁(yè)面：
　　有時(shí)窗口中有很多子標簽頁(yè)。這個(gè)時(shí)候必須切換。
　　Selenium 提供了一個(gè) switch_to_window 來(lái)切換。要切換到的特定頁(yè)面可以在 driver.window_handles 中找到。示例代碼如下：
　　# 打開(kāi)一個(gè)新的頁(yè)面
self.driver.execute_script("window.open(‘https://www.baidu.com‘)")
#顯示當前頁(yè)面的url
driver.current_url //還是百度頁(yè)面
# 切換到這個(gè)新的頁(yè)面中
driver.switch_to_window(driver.window_handles[1])
　　設置代理ip：
　　有時(shí)會(huì )頻繁抓取一些網(wǎng)頁(yè)。服務(wù)器發(fā)現你是爬蟲(chóng)后會(huì )屏蔽你的ip地址。這時(shí)候我們就可以更改代理ip了。更改代理ip，不同瀏覽器實(shí)現方式不同。以下是 Chrome 瀏覽器的示例：
　　from selenium import webdriver
options = webdriver.ChromeOptions() //設置存儲瀏覽器的信息
//添加代理服務(wù)器
options.add_argument("--proxy-server=http://110.73.2.248:8123")
driver_path = r"D:\ProgramApp\chromedriver\chromedriver.exe"
driver = webdriver.Chrome(executable_path=driver_path,chrome_options=options)
driver.get(‘http://httpbin.org/ip‘)
　　WebElement 元素：
　　from selenium.webdriver.remote.webelement import WebElement 類(lèi)是獲取到的每個(gè)元素的類(lèi)。
　　有一些常用的屬性：
　　get_attribute：此標簽的屬性值。
　　screentshot：獲取當前頁(yè)面的截圖。此方法只能在驅動(dòng)程序上使用。
　　驅動(dòng)程序的對象類(lèi)也繼承自 WebElement。
　　.
　　爬蟲(chóng)---selenium 動(dòng)態(tài)網(wǎng)頁(yè)數據抓取
　　原來(lái)的： 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(Android我的博客APP】1.抓取博客首頁(yè)文章列表內容——網(wǎng)頁(yè)數據抓取(組圖))
　　阿里云&gt;云棲社區&gt;主題地圖&gt;C&gt;c 抓取網(wǎng)頁(yè)列表數據庫
　　
　　推薦活動(dòng)：
　　更多優(yōu)惠&gt;
　　當前主題：c 抓取網(wǎng)頁(yè)列表數據庫并添加到采集夾
　　相關(guān)話(huà)題：
　　c 爬取網(wǎng)頁(yè)列表數據庫相關(guān)博客 查看更多博客
　　云數據庫產(chǎn)品概述
　　
　　
　　作者：阿里云官網(wǎng)
　　云數據庫是穩定、可靠、可彈性擴展的在線(xiàn)數據庫服務(wù)產(chǎn)品的總稱(chēng)?？梢暂p松運維全球90%以上主流開(kāi)源和商業(yè)數據庫（MySQL、SQL Server、Redis等），同時(shí)為PolarDB提供6倍以上的開(kāi)源數據庫性能和開(kāi)源數據庫的價(jià)格，以及自主研發(fā)的具有數百TB數據實(shí)時(shí)計算能力的HybridDB，對于數據庫，也有容災、備份、恢復、監控、遷移的一整套解決方案。
　　現在查看
　　使用正則表達式抓取博客園列表數據
　　
　　
　　作者：建筑師郭果860人瀏覽評論：08年前
　　鑒于我要完成的MVC 3會(huì )使用測試數據來(lái)模仿博客園企業(yè)系統，自己輸入太累了，所以抓了一部分博客園的列表數據，請不要被dudu冒犯。爬取博客園的數據時(shí)用到了正則表達式，所以不熟悉正則表達式的朋友可以參考相關(guān)資料。其實(shí)很容易掌握，就是
　　閱讀全文
　　【安卓我的博客APP】1.抓取博客首頁(yè)文章列表內容-網(wǎng)頁(yè)數據抓取
　　
　　
　　作者：呵呵 9925975人瀏覽評論：03年前
　　打算在博客園做自己的博客APP。首先必須能夠訪(fǎng)問(wèn)首頁(yè)獲取數據獲取首頁(yè)文章列表，第一步是抓取博客首頁(yè)文章列表內容功能，在小米2S中已經(jīng)實(shí)現了以上效果圖如下： 思路是通過(guò)編寫(xiě)的工具類(lèi)訪(fǎng)問(wèn)網(wǎng)頁(yè)，獲取頁(yè)面的源代碼，通過(guò)正則表達式獲取匹配的數據進(jìn)行處理顯示到ListView
　　閱讀全文
　　PHP 使用 QueryList 抓取網(wǎng)頁(yè)內容
　　
　　
　　作者：Jack Chen1527人瀏覽評論：06年前
　　原文：PHP 使用 QueryList 抓取網(wǎng)頁(yè)內容，然后使用 Java Jsoup 抓取網(wǎng)頁(yè)數據。前幾天聽(tīng)說(shuō)用PHP抓起來(lái)比較方便。今天研究了一下，主要是用QueryList來(lái)實(shí)現。QueryList 是一個(gè)基于 phpQuery 的通用列表 采集 類(lèi)，簡(jiǎn)單、靈活、功能強大
　　閱讀全文
　　PHP 使用 QueryList 抓取網(wǎng)頁(yè)內容
　　
　　
　　作者：thinkyoung1544 人瀏覽評論：06年前
　　之前，我們使用 Java Jsoup 來(lái)捕獲網(wǎng)頁(yè)數據。前幾天聽(tīng)說(shuō)用PHP抓包比較方便。今天簡(jiǎn)單研究了一下，主要是使用QueryList。
　　閱讀全文
　　初學(xué)者指南 | 使用 Python 抓取網(wǎng)頁(yè)
　　
　　
　　作者：小軒峰柴金2425人瀏覽評論：04年前
　　簡(jiǎn)介 從網(wǎng)頁(yè)中提取信息的需求正在迅速增加，其重要性也越來(lái)越明顯。每隔幾周，我自己就想從網(wǎng)頁(yè)中提取一些信息。例如，上周我們考慮建立各種在線(xiàn)數據科學(xué)課程的受歡迎程度和意見(jiàn)的索引。我們不僅需要尋找新的課程，還要抓取課程的評論，總結并建立一些指標。
　　閱讀全文
　　Python抓取歐洲足球聯(lián)賽數據進(jìn)行大數據分析
　　
　　
　　作者：青山無(wú)名 12610人瀏覽評論：14年前
　　背景網(wǎng)頁(yè)抓取在大數據時(shí)代，一切都必須用數據說(shuō)話(huà)。大數據處理過(guò)程一般需要以下幾個(gè)步驟：數據采集和數據的采集、提取、變形、數據加載分析。, 探索和預測數據的顯示。首先要做的是獲取數據，提取出有效數據，用于下一步的分析。
　　閱讀全文
　　使用 Scrapy 抓取數據
　　
　　
　　作者：雨客6542人瀏覽評論：05年前
　　Scrapy 是一個(gè)由 Python 開(kāi)發(fā)的快速、高級的屏幕抓取和網(wǎng)頁(yè)抓取框架，用于抓取網(wǎng)站和從頁(yè)面中提取結構化數據。Scrapy 用途廣泛，可用于數據挖掘、監控和自動(dòng)化測試。官方主頁(yè)：中文文檔：Scrap
　　閱讀全文
　　《用Python編寫(xiě)網(wǎng)絡(luò )爬蟲(chóng)》——2.2 三種網(wǎng)絡(luò )爬蟲(chóng)方法
　　
　　
　　作者：異步社區 3748人查看評論：04年前
　　本節摘自異步社區《Writing Web Crawlers in Python》一書(shū)第2章2.2，作者[澳大利亞]理查德勞森（Richard Lawson），李斌譯，更多章節內容可在云棲社區“異步社區”公眾號查看。2.2 三種網(wǎng)頁(yè)爬取方法 現在我們已經(jīng)了解了網(wǎng)頁(yè)的結構，接下來(lái)
　　閱讀全文 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(安裝python運行pipinstallBeautifulSoup抓取網(wǎng)頁(yè)完成必要工具安裝后)
　　本期文章將與大家分享如何使用Python爬蟲(chóng)爬取數據的內容。小編覺(jué)得很實(shí)用，所以分享出來(lái)供大家參考，跟著(zhù)小編一起來(lái)看看吧。
　　工具安裝
　　首先，您需要安裝 Python requests 和 BeautifulSoup 庫。我們使用 Requests 庫抓取網(wǎng)頁(yè)內容，使用 BeautifulSoup 庫從網(wǎng)頁(yè)中提取數據。
　　安裝蟒蛇
　　運行 pip 安裝請求
　　運行 pip install BeautifulSoup
　　爬網(wǎng)
　　完成必要工具的安裝后，我們就正式開(kāi)始編寫(xiě)我們的爬蟲(chóng)了。我們的首要任務(wù)是抓取豆瓣上的所有圖書(shū)信息。舉個(gè)例子，我們先來(lái)看看如何抓取網(wǎng)頁(yè)的內容。
　　提取內容
　　抓取網(wǎng)頁(yè)內容后，我們要做的就是提取我們想要的內容。在我們的第一個(gè)例子中，我們只需要提取書(shū)名。首先，我們導入 BeautifulSoup 庫。使用BeautifulSoup，我們可以非常簡(jiǎn)單的提取網(wǎng)頁(yè)的具體內容。
　　持續的網(wǎng)絡(luò )爬行
　　至此，我們已經(jīng)能夠抓取單個(gè)網(wǎng)頁(yè)的內容，現在讓我們看看如何抓取網(wǎng)站的整個(gè)內容。我們知道網(wǎng)頁(yè)是通過(guò)超鏈接相互連接的，我們可以通過(guò)鏈接訪(fǎng)問(wèn)整個(gè)網(wǎng)絡(luò )。所以我們可以從每個(gè)頁(yè)面中提取到其他網(wǎng)頁(yè)的鏈接，然后重復抓取新的鏈接。
　　準備
　　IDE：pyCharm
　　庫：請求，lxm
　　即將介紹，這兩個(gè)庫主要為我們服務(wù)
　　requests：獲取網(wǎng)頁(yè)源代碼
　　lxml：獲取網(wǎng)頁(yè)源代碼中的指定數據
　　簡(jiǎn)潔明了，有沒(méi)有^_^
　　設置環(huán)境
　　這里的搭建環(huán)境不是搭建python開(kāi)發(fā)環(huán)境。這里的構建環(huán)境是指我們使用pycharm新建一個(gè)python項目，然后用requests和lxml新建一個(gè)項目。里面什么都沒(méi)有。創(chuàng )建一個(gè)新的 src 文件夾。然后直接在里面新建一個(gè)Test.py。
　　依賴(lài)庫導入
　　在 Test.py 中輸入：
　　進(jìn)口請求
　　此時(shí)，請求將報告一條紅線(xiàn)。這時(shí)候我們將光標指向requests，按快捷鍵：alt+enter，pycharm會(huì )給出解決方案。這時(shí)候選擇安裝包請求，pycharm會(huì )自動(dòng)為我們安裝。，我們只需要稍等片刻，庫就安裝好了。lxml的安裝方法是一樣的。
　　安裝這兩個(gè)庫后，編譯器不會(huì )報紅線(xiàn)。
　　獲取網(wǎng)頁(yè)源代碼
　　請求可以很容易地讓我們得到網(wǎng)頁(yè)的源代碼。
　　獲取源代碼：
　　# 獲取源代碼
　　html = requests.get("")
　　# 打印源代碼
　　打印 html.text
　　代碼就這么簡(jiǎn)單，這個(gè)html.text就是這個(gè)網(wǎng)址的源碼
　　獲取指定數據
　　現在我們有了網(wǎng)頁(yè)的源代碼，我們需要使用lxml過(guò)濾掉我們需要的信息。
　　首先，我們需要分析源代碼。我這里使用的是 Chrome 瀏覽器，所以右鍵點(diǎn)擊查看。
　　然后在源代碼中，找到第一個(gè)。
　　首先點(diǎn)擊源頁(yè)面右上角的箭頭，然后在網(wǎng)頁(yè)內容中選擇文章標題。這時(shí)候源碼會(huì )定位到這里的標題。
　　這時(shí)候選擇源碼的title元素，右鍵復制。
　　獲取xpath，相當于一個(gè)地址。比如源代碼中網(wǎng)頁(yè)長(cháng)圖的位置。
　　表達式：//*[@id="mainBox"]/main/div[2]/div[1]/h5/a
　　首先，//表示根節點(diǎn)，也就是說(shuō)，這個(gè)//后面的東西是根，表示只有一個(gè)。我們需要的就在這里。
　　然后 / 表示尋找下層。根據圖片也很明顯，div -&gt; main -&gt; div[2] -&gt; div[1] -&gt; h5 -&gt; a
　　跟蹤到a這里，然后我們在最后加上/text表示我們要提取元素的內容，所以我們最終的表達式是這樣的：
　　//*[@id="mainBox"]/main/div[2]/div[1]/h5/a/text()
　　這個(gè)表達只針對這個(gè)網(wǎng)頁(yè)的這個(gè)元素，是不是很難理解？
　　那么這個(gè)東西是如何工作的呢？
　　所有代碼：
　　進(jìn)口請求
　　從 lxml 導入 etree
　　html = requests.get("")
　　# 打印 html.text
　　etree_html = etree.HTML(html.text)
　　content = etree_html.xpath('//*[@id="mainBox"]/main/div[2]/div[1]/h5/a/text()')
　　對于每個(gè)內容：
　　打?。總€(gè)）
　　這時(shí)候每個(gè)里面的數據就是我們想要得到的數據
　　打印結果：
　　如何拍打 ArrayList
　　打印結果就是這個(gè)結果，我們去掉了換行符和空格
　　進(jìn)口請求
　　從 lxml 導入 etree
　　html = requests.get("")
　　# 打印 html.text
　　etree_html = etree.HTML(html.text)
　　content = etree_html.xpath('//*[@id="mainBox"]/main/div[2]/div[1]/h5/a/text()')
　　對于每個(gè)內容：
　　replace = each.replace('\n','').replace('','')
　　如果替換 =='\n' 或替換 ==''：
　　繼續
　　別的：
　　打?。ㄌ鎿Q）
　　打印結果：
　　如何拍打 ArrayList
　　感謝您的閱讀！關(guān)于《如何使用Python爬蟲(chóng)抓取數據》這篇文章分享到這里，希望以上內容可以對大家有所幫助，讓大家學(xué)到更多的知識，如果你覺(jué)得文章可以，可以分享出去讓更多人看到！ 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(零基礎快速入門(mén)的學(xué)習路徑：1.了解爬蟲(chóng)與進(jìn)階分布式)
　　我不會(huì )說(shuō)爬蟲(chóng)現在有多熱。先說(shuō)一下這個(gè)技術(shù)能做什么，主要有以下三個(gè)方面：
　　1. 爬取數據，進(jìn)行市場(chǎng)調研和商業(yè)分析
　　抓取知乎、豆瓣等網(wǎng)站等優(yōu)質(zhì)話(huà)題；捕捉房地產(chǎn)網(wǎng)站交易信息，分析房?jì)r(jià)走勢，做不同區域的房?jì)r(jià)分析；爬取招聘網(wǎng)站職位信息，分析各行業(yè)及薪資水平對人才的需求。
　　2.作為機器學(xué)習和數據挖掘的原創(chuàng )數據
　　比如你想做一個(gè)推薦系統，那么你可以爬取更多維度的數據，做一個(gè)更好的模型。
　　3. 爬取優(yōu)質(zhì)資源：圖片、文字、視頻
　　爬取游戲中的精美圖片，獲取圖片資源和評論文字數據。
　　掌握正確的方法能夠在短時(shí)間內抓取主流網(wǎng)站數據，其實(shí)很容易實(shí)現。
　　但建議您從一開(kāi)始就有一個(gè)特定的目標。在目標的驅動(dòng)下，您的學(xué)習將更加精準和高效。這是一個(gè)平滑的、從零開(kāi)始的快速入門(mén)學(xué)習路徑：
　　1.了解爬蟲(chóng)是如何實(shí)現的
　　2. 實(shí)現簡(jiǎn)單的信息爬取
　　3.應對特殊的網(wǎng)站反爬蟲(chóng)措施
　　4.Scrapy 和高級分布式
　　01
　　了解爬蟲(chóng)是如何實(shí)現的
　　大多數爬蟲(chóng)都遵循“發(fā)送請求-獲取頁(yè)面-解析頁(yè)面-提取并存儲內容”的過(guò)程。這實(shí)際上模擬了使用瀏覽器獲取網(wǎng)頁(yè)信息的過(guò)程。最后，如果你的時(shí)間不是很緊，又想快速提高python，最重要的是不怕吃苦，建議你定價(jià)（同名）：762459510，那真的很好，很多人進(jìn)步很快，需要你不怕吃苦！大家可以去補充看看~
　　簡(jiǎn)單的說(shuō)，我們向服務(wù)器發(fā)送請求后，會(huì )得到返回的頁(yè)面。解析完頁(yè)面后，我們就可以提取出我們想要的那部分信息，存放在指定的文檔或數據庫中。
　　這部分可以對HTTP協(xié)議和網(wǎng)頁(yè)基礎知識，如POST\GET、HTML、CSS、JS等有一個(gè)簡(jiǎn)單的了解，簡(jiǎn)單了解一下，無(wú)需系統學(xué)習。
　　02
　　實(shí)現簡(jiǎn)單的信息抓取
　　Python中有很多爬蟲(chóng)相關(guān)的包：urllib、requests、bs4、scrapy、pyspider等，建議從requests+Xpath入手。Requests 負責連接到 網(wǎng)站 并返回網(wǎng)頁(yè)。Xpath 用于解析網(wǎng)頁(yè)以方便提取數據。
　　如果你用過(guò)BeautifulSoup，你會(huì )發(fā)現Xpath省了很多麻煩，層層檢查元素代碼的工作全部省略了。掌握了之后，你會(huì )發(fā)現爬蟲(chóng)的基本套路都差不多。一般靜態(tài) 網(wǎng)站 根本不是問(wèn)題?？梢宰ト≈?、豆瓣等網(wǎng)站等公開(kāi)信息。
　　當然，如果你需要爬取異步加載的網(wǎng)站，可以學(xué)習瀏覽器抓包來(lái)分析真實(shí)請求，或者學(xué)習Selenium來(lái)實(shí)現自動(dòng)爬取。這樣，知乎、、TripAdvisor等網(wǎng)站基本沒(méi)問(wèn)題。
　　還需要了解Python的基礎知識，比如：文件讀寫(xiě)操作：用于讀取參數，保存爬取內容列表（list），dict（dictionary）：用于序列化爬取數據條件判斷（if/else）：解析爬蟲(chóng)中是否執行循環(huán)和迭代的判斷（for ……while）：用于循環(huán)爬蟲(chóng)步驟
　　03
　　特殊網(wǎng)站的防攀爬機制
　　在爬取的過(guò)程中，也會(huì )遇到一些絕望，比如被網(wǎng)站屏蔽，比如各種奇怪的驗證碼，userAgent訪(fǎng)問(wèn)限制，各種動(dòng)態(tài)加載等等。
　　遇到這些反爬蟲(chóng)方法，當然需要一些高級技巧來(lái)應對，比如訪(fǎng)問(wèn)頻率控制、代理IP池的使用、抓包、驗證碼的OCR處理等等。
　　比如我們經(jīng)常會(huì )發(fā)現有些網(wǎng)站的網(wǎng)址在翻頁(yè)后沒(méi)有變化，通常是異步加載。我們使用開(kāi)發(fā)者工具分析網(wǎng)頁(yè)加載信息，通?？梢垣@得意想不到的收獲。
　　經(jīng)常網(wǎng)站在高效開(kāi)發(fā)和反爬蟲(chóng)之間偏向于前者。這也為爬蟲(chóng)提供了空間。掌握這些反爬蟲(chóng)技巧，大部分網(wǎng)站對你來(lái)說(shuō)不再難。最后，如果你時(shí)間不是很緊，又想快速提高python，最重要的是不怕吃苦，我建議你可以?xún)r(jià)格（同名）：762459510，那真的很好，很多人進(jìn)步很快，需要你不怕吃苦！可以去加進(jìn)去看看~
　　04
　　Scrapy 和高級分布式
　　使用requests+xpath和抓包大法確實(shí)可以解決很多網(wǎng)站信息的爬取，但是如果信息量很大或者需要模塊爬取的話(huà)，就比較困難了。
　　后來(lái)應用到了強大的Scrapy框架中，不僅可以輕松構建Request，而且強大的Selector可以輕松解析Response。然而，最令人驚訝的是它的超高性能，可以對爬蟲(chóng)進(jìn)行工程化和模塊化。
　　在學(xué)習了 Scrapy 之后，我嘗試構建了一個(gè)簡(jiǎn)單的爬蟲(chóng)框架。在做大規模數據爬取的時(shí)候，可以考慮結構化、工程化的大規模爬取。這讓我可以從爬蟲(chóng)工程的維度去思考問(wèn)題。
　　后來(lái)開(kāi)始慢慢接觸分布式爬蟲(chóng)。這聽(tīng)起來(lái)很傻，但實(shí)際上它利用了多線(xiàn)程的原理，讓多個(gè)爬蟲(chóng)同時(shí)工作，可以達到更高的效率。
　　其實(shí)學(xué)了這個(gè)，基本可以說(shuō)自己是爬蟲(chóng)老司機了。外行人很難看，但也沒(méi)有那么復雜。
　　因為爬蟲(chóng)技術(shù)不需要你系統地精通一門(mén)語(yǔ)言，也不需要任何高級的數據庫技術(shù)。高效的姿勢就是從實(shí)際項目中學(xué)習這些零散的知識點(diǎn)，保證每次都能學(xué)到。是最需要的部分。最后，如果你時(shí)間不是很緊，又想快速提高python，最重要的是不怕吃苦，我建議你可以?xún)r(jià)格（同名）：762459510，那真的很好，很多人進(jìn)步很快，需要你不怕吃苦！可以去加進(jìn)去看看~
　　當然，唯一的麻煩在于，在具體問(wèn)題中，如何找到具體需要的那部分學(xué)習資源，以及如何過(guò)濾篩選，是很多初學(xué)者面臨的一大難題。
　　不過(guò)不用擔心，我們準備了非常系統的爬蟲(chóng)課程。除了為您提供清晰的學(xué)習路徑，我們精選了最實(shí)用的學(xué)習資源和海量的主流爬蟲(chóng)案例庫。在很短的學(xué)習時(shí)間內，你將能夠很好地掌握爬蟲(chóng)技巧，得到你想要的數據。 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(本文軟件屬于破壞計算機信息系統罪的抓取策略分析手法分析
)
　　爬蟲(chóng)理論是關(guān)于爬行的難易程度。一是爬取加密內容，難度很大，尤其是app端的內容加密。有些人可能需要反轉應用程序。二是抓取登錄后才能查看的內容，加上登錄賬號的IP訪(fǎng)問(wèn)控制次數。這可能是一大群爬蟲(chóng)。
　　
　　本文不討論應用反向問(wèn)題。這種問(wèn)題似乎不應該公開(kāi)陳述。刑法第286條規定，反編譯軟件是破壞計算機信息系統罪。
　　
　　如果被證明，風(fēng)險是相當高的，尤其是競品之間的搶奪行為太高調。我在猿人學(xué)Python的兩篇文章文章中寫(xiě)了爬取數據的法律風(fēng)險。"", ""
　　本文討論如何抓取未加密但只能通過(guò)登錄查看的應用程序。
　　沒(méi)有寫(xiě)爬蟲(chóng)的學(xué)校教授，所以沒(méi)有統一的武術(shù)套路。強大的數據公司擁有各類(lèi)武林人才、賬號、IP、機器等渠道資源。一般來(lái)說(shuō)，企業(yè)資源和人才不足，想要抓取大規模數據，巧妙的招數是可行的方法。
　　本文提到的巧妙爬取方法就是正確設計爬取策略，通過(guò)制定正確的爬取策略，高效爬取需要登錄的APP。
　　制定正確的抓取策略，包括使用和熟悉抓取對象的產(chǎn)品形態(tài)（PC、H5、APP）和功能；測試抓取對象的賬號在登錄后對不同渠道的訪(fǎng)問(wèn)頻次控制邊界（例如，有的只對產(chǎn)品頁(yè)面的頻次控制進(jìn)行了詳細說(shuō)明，對渠道頁(yè)和分類(lèi)頁(yè)的控制較弱）。分析抓取的對象在分享到微信等渠道后是否需要授權從微信打開(kāi)頁(yè)面，是否需要登錄。
　　這是一套通用的爬取策略分析方法。我可以使用這種策略為大多數應用程序捕獲數千萬(wàn)條數據。
　　理論比較暈，我們以麥麥APP為例，如何分析和制定搶奪策略。
　　我們的目標是捕捉脈搏上的個(gè)人和專(zhuān)業(yè)信息（此類(lèi)數據不應直接用于商業(yè)用途，簡(jiǎn)歷也可以視為個(gè)人隱私數據）。
　　按照三面分析步驟，首先分析麥麥的產(chǎn)品形態(tài)。初步分析，麥麥的PC網(wǎng)站需要登錄，并沒(méi)有特殊的H5網(wǎng)站，APP也需要登錄才能查看。據初步分析，無(wú)從下手。
　　第二步，分析各路段的頻率控制。需要一些時(shí)間自己點(diǎn)擊觀(guān)察。測試結果是對個(gè)別詳細頁(yè)面的頻率控制能力很強，對搜索功能也控制能力很強。對頻道頁(yè)面（例如類(lèi)別）的控制較弱。大約一個(gè)賬號可以快速訪(fǎng)問(wèn)200多個(gè)詳細頁(yè)面，并且會(huì )有提示。
　　這意味著(zhù)，如果你想每天抓取 100,000 個(gè)脈沖詳情頁(yè)，則需要注冊 100,000/200=500 個(gè)帳戶(hù)。如果您每天抓取 100 萬(wàn)頁(yè)，您將需要 5,000 個(gè)帳戶(hù)。這樣一來(lái)，企業(yè)實(shí)際上是為數百個(gè)賬戶(hù)付費，不到幾塊錢(qián)，但很多企業(yè)不愿意支付這個(gè)數額。
　　所以通過(guò)批量注冊帳戶(hù)，它停止了。另外，上面提到的大量賬號爬取的方法，簡(jiǎn)化了IP問(wèn)題。一個(gè)賬號頻繁更換IP也是有問(wèn)題的，尤其是IP在江蘇有一段時(shí)間，江西有一段時(shí)間。
　　分析了上面的一、二步驟，好像還沒(méi)有找到好的方法。然后分析第三步，觀(guān)察詳情頁(yè)的分享功能。我把詳細頁(yè)面分享到微信后，嘗試在微信中打開(kāi)，發(fā)現不用登錄也可以訪(fǎng)問(wèn)詳細頁(yè)面。
　　
　　抓包似乎找到了突破口，于是抓起包包仔細觀(guān)察。
　　可以對抓包和分享到微信過(guò)程中的數據進(jìn)行分析：
　　 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(c爬蟲(chóng)抓取網(wǎng)頁(yè)數據有三種模式：requests，beautifulsoup，pyquery)
　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據有三種模式：requests，pyquery，beautifulsoup：beautifulsoup模式簡(jiǎn)介網(wǎng)頁(yè)數據就是經(jīng)過(guò)html代碼加載后形成的網(wǎng)頁(yè)文檔，網(wǎng)頁(yè)文檔就是一個(gè)文本文件。html可以是xml格式的也可以是json格式的，json格式可以是純文本格式，也可以是二進(jìn)制格式。
　　所以對于json格式網(wǎng)頁(yè)數據抓取過(guò)程中又分為三種操作，一種是解析json格式數據，例如get，一種是ocr數據的識別，例如find，一種是將html轉換成web容器比如webpages，webpages模式簡(jiǎn)介網(wǎng)頁(yè)數據是通過(guò)鍵盤(pán)輸入，然后服務(wù)器返回給瀏覽器一個(gè)html網(wǎng)頁(yè)文檔。簡(jiǎn)單的說(shuō)，通過(guò)鍵盤(pán)輸入的網(wǎng)頁(yè)數據大多是html代碼，然后經(jīng)過(guò)處理轉換而成，這些html代碼往往很小，通常被分為多個(gè)標簽，例如<a></a>等等，主要是識別標簽，通過(guò)html/css語(yǔ)言把標簽添加到相應位置上。
　　html代碼的輸入很簡(jiǎn)單，不需要復雜的編程。但是要解析通過(guò)鍵盤(pán)輸入的頁(yè)面的html代碼需要大量的編程以及大量的數據庫操作。工作量往往是事先無(wú)法想象的，你需要把很多代碼編寫(xiě)成文件方便下次使用，而且每次編寫(xiě)還需要重新編譯，另外你發(fā)現輸入的html很長(cháng)，可能數以百計，那么每次需要解析的代碼又得花費不少時(shí)間。
　　beautifulsoup模式就是利用已有的html模板(css樣式或javascript代碼)，編寫(xiě)一個(gè)簡(jiǎn)單的html代碼，它基于瀏覽器環(huán)境的腳本解析器(python)，然后傳遞給前端程序員處理，前端程序員根據html模板讀取并解析我們編寫(xiě)的這個(gè)html，并顯示在瀏覽器上。網(wǎng)頁(yè)文檔可以簡(jiǎn)單的可以分為多個(gè)區塊，每個(gè)區塊都會(huì )存在一個(gè)文本文件中，所以你可以通過(guò)解析它們生成一個(gè)html文檔，然后上傳到web服務(wù)器，再輸出顯示到我們的頁(yè)面上。
　　這種抓取對計算機要求非常高，需要瀏覽器或者服務(wù)器操作優(yōu)化良好，對性能要求也非常高。comet就是其中之一。 查看全部

　　c爬蟲(chóng)抓取網(wǎng)頁(yè)數據(UI自動(dòng)化月前寫(xiě)的一些事兒--)
　　寫(xiě)在前面
　　本來(lái)這個(gè)文章是幾個(gè)月前寫(xiě)的，后來(lái)忙忘了。
　　ps：事情太多有時(shí)會(huì )耽誤事情。
　　幾個(gè)月前，記得群里有個(gè)朋友說(shuō)要用selenium來(lái)爬取數據。關(guān)于爬取數據，我一般是模擬訪(fǎng)問(wèn)一些固定的網(wǎng)站，爬取我關(guān)心的信息，然后爬出來(lái)。數據被處理。
　　他的要求是將文章直接導入富文本編輯器進(jìn)行發(fā)布，其實(shí)這也是一種爬蟲(chóng)。
　　其實(shí)這并不難，就是UI自動(dòng)化的過(guò)程，我們開(kāi)始吧。
　　準備工具/原材料
　　1、java 語(yǔ)言
　　2、IDEA 開(kāi)發(fā)工具
　　3、jdk1.8
　　4、selenium-server-standalone (3.0 及以上)
　　步驟 1、 分解需求：2、 代碼實(shí)現思路：3、 示例代碼
　　import org.junit.AfterClass;
import org.junit.BeforeClass;
import org.junit.Test;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import java.awt.*;
import java.awt.event.KeyEvent;
import java.util.concurrent.TimeUnit;
/**
* @author rongrong
* Selenium模擬訪(fǎng)問(wèn)網(wǎng)站爬蟲(chóng)操作代碼示例
*/
public class Demo {
private static WebDriver driver;
static final int MAX_TIMEOUT_IN_SECONDS = 5;
@BeforeClass
public static void setUpBeforeClass() throws Exception {
driver = new ChromeDriver();
String url = "https://temai.snssdk.com/artic ... 3B%3B
driver.manage().window().maximize();
driver.manage().timeouts().implicitlyWait(MAX_TIMEOUT_IN_SECONDS, TimeUnit.SECONDS);
driver.get(url);
}
@AfterClass
public static void tearDownAfterClass() throws Exception {
if (driver != null) {
System.out.println("運行結束！");
driver.quit();
}
}
@Test
public void test() throws InterruptedException {
Robot robot = null;
try {
robot = new Robot();
} catch (AWTException e1) {
e1.printStackTrace();
}
robot.keyPress(KeyEvent.VK_CONTROL);
robot.keyPress(KeyEvent.VK_A);
robot.keyRelease(KeyEvent.VK_A);
Thread.sleep(2000);
robot.keyPress(KeyEvent.VK_C);
robot.keyRelease(KeyEvent.VK_C);
robot.keyRelease(KeyEvent.VK_CONTROL);
driver.get("https://ueditor.baidu.com/webs ... 6quot;);
Thread.sleep(2000);
driver.switchTo().frame(0);
driver.findElement(By.tagName("body")).click();
robot.keyPress(KeyEvent.VK_CONTROL);
robot.keyPress(KeyEvent.VK_V);
robot.keyRelease(KeyEvent.VK_V);
robot.keyRelease(KeyEvent.VK_CONTROL);
Thread.sleep(2000);
}
}
　　寫(xiě)在后面
　　作者不特別推薦使用selenium作為爬蟲(chóng)，原因如下：
　　每次運行爬蟲(chóng)都要打開(kāi)瀏覽器，初始化需要加載圖片、JS渲染等很多東西；
　　有人說(shuō)改成無(wú)頭瀏覽器的原理是一樣的。就是打開(kāi)瀏覽器，很多網(wǎng)站都會(huì )驗證參數。如果對方看到您的惡意訪(fǎng)問(wèn)請求，就會(huì )執行您的請求。然后你必須考慮更改請求頭。不知道事情有多復雜，還要改代碼，很麻煩。
　　加載了很多可能對你沒(méi)有價(jià)值的補充文件（比如css、js、圖片文件）。與真正需要的資源（使用單獨的 HTTP 請求）相比，這可能會(huì )產(chǎn)生更多的流量。 查看全部