亚洲国产精品无码久久大片,亚洲AV无码乱码麻豆精品国产,亚洲品质自拍网站,少妇伦子伦精品无码STYLES,国产精久久久久久久

　　網(wǎng)頁(yè)抓取數據百度百科(新建立一個(gè)網(wǎng)站，要被各大搜索引擎和網(wǎng)站地圖收錄)
　　朋友們，我一定都知道。要建立一個(gè)新網(wǎng)站，您希望提高其知名度。必須被各大搜索引擎收錄，才能被關(guān)鍵詞搜索到，才能參與排名。如果你想被收錄，你必須做好網(wǎng)頁(yè)內容和站點(diǎn)地圖。今天我們來(lái)聊聊站點(diǎn)地圖。
　　百度百科上的定義：站點(diǎn)地圖可以讓站長(cháng)方便的告知搜索引擎哪些頁(yè)面可以在他們的網(wǎng)站上抓取。最簡(jiǎn)單的 Sitemap 形式是 XML 文件，其中列出了網(wǎng)站中的 URL 以及關(guān)于每個(gè) URL 的其他元數據（上次更新的時(shí)間、更改的頻率以及它相對于網(wǎng)站上其他 URL 的重要性等）。 ) ，讓搜索引擎更智能地抓取網(wǎng)站。
　　
　　谷歌、雅虎、微軟都支持一種叫做xml Sitemaps的協(xié)議，而百度Sitemap是指百度支持的收錄
標準，是原協(xié)議的擴展。百度站點(diǎn)地圖的作用是通過(guò)站點(diǎn)地圖告訴百度蜘蛛綜合站點(diǎn)鏈接，優(yōu)化自己的網(wǎng)站。百度Sitemap分為三種格式：txt文本格式、xml格式、Sitemap索引格式。
　　當然，我想更多人的選擇肯定是sitemap.xml。言歸正傳，既然知道了這個(gè)的作用，就是用來(lái)幫助搜索引擎（蜘蛛）爬蟲(chóng)更快的找到網(wǎng)站的內鏈。此處建議應使用站點(diǎn)地圖創(chuàng )建新網(wǎng)站。也許它會(huì )更快。被包括在內。但這也需要頁(yè)面內容豐富、原創(chuàng )性高等。
　　
　　sitemap.xml 文件的格式是這樣的，包括url、更新時(shí)間、更新頻率、優(yōu)先級等。站點(diǎn)地圖需要存放在服務(wù)器的根目錄下，即[域名/sitemap.xml]，這樣才能訪(fǎng)問(wèn)。如果是springboot項目，應該放在static文件夾下吧。
　　我們制作好站點(diǎn)地圖后，很多人都會(huì )把它放在前端頁(yè)面上，讓人們一目了然地了解站點(diǎn)結構。另外當然要在各大站長(cháng)平臺上提交。但是你需要先做一個(gè)網(wǎng)站驗證，其實(shí)就是證明這個(gè)網(wǎng)站是你的。大多數網(wǎng)站驗證只需要在網(wǎng)站首頁(yè)的header中添加代碼即可。當然，其中一些也可以通過(guò)文件驗證和域名解析來(lái)驗證。我不會(huì )在這里談?wù)撍?。下面我們就去各大站長(cháng)平臺看看吧。順便說(shuō)一下，百度效率最高，采集
速度最快。bing瀏覽器非常麻煩，需要很長(cháng)時(shí)間才能采集
網(wǎng)站和更新快照。
　　如果我們真的手動(dòng)構建站點(diǎn)地圖，會(huì )不會(huì )太麻煩了，尤其是運行jar包的時(shí)候，每隔一段時(shí)間就要修改一下，重新打包上傳。想知道如何讓springboot自動(dòng)構建站點(diǎn)地圖文件嗎？留下一點(diǎn)懸念，我們下次再說(shuō)。
　　原文來(lái)自：什么是站點(diǎn)地圖，站點(diǎn)地圖可以做什么？-施德生個(gè)人博客 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(參數解碼和解碼函數urlencode函數用瀏覽器發(fā)送請求的方法)
　　本文內容
　　前言
　　繼續學(xué)習python，這次學(xué)習爬蟲(chóng)，聽(tīng)說(shuō)比較好玩，我也學(xué)習了。
　　什么是網(wǎng)絡(luò )爬蟲(chóng)？爬蟲(chóng)的實(shí)際例子：什么是網(wǎng)絡(luò )爬蟲(chóng)？通用爬蟲(chóng)和聚焦爬蟲(chóng)基本上可以用大多數語(yǔ)言編寫(xiě)爬蟲(chóng)，但是python有其獨特的優(yōu)勢。網(wǎng)絡(luò )請求urlopen函數使用
　　urllib 庫是python中最基本的網(wǎng)絡(luò )請求庫?？梢阅７聻g覽器的行為，向指定的服務(wù)器發(fā)送請求，可以保存服務(wù)器返回的數據。
　　在 Python3 的 urllib 庫中，所有與網(wǎng)絡(luò )請求相關(guān)的方法都集成在 urllib.request 模塊下。栗子的基本用途：
　　from urllib import request
resp = request.urlopen("http://www.baidu.com")
print(resp.read())
　　
　　其實(shí)如果你用瀏覽器訪(fǎng)問(wèn)百度，右擊查看源碼，你會(huì )發(fā)現和上面打印的數據是一樣的。也就是說(shuō)，上面三行代碼已經(jīng)幫我把百度首頁(yè)的代碼全部爬下來(lái)了。
　　urlopen函數詳細介紹：
　　url: 請求的url
data: 請求的data，如果設置了這個(gè)值，那么將變成post請求。
返回值: 返回值是一個(gè)http.client.HTTPResponse對象，這個(gè)對象是一個(gè)類(lèi)文件句柄對象。有read(size)、 readline、 readlines以及getcode等方法。
　　getcode 是獲取當前響應的狀態(tài)碼。
　　Urlretrieve 函數用法
　　此功能可以方便地將網(wǎng)頁(yè)上的文件保存到本地。以下代碼可以方便的將百度主頁(yè)下載到本地：
　　from urllib import request
request.urlretrieve('http://www.baidu.com/','baidu.html')
　　
　　這是抓取的百度頁(yè)面
　　還可以爬圖
　　隨便找一張圖片，復制它的地址，然后修改參數就可以爬取了
　　
　　這是魯班的圖片，成功爬下來(lái)。
　　參數解碼和解碼功能
　　urlencode 函數
　　使用瀏覽器發(fā)送請求時(shí)，如果 URL 中收錄
中文或其他特殊字符，瀏覽器會(huì )自動(dòng)對其進(jìn)行編碼。如果您使用代碼發(fā)送請求，則必須手動(dòng)對其進(jìn)行編碼。這時(shí)候就應該使用urlencode函數來(lái)實(shí)現了。urlencode 可以將字典數據轉換為 URL 編碼的數據。示例代碼如下
　　from urllib import parse
data = {
'name':'m0re',"age":18,'great':'hello,world'}
j4y = parse.urlencode(data)
print(j4y)
　　結果：
　　name=m0re&age=18&great=hello%2Cworld
　　還可以
　　
　　parse_qs 函數可以對 urlencode 函數編碼的字符串進(jìn)行解碼
　　如下
　　
　　urlparse 和 urlsplit
　　有時(shí)候你拿到一個(gè)網(wǎng)址，想要拆分網(wǎng)址的各個(gè)組成部分，那么可以使用 urlparse 或者 urlsplit 來(lái)拆分。示例代碼如下：
　　#encoding: utf-8
from urllib import request,parse
url = 'http://www.baidu.com/s?username=zhiliao'
result = parse.urlsplit(url)
print('scheme',result.scheme)
print('netloc',result.netloc)
print('path',result.path)
print('query',result.query)
　　
　　Urlparse 和 urlsplit 基本相同。唯一的區別是urlparse中多了一個(gè)params屬性，而urlsplit沒(méi)有這個(gè)屬性。例如，如果有一個(gè) URL；hello?wd=python&username=abc#1，那么urlparse可以獲取hello，urlsplit卻獲取不到。但是URL中的params也用的比較少。
　　請求類(lèi)
　　如果要在請求時(shí)添加一些請求頭，必須使用 request.Request 類(lèi)來(lái)實(shí)現。比如添加一個(gè)User-Agent，示例代碼
　　#encoding: utf-8
from urllib import request
url = 'https://www.xxxxxx.com/zhaopin/Python/?labelWords=label'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36'}
req = request.Request(url,headers=headers)
resp = request.urlopen(req)
print(resp.readlines())
　　可見(jiàn)也可以爬取
　　
　　那么我們要記住，如果不添加User-Agent，爬蟲(chóng)在爬取時(shí)是得不到有用信息的。您可以嘗試刪除上面代碼中的用戶(hù)代理。如果您不添加 User-Agent，那將很容易。識別爬蟲(chóng)，然后拒絕爬取有用的信息。
　　當時(shí)有些信息只能通過(guò)爬取js代碼來(lái)獲取。例如，抓取某網(wǎng)站的招聘信息。
　　首先找到需要爬取的網(wǎng)站的如下信息：
　　
　　首先找到信息所在的網(wǎng)頁(yè)，查看請求的URL和請求方式
　　第二個(gè)是數據
　　
　　寫(xiě)在代碼中，模仿瀏覽器訪(fǎng)問(wèn)網(wǎng)頁(yè)，達到爬取信息的目的
　　#encoding: utf-8
from urllib import request,parse
#url = 'https://www.xxxxx.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
#resp = request.urlopen(url)
#print(resp.read())
url = 'https://www.xxxxxx.com/jobs/positionAjax.json?px=default&city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false'
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36' }
data = {

'first': 'true',
'pn': 1,
'kd': 'python'
}
req = request.Request(url, headers=headers, data=parse.urlencode(data).encode('utf-8'), method='POST')
resp = request.urlopen(req)
print(resp.read())
　　爬取某招聘網(wǎng)站的職位信息。這是一個(gè)初步的模型，但無(wú)法抓取任何信息。因為目前大部分網(wǎng)站都有反爬蟲(chóng)機制，所以報這樣的錯誤。事實(shí)上，這不是一個(gè)錯誤。是瀏覽器返回的信息。
　　b'{"status":false,"msg":"\xe6\x82\xa8\xe6\x93\x8d\xe4\xbd\x9c\xe5\xa4\xaa\xe9\xa2\x91\xe7\xb9\x81,\xe8\xaf\xb7\xe7\xa8\x8d\xe5\x90\x8e\xe5\x86\x8d\xe8\xae\xbf\xe9\x97\xae","clientIp":"42.226.97.244","state":2402}\n'
　　這是 URL 編碼的。如果你解碼它，它太頻繁了。讓我們稍后訪(fǎng)問(wèn)它。但是回到瀏覽器訪(fǎng)問(wèn)完全沒(méi)有問(wèn)題。
　　原因是抗爬蟲(chóng)機制的作用。我的爬蟲(chóng)還是很容易查出來(lái)的，需要模仿的還是比較像的。添加Referer（也到瀏覽器的開(kāi)發(fā)者界面找）
　　部分網(wǎng)站反爬蟲(chóng)機制比較強，添加Referer后可能無(wú)法抓取有用信息。
　　需要深度學(xué)習添加其他驗證身份的條件，比如下面要學(xué)習的Cookie。
　　ProxyHandler 處理器（代理設置）
　　很多網(wǎng)站都會(huì )檢測一定時(shí)間段內某個(gè)IP的訪(fǎng)問(wèn)次數（通過(guò)流量統計、系統日志等）。如果訪(fǎng)問(wèn)次數不像正常人那樣，就會(huì )禁止訪(fǎng)問(wèn)這個(gè)IP。所以解決辦法是設置一些代理服務(wù)器，每隔一段時(shí)間就換一個(gè)代理。即使IP地址被禁止，您仍然可以更改IP繼續抓取。
　　ProxyHandler 用于在 urllib 中設置代理服務(wù)器。
　　前提：
　　#encoding: utf-8
from urllib import request
url = "http://httpbin.org/ip"
# 傳入代理
handler = request.ProxyHandler({
"http":"49.70.89.14:9999"})
# 使用上面創(chuàng )建的handler構建一個(gè)opener
opener = request.build_opener(handler)
# 使用opener去發(fā)送一個(gè)請求
resp = opener.open(url)
print(resp.read())
　　注意：
　　代理需要自己設置一個(gè)有用的代理。我只是一個(gè)免費的人。我現在可以做到。不知道明天能不能用 而已。
　　然后各種報錯，emmm，代碼沒(méi)問(wèn)題，是配置問(wèn)題
　　錯誤一：
　　urllib.error.URLError:
　　這與請求的 URL 相關(guān)。解決辦法是把請求的URL改成雙引號就OK了。（以上代碼已修改）
　　錯誤二：
　　urllib.error.URLError:
　　這個(gè)百度有的，但是有的因為電腦配置無(wú)法解決。
　　可以參考
　　配置問(wèn)題，我就不贅述了。
　　
　　這里介紹幾個(gè)常用的代理，如果需要更多請百度。
　　常用的代理有：
　　cookie模擬登錄
　　在瀏覽器中找到cookie并添加到爬蟲(chóng)腳本中。
　　
　　添加到標題，然后爬行。
　　以人人網(wǎng)為例。在人人網(wǎng)中，訪(fǎng)問(wèn)用戶(hù)主頁(yè)瀏覽信息需要登錄，即需要cookie信息。如果想通過(guò)代碼訪(fǎng)問(wèn)，需要正確的cookie信息才能訪(fǎng)問(wèn)。解決方法有兩種：第一種是使用瀏覽器訪(fǎng)問(wèn)，然后將cookie信息復制到headers中。（沒(méi)有賬號，懶得注冊） 缺點(diǎn)是每次訪(fǎng)問(wèn)都需要從瀏覽器復制cookie，比較麻煩。Python中處理cookies一般與http.cookiejar模塊和urllib模塊的HTTPCookieProcessor處理器類(lèi)一起使用。http.cookiejar 模塊的作用是提供存儲cookies的對象。
　　爬蟲(chóng)自動(dòng)登錄訪(fǎng)問(wèn)授權頁(yè)面 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(JAVA爬蟲(chóng)框架有哪些？不支持分布式,只能單機2.)
　　前言
　　在網(wǎng)上搜索“什么是JAVA爬蟲(chóng)框架”，一般會(huì )有以下幾種：Apache Nutch、WebMagic、WebCollector、Heritrix3、Selenium
　　這些框架的優(yōu)缺點(diǎn)是什么？
　　-Nutch
　　支持分布式爬取，通過(guò)Hadoop支持，可以進(jìn)行多機分布式爬取、存儲和索引。另一個(gè)非常吸引人的地方是它提供了一個(gè)插件框架，可以方便的擴展各種網(wǎng)頁(yè)內容分析、各種數據采集、查詢(xún)、聚類(lèi)、過(guò)濾等功能。正是因為如此。該框架讓Nutch的插件開(kāi)發(fā)變得非常容易，第三方插件層出不窮，大大提升了Nutch的功能和美譽(yù)度。
　　缺點(diǎn)：定制能力弱，社區活躍度低。網(wǎng)上的資料大多是幾年前的。
　　-WebMagic
　　API簡(jiǎn)單，模塊化結構可快速使用，可輕松擴展提供多線(xiàn)程和分布式支持
　　缺點(diǎn)：現在一些主流網(wǎng)站都是通過(guò)JS渲染頁(yè)面，不支持JS頁(yè)面爬取，只能獲取JS渲染前的頁(yè)面。
　　-WebCollector
　　1.基于文本密度自動(dòng)提取網(wǎng)頁(yè)正文
　　2.支持斷點(diǎn)重爬
　　3.支持代理
　　缺點(diǎn)：
　　1. 不支持分布式，只支持單機
　　2.無(wú)URL優(yōu)先調度
　　3.不是很活躍
　　-Heritrix3
　　Heritrix 的爬蟲(chóng)有很多自定義參數
　　缺點(diǎn)
　　1.單實(shí)例爬蟲(chóng)不能相互配合。
　　2. 在機器資源有限的情況下，需要復雜的操作。
　　3. 僅官方支持，僅在 Linux 上測試。
　　4.每個(gè)爬蟲(chóng)獨立工作，更新沒(méi)有任何修改。
　　5.在出現硬件和系統故障時(shí)，恢復能力較差。
　　6. 花在優(yōu)化性能上的時(shí)間很少。
　　7.相比Nutch，Heritrix只是一個(gè)爬蟲(chóng)工具，沒(méi)有搜索引擎。如果要對爬取的站點(diǎn)進(jìn)行排序，則必須實(shí)現類(lèi)似于 Pagerank 的復雜算法。
　　硒
　　框架底層使用JavaScript模擬真實(shí)用戶(hù)操作瀏覽器。測試腳本執行時(shí)，瀏覽器會(huì )根據腳本代碼自動(dòng)進(jìn)行點(diǎn)擊、輸入、打開(kāi)、驗證等操作，就像真實(shí)用戶(hù)一樣，站在最終用戶(hù)的角度測試應用。盡管不同瀏覽器之間仍然存在細微差別，但可以自動(dòng)進(jìn)行瀏覽器兼容性測試。使用簡(jiǎn)單，可以使用Java、Python語(yǔ)言實(shí)現爬蟲(chóng)
　　缺點(diǎn)：速度慢，適合對每天爬取數據要求不高的爬蟲(chóng)，因為selenium框架必須打開(kāi)瀏覽器再模擬點(diǎn)擊網(wǎng)頁(yè)。這個(gè)過(guò)程與你手動(dòng)打開(kāi)瀏覽器打開(kāi)網(wǎng)址訪(fǎng)問(wèn)網(wǎng)站的速度是一樣的。這個(gè)速度比較慢。如果你想每天采集
10,000 到 20,000 條數據，那么你可以使用這個(gè) selenium 框架。但我認為它是最可靠的爬蟲(chóng)框架，如果采集
的數據量不大，強烈推薦使用。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(百度詞條是什么？百度百科全部?jì)热輨h除詞條怎么回事？)
　　什么是百度詞條？
　　全球最大的中文搜索引擎，致力于讓網(wǎng)民更方便地獲取信息，找到自己想要的東西。借助百度超過(guò) 1000 億個(gè)中文網(wǎng)頁(yè)的數據庫，您可以立即找到相關(guān)的搜索結果。
　　詞條（拼音：cítiáo）也稱(chēng)為詞條，指的是詞語(yǔ)及其解釋。詞條可以是字、詞，也可以是詞、詞等組成的詞條。在百度百科中，詞條是其構成的基本單位，是對各種事物、現象等概念的解釋。
　　百度詞條的構成
　　條目可以是字符、單詞或由單詞、單詞等組成。條目還包括說(shuō)明。如：明朝，朝代的名稱(chēng)；北京，中國的首都；朝鮮民主主義人民共和國、位于朝鮮半島北部的國家等，其中“明”、“北京”、“朝鮮民主主義人民共和國”均為詞條。由字、詞等組成的詞條，必須是固定的，不能分割，更不能制作。條目不能是句子。例如，“學(xué)?！笔且粋€(gè)條目，而“學(xué)校班級”不是一個(gè)條目；“朝鮮”是一個(gè)條目，但“朝鮮首都”不是一個(gè)條目。
　　
　　百度術(shù)語(yǔ)是什么意思？
　　百度詞條是對一些詞和事物的解釋?zhuān)~條是對大家的貢獻。到目前為止，我找不到刪除條目的功能。
　　進(jìn)去了解一下。
　　百度百科創(chuàng )建詞條是什么？百度百科創(chuàng )建詞條有什么用
　　百度百科的全部?jì)热輰λ芯W(wǎng)民開(kāi)放。條目的創(chuàng )建和編輯只能由已注冊并登錄百度網(wǎng)站的百度用戶(hù)參與，用戶(hù)不能匿名編寫(xiě)條目。理論上，除因嚴重違反百度協(xié)議被禁的用戶(hù)外，其他百度用戶(hù)均享有同等的寫(xiě)作權。但是，為了降低詞條惡意編輯的發(fā)生率，百度對不同用戶(hù)的編輯權限有一定的限制。例如：達到4級且錄入審核通過(guò)率超過(guò)85%的用戶(hù)可以編輯百科名片，而未同時(shí)滿(mǎn)足這兩個(gè)標準的用戶(hù)無(wú)權修改相應的內容。編輯一些更全面的條目存在類(lèi)似的限制。任何用戶(hù)無(wú)法編輯涉及敏感話(huà)題或因反復惡意編輯而被暫時(shí)鎖定的條目。如果用戶(hù)認為有必要進(jìn)行編輯，則必須在百科全書(shū)投訴欄提交申請。申請獲得批準后，可對相關(guān)條目進(jìn)行修改。
　　
　　如何申請百度百科的功能入口？
　　在合理的邏輯順序中沒(méi)有嚴格的唯一性。唯一的標準就是能夠最高效的獲取到詞條各個(gè)部分的內容，不至于讓人一頭霧水，在一堆詞中找到自己想要的東西。的東西
　　如何創(chuàng )建百度詞條
　　創(chuàng )建百度詞條的方法如下：
　　寫(xiě)入條目?jì)热?br /> 　　您可以在編輯器中根據自己的理解，或者根據相關(guān)書(shū)籍和互聯(lián)網(wǎng)上找到的信息，盡可能全面地定義、解釋和解釋您想要創(chuàng )建的條目。您還可以使用編輯器頂部的功能鍵將條目的文本加粗、斜體，將其設置為鏈接或段落標題，并插入特殊符號；目前，百科編輯器最多只能輸入20000個(gè)漢字。
　　設置開(kāi)放類(lèi)別
　　編輯完條目的正文內容后，需要為創(chuàng )建的條目設置合理的開(kāi)放分類(lèi)。為條目設置正確、合理的開(kāi)放分類(lèi)，可以方便您創(chuàng )建的條目被更多的網(wǎng)友瀏覽，體驗與他人分享知識的樂(lè )趣。
　　您最多可以設置五個(gè)打開(kāi)的類(lèi)別，以逗號“,”分隔。
　　上傳相關(guān)圖片
　　上傳與詞條內容相關(guān)的圖片，可以使詞條更加直觀(guān)，更具可讀性。
　　在此階段，每個(gè)條目允許上傳十張圖片，編輯器中的第一張圖片將在條目瀏覽頁(yè)面的右上角顯示為條目“第一張圖片”。上傳圖片大小控制在2MB以?xún)?。具體操作請參見(jiàn)“如何為一個(gè)條目上傳多張圖片”。
　　填寫(xiě)參考資料
　　如果條目涉及書(shū)籍、網(wǎng)頁(yè)或其他人的文章等，請務(wù)必在參考條目中注明引用內容的來(lái)源；一旦在百科中創(chuàng )建的條目存在知識產(chǎn)權糾紛，該條目的創(chuàng )建者必須承擔相應的法律責任；需要指出的是，百科全書(shū)在2011年底加大了審核力度，普通企業(yè)和個(gè)人很難成功創(chuàng )建和修改百科全書(shū)。參考資料最多不能超過(guò)1000字。
　　最后一步，點(diǎn)擊頁(yè)面底部的“提交”按鈕，參賽作品提交成功，進(jìn)入審核階段。在搜索框中輸入術(shù)語(yǔ)的名稱(chēng)
　　在百度百科每個(gè)頁(yè)面的頂部，您都可以看到百度搜索框。在搜索框中輸入要查看的術(shù)語(yǔ)的名稱(chēng)。
　　例如，輸入“百度”，然后單擊“輸入條目”。之后，如果百科已經(jīng)有你想查看的詞條，就會(huì )進(jìn)入詞條瀏覽頁(yè)面；如果您要查看的條目尚未創(chuàng )建，則會(huì )進(jìn)入條目創(chuàng )建頁(yè)面。
　　入口被鎖定
　　如果您在條目瀏覽頁(yè)面的上部看到“條目被鎖定”，則說(shuō)明沒(méi)有編輯條目可供編輯；表示參賽內容可能存在爭議，為了保證內容的公正性和客觀(guān)性，參賽作品被暫時(shí)鎖定。
　　條目的鎖定狀態(tài)是臨時(shí)的。如果您認為條目?jì)热菪枰?，請到百度百科投訴欄反饋：）
　　————————————————————————————————
　　如果您要查看的條目尚未創(chuàng )建：
　　接下來(lái)，您將進(jìn)入一個(gè)詞條創(chuàng )建頁(yè)面，在這里您可以創(chuàng )建您感興趣的詞條，并將您自己創(chuàng )建的詞條添加到百度百科在線(xiàn)百科全書(shū)！
　　a：寫(xiě)入條目的內容：
　　您可以在編輯器中根據自己的理解，或者根據相關(guān)書(shū)籍和互聯(lián)網(wǎng)上找到的信息，盡可能全面地定義、解釋和解釋您想要創(chuàng )建的條目。
　　您還可以使用編輯器頂部的功能鍵將條目的文本加粗、斜體，將其設置為鏈接或段落標題，并插入特殊符號；目前，您在編輯百科全書(shū)時(shí)最多只能輸入20,000個(gè)漢字。
　　b：設置打開(kāi)的類(lèi)別：
　　編輯完條目的正文內容后，需要為創(chuàng )建的條目設置合理的開(kāi)放分類(lèi)。為條目設置正確合理的開(kāi)放分類(lèi)，可以方便您的作品條目被更多網(wǎng)友瀏覽，體驗與他人分享知識的樂(lè )趣：）
　　您最多可以設置五個(gè)打開(kāi)的類(lèi)別，以逗號“,”分隔。
　　c: 上傳相關(guān)圖片：
　　為您的條目上傳與條目?jì)热菹嚓P(guān)的圖片可以使您的條目更加直觀(guān)和更具可讀性。
　　在此階段，每個(gè)條目允許上傳十張圖片，編輯器中的第一張圖片將在條目瀏覽頁(yè)面的右上角顯示為條目“第一張圖片”。請將上傳圖片的大小控制為 2mb (2048kb)。具體操作請參見(jiàn)“如何為一個(gè)條目上傳多張圖片”。
　　d：填寫(xiě)參考資料：
　　如果您的條目?jì)热萆婕皶?shū)籍、網(wǎng)頁(yè)或他人的文章，請務(wù)必在參考條目中注明引用內容的來(lái)源；一旦您在百科中創(chuàng )建的詞條存在知識產(chǎn)權糾紛，需要創(chuàng )建詞條的人自己承擔相應的法律責任；參考資料不超過(guò)1000字。
　　e: 預覽條目：
　　在提交之前，您還可以預覽創(chuàng )建的條目。預覽頁(yè)面顯示的效果是您的參賽作品提交成功后在參賽作品瀏覽頁(yè)面顯示的效果。如果覺(jué)得版面不夠美觀(guān)，可以返回繼續編輯。
　　f：提交條目：
　　最后一步，點(diǎn)擊頁(yè)面底部的“提交”按鈕，恭喜！您創(chuàng )建的條目已提交成功！提交成功后就可以看到自己創(chuàng )建的條目了！:)
　　————————————————————————————————
　　如果您要查看的條目之前已創(chuàng )建：
　　接下來(lái)，您將進(jìn)入編輯條目頁(yè)面，您可以在其中編輯和修改您感興趣的條目：
　　a：修改現有條目的內容：
　　您可以修改現有條目的內容，盡可能全面地補充和改進(jìn)，或者刪除重復和繁瑣的內??容。
　　您還可以使用編輯器頂部的功能鍵將條目的文本加粗、斜體，將其設置為鏈接或段落標題，并插入特殊符號；目前，您在編輯百科全書(shū)時(shí)最多只能輸入20,000個(gè)漢字。
　　b：修改開(kāi)放分類(lèi)：
　　您可以為條目添加合理的開(kāi)放分類(lèi)，或者刪除或修改原來(lái)錯誤的開(kāi)放分類(lèi)，讓您編輯的條目被更多的網(wǎng)友看到，體驗與條目創(chuàng )建者合作為條目貢獻并共同分享的經(jīng)驗。知識的樂(lè )趣:)
　　修改開(kāi)放類(lèi)別時(shí)，最多可以設置五個(gè)開(kāi)放類(lèi)別，以“,”分隔。
　　c：修改入口圖片：
　　您可以使用“單擊此處查看”鏈接查看條目的現有圖片。如果您覺(jué)得條目的原創(chuàng )
圖片不夠清晰準確，或者您需要修改圖片，請直接選擇并上傳新圖片覆蓋舊圖片。請注意，上傳的最大圖片不能超過(guò) 2mb。
　　d：填寫(xiě)和修改參考資料：
　　如果您編輯的條目?jì)热萆婕皶?shū)籍、網(wǎng)頁(yè)或其他人的文章，請務(wù)必在引用項中注明引用內容的來(lái)源；或者您發(fā)現該條目的現有參考資料收錄
廣告或其他無(wú)意義信息（如果參考鏈接已過(guò)期），請核實(shí)后刪除。
　　一旦您對在百科中創(chuàng )建的條目發(fā)生知識產(chǎn)權糾紛，該條目的創(chuàng )建者必須承擔相應的法律責任；參考資料不能超過(guò)1000字。
　　e：填寫(xiě)修改原因：
　　? 請準確、全面地總結出條目修改的原因，方便條目的創(chuàng )建者或其他像您一樣的編輯比較瀏覽歷史版本，以便更好地合作，修改條目.
　　f：預覽入口：
　　在提交之前，您還可以預覽編輯后的條目。預覽頁(yè)面展示的效果為參賽作品提交成功后在參賽作品瀏覽頁(yè)面展示的效果。如果覺(jué)得版面不夠美觀(guān)，可以返回繼續編輯。提交您編輯過(guò)的條目：
　　g：提交條目：
　　最后一步，點(diǎn)擊頁(yè)面底部的“提交”按鈕，恭喜！您編輯的條目已提交成功！
　　提交成功后，您將可以看到自己編輯完善的參賽作品！:)
　　————————————————————————————————
　　請注意：您創(chuàng )建或編輯的條目不應出現違反“百科全書(shū)協(xié)議”的情況，否則條目將被刪除并扣20分。情節嚴重的，百度有權關(guān)閉部分權限、暫停甚至刪除您的百度帳號。如何在百度百科上創(chuàng )建或編輯條目
　　============================================
　　方法/步驟，
　　如何創(chuàng )建或編輯條目，
　　在輸入框中輸入術(shù)語(yǔ)的名稱(chēng)。在每個(gè)頁(yè)面的頂部，您可以看到“輸入條目”的輸入框。在輸入框中輸入您要查看的術(shù)語(yǔ)的名稱(chēng)。比如輸入“糖醋排骨”，點(diǎn)擊“進(jìn)入條目”。如果條目不存在： 接下來(lái)，您將進(jìn)入一個(gè)條目創(chuàng )建頁(yè)面，您可以在其中創(chuàng )建條目： 接下來(lái)，您將進(jìn)入一個(gè)條目創(chuàng )建頁(yè)面，您可以在其中創(chuàng )建條目：
　　A：詳細輸入條目的內容：您可以根據自己的理解在此詳細定義您要創(chuàng )建的條目，并盡可能全面地進(jìn)行說(shuō)明。您還可以使用編輯框上方的功能鍵將條目的內容加粗，將其設置為鏈接，并插入特殊符號。每個(gè)條目的內容最多不能超過(guò) 20,000 字。
　　B：設置打開(kāi)分類(lèi)：為您創(chuàng )建的條目設置一個(gè)合理的打開(kāi)分類(lèi)，方便網(wǎng)民瀏覽的條目的進(jìn)入。您最多可以設置五個(gè)打開(kāi)的類(lèi)別，以“,”分隔。
　　C：上傳相關(guān)圖片：上傳相關(guān)圖片，讓您的參賽作品更具可讀性和直觀(guān)性。請注意，上傳的最大圖片不能超過(guò) 2MB。
　　D：填寫(xiě)參考資料：某些條目的內容引用其他書(shū)籍、網(wǎng)頁(yè)等文章時(shí)，請務(wù)必注明出處；如發(fā)生知識產(chǎn)權糾紛，被申請人應承擔相應的法律責任。參考資料最多不能超過(guò)1000字。
　　E：點(diǎn)擊頁(yè)面底部的“提交”按鈕，ok，您創(chuàng )建的條目提交成功。
　　F：提交前，您還可以預覽創(chuàng )建的條目。如果條目已經(jīng)存在：接下來(lái)，您將進(jìn)入編輯條目頁(yè)面，您可以在其中編輯和修改現有條目：
　　———————————————————————
　　A：修改現有條目的內容：您可以修改現有條目的內容，盡可能全面地補充和完善。您還可以使用編輯框上方的功能鍵將條目的內容加粗，將其設置為鏈接，并插入特殊符號。每個(gè)條目最多不能超過(guò) 20,000 字。
　　B：修改問(wèn)題分類(lèi)：您可以為您編輯的條目設置合理的打開(kāi)分類(lèi)，或者刪除或補充原來(lái)的打開(kāi)分類(lèi)，以便網(wǎng)民瀏覽該條目。您最多可以設置五個(gè)打開(kāi)的類(lèi)別，以“,”分隔。
　　C：修改相關(guān)圖片：您可以??通過(guò)“點(diǎn)此查看”鏈接查看條目現有圖片。如果需要修改圖片，可以直接上傳新圖片覆蓋舊圖片。請注意，上傳的最大圖片不能超過(guò) 2MB。
　　D：填寫(xiě)參考資料：當您修改部分條目?jì)热菀闷渌麜?shū)籍、網(wǎng)頁(yè)和其他文章時(shí)，請務(wù)必注明出處；如發(fā)生知識產(chǎn)權糾紛，被申請人應承擔相應的法律責任。參考資料最多不能超過(guò)1000字。
　　E：填寫(xiě)修改原因：請準確、全面、簡(jiǎn)潔地說(shuō)明您修改條目的原因，方便其他用戶(hù)與歷史版本進(jìn)行對比和瀏覽。
　　F：點(diǎn)擊頁(yè)面底部的“提交”按鈕，ok，您編輯的條目提交成功。G：提交前，您還可以預覽編輯后的條目。
　　預防措施，
　　1、 條目名稱(chēng)要準確。為便于他人在創(chuàng )建詞條時(shí)理解，請勿使用無(wú)意義或含糊不清的標題，盡量使用全名。
　　2、條目的具體說(shuō)明。在創(chuàng )建或修改條目時(shí)，要盡可能全面、完整、客觀(guān)地介紹條目的概念。修改原因要寫(xiě)詳細，方便其他網(wǎng)友查看修改版本和歷史版本的區別。我在創(chuàng )建百科全書(shū)方面有發(fā)言權。我想我永遠不會(huì )忘記它。修改了20多遍，差不多用了兩三個(gè)月的時(shí)間。我真的想不通。朋友推薦我關(guān)注新聞。三五天后就會(huì )結束。我不得不佩服它。
　　
　　如何創(chuàng )建個(gè)人百度詞條如何創(chuàng )建百度詞條
　　, 首先打開(kāi)百度瀏覽器，進(jìn)入百度百科界面。
　　2、然后點(diǎn)擊背面進(jìn)入入口
　　3、然后點(diǎn)擊“我會(huì )創(chuàng )建”進(jìn)入百科創(chuàng )建頁(yè)面。
　　4、 完成以上步驟后，在界面中點(diǎn)擊Create Entry。
　　5、完成后，選擇人物，然后選擇人物的行業(yè)
　　6、 然后點(diǎn)擊提交按鈕，等待百度百科系統審核。如果您沒(méi)有經(jīng)驗，請不要自己動(dòng)手。不管怎么做，總會(huì )提示參考資料有誤。最后，小樂(lè )的計劃是好的。每個(gè)條目的右側都有一個(gè)“編輯條目”按鈕，單擊您可以對其進(jìn)行編輯。然后寫(xiě)下你的信息，提交后等待審核。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(搜索引擎蜘蛛收錄的基本原理工具/原料、網(wǎng)頁(yè)方法/步驟)
　　古語(yǔ)有云：百戰百勝，知己知彼。這句古老的軍事格言告訴我們，作為一個(gè)合格的SEOer或個(gè)人站長(cháng)，顯然對搜索引擎蜘蛛的爬行一無(wú)所知收錄。今天和大家一起探討一下搜索引擎蜘蛛爬取收錄的基本原理。
　　工具/材料
　　1、搜索引擎爬蟲(chóng)（別名：搜索引擎蜘蛛）
　　2、網(wǎng)頁(yè)
　　方法/步驟
　　1、什么是搜索引擎蜘蛛？
　　搜索引擎蜘蛛是一種按照一定的規則自動(dòng)抓取互聯(lián)網(wǎng)信息的程序或腳本。由于互聯(lián)網(wǎng)具有四通八達的“拓撲結構”，非常類(lèi)似于蜘蛛網(wǎng)，搜索引擎爬蟲(chóng)在互聯(lián)網(wǎng)上無(wú)休止地“爬行”，所以人們稱(chēng)搜索引擎爬蟲(chóng)為蜘蛛。
　　2、互聯(lián)網(wǎng)儲備了豐富的資源和數據，那么這些資源數據是怎么來(lái)的呢？眾所周知，搜索引擎不會(huì )自行生成內容，在蜘蛛的幫助下不斷從數以萬(wàn)計的網(wǎng)站 上面“采集”網(wǎng)頁(yè)數據來(lái)“填充”自己的頁(yè)面數據庫。這就是為什么當我們使用搜索引擎檢索數據時(shí)，我們可以獲得大量匹配的資源。
　　說(shuō)了這么多，還是發(fā)個(gè)圖吧。下圖是搜索引擎爬取收錄的基本示意圖：
　　
　　一般工作流程如下：
　?、?搜索引擎在網(wǎng)絡(luò )上安排蜘蛛到網(wǎng)站去抓取網(wǎng)頁(yè)數據，然后將抓取到的數據帶回搜索引擎的原創(chuàng )頁(yè)面數據庫。蜘蛛抓取頁(yè)面數據的過(guò)程是無(wú)限循環(huán)的，只有這樣，我們搜索出來(lái)的結果才會(huì )不斷更新。
　?、谠瓌?chuàng )頁(yè)面數據庫中的數據不是最終結果，而是相當于面試的“初試”。搜索引擎會(huì )對數據進(jìn)行“二次處理”。在這個(gè)過(guò)程中會(huì )有兩個(gè)處理結果：
　?。?)對于抄襲、采集或重復內容，不符合搜索引擎規則、不符合用戶(hù)體驗的垃圾頁(yè)面從原頁(yè)面數據庫中刪除。
　?。?) 將符合搜索引擎規則的優(yōu)質(zhì)頁(yè)面加入索引庫，等待進(jìn)一步分類(lèi)排序。
　?、鬯阉饕鎸λ饕龓熘械臄祿M(jìn)行分類(lèi)、整理、計算鏈接關(guān)系、處理，將符合規則的網(wǎng)頁(yè)展示在搜索引擎展示區，供用戶(hù)使用和查看。
　　關(guān)注我的SEO私信，領(lǐng)取SEO精品教程學(xué)習包！ 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(加快百度快照更新頻率有兩個(gè)重要的因素有哪些？)
　　一、什么是百度快照？
　　百度的每個(gè)網(wǎng)頁(yè)收錄都在百度服務(wù)器上存儲了一個(gè)純文本備份，稱(chēng)為“百度快照”。百度快照作為網(wǎng)站遇到故障或某些原因，無(wú)法顯示，可以點(diǎn)擊百度快照瀏覽。簡(jiǎn)單的說(shuō)，百度快照只是網(wǎng)頁(yè)的純文本備份。
　　二、什么情況下會(huì )更新百度快照？
　　百度快照更新的原因是：在網(wǎng)頁(yè)中添加了重要且有價(jià)值的內容。百度蜘蛛爬取后會(huì )對網(wǎng)頁(yè)地址進(jìn)行索引，百度快照的時(shí)間就是索引建立的時(shí)間。
　　三、如何加快百度快照的更新頻率？
　　每一個(gè)網(wǎng)站，也就是百度的收錄，baiduspider會(huì )根據網(wǎng)站內容的更新頻率來(lái)到采集，如果從上一段采集@ > 到這個(gè)時(shí)候采集，當有有價(jià)值的內容產(chǎn)生時(shí)，就會(huì )在百度服務(wù)器上建立索引，建立索引的時(shí)間就是更新百度快照的時(shí)間。
　　四、 加快百度快照更新頻率的因素有哪些？
　　加快快照更新頻率的重要因素有兩個(gè)：一是網(wǎng)站定期更新，持續定期更新，可以方便百度蜘蛛baiduspider更高效的抓取網(wǎng)站信息；第二個(gè)是網(wǎng)站更新的內容一定是有價(jià)值的。對于一個(gè)網(wǎng)頁(yè)的價(jià)值，可以認為是網(wǎng)頁(yè)更新內容的及時(shí)性，有重要的更新內容等。
　　五、百度快照和網(wǎng)站權重有什么關(guān)系？
　　作為很多互聯(lián)網(wǎng)新人接觸到的第一類(lèi)網(wǎng)站，在網(wǎng)站優(yōu)化過(guò)程中，交換友情鏈接是為數不多的互聯(lián)網(wǎng)新人優(yōu)化方式之一。但是在友情鏈交流的過(guò)程中，發(fā)現評價(jià)一個(gè)網(wǎng)站是好是壞。百度快照被認為是一個(gè)非常重要的指標?？煺赵叫?，權重越高。其實(shí)，這是一種誤解。@網(wǎng)站 的權重沒(méi)有直接關(guān)系。
　　六、百度快照落后的原因是什么？
　　分析：一般來(lái)說(shuō)，對于一個(gè)重要的網(wǎng)頁(yè)，百度服務(wù)器會(huì )同時(shí)保存多個(gè)網(wǎng)頁(yè)快照，這些快照的抓取時(shí)間是不同的。在某些特殊情況下，例如百度的算法更新，網(wǎng)頁(yè)快照可能會(huì )回退。當然，這不一定與網(wǎng)站的懲罰有關(guān)。判斷網(wǎng)站是否受到處罰，還需要更詳細的數據來(lái)判斷。TAG標簽時(shí)間：0.371582秒 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(百度蜘蛛優(yōu)化網(wǎng)站或多或少的內容有哪些？增長(cháng)超人小編)
　　網(wǎng)頁(yè)快照是百度蜘蛛進(jìn)入網(wǎng)頁(yè)的時(shí)間，它會(huì )抓取網(wǎng)頁(yè)并存儲在服務(wù)器的緩存中。網(wǎng)站 快照需要經(jīng)常更新，快照的變化一般是快照的內容和時(shí)間。
　　網(wǎng)頁(yè)快照一定要持續更新，更新的網(wǎng)站內容一定要優(yōu)質(zhì)，堅持原創(chuàng )性，不要所有重復的內容或沒(méi)有營(yíng)養的內容，這對百度蜘蛛來(lái)說(shuō)很煩；網(wǎng)站更新的內容是面向用戶(hù)的，可以給用戶(hù)很好的體驗，處理用戶(hù)需求。這是百度蜘蛛的最?lèi)?ài)。對于網(wǎng)站的輸入更好，有更大的幫助。
　　百度蜘蛛會(huì )根據網(wǎng)站內容的更新頻率進(jìn)行爬取。如果它捕獲了有價(jià)值的內容，它將在服務(wù)器上建立一個(gè)索引。建立索引的時(shí)間就是更新快照的時(shí)間；網(wǎng)站是必需的 堅持某些鏈接。百度蜘蛛爬過(guò)鏈接。好友鏈接的質(zhì)量和數量對網(wǎng)站有影響。如果上一個(gè)快照有40個(gè)友情鏈接，而這次快照只有20個(gè)友情鏈接，或多或少會(huì )對網(wǎng)站產(chǎn)生影響，這是很多新手都會(huì )遇到的問(wèn)題。
　　相信我們也遇到過(guò)快照回不來(lái)的情況。多個(gè)網(wǎng)頁(yè)快照存儲在服務(wù)器中?？煺帐窃诓煌瑫r(shí)間拍攝的。如果遇到百度算法或其他原因，快照將返回。
　　我們在優(yōu)化網(wǎng)站時(shí)可能會(huì )遇到各種問(wèn)題。遇到問(wèn)題時(shí)不要驚慌。冷靜是王道。以上是超人編輯分享的網(wǎng)頁(yè)截圖內容。希望能幫到我們。, 如果想了解更多，可以在本站觀(guān)看其他文章！ 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(利用Python/.NET語(yǔ)言實(shí)現一個(gè)糗事百科的爬蟲(chóng))
　　1.前言分析
　　以前用Python/.NET語(yǔ)言來(lái)實(shí)現爬蟲(chóng)，但現在作為前端開(kāi)發(fā)者，自然需要精通NodeJS。下面我們用NodeJS語(yǔ)言實(shí)現一個(gè)尷尬百科的爬蟲(chóng)。另外，本文使用的部分代碼是es6語(yǔ)法。
　　實(shí)現爬蟲(chóng)所需的依賴(lài)庫如下。
　　request：使用get或post等方法獲取網(wǎng)頁(yè)的源代碼。Cheerio：分析網(wǎng)頁(yè)源代碼，獲取所需數據。
　　本文首先介紹了爬蟲(chóng)所需的依賴(lài)庫及其使用，然后利用這些依賴(lài)庫實(shí)現了一個(gè)尷尬百科的網(wǎng)絡(luò )爬蟲(chóng)。
　　2. 請求庫
　　request 是一個(gè)輕量級的 http 庫，非常強大且易于使用?？梢杂盟鼇?lái)實(shí)現Http請求，并支持HTTP認證、自定義請求頭等。下面介紹一下請求庫中的部分功能。
　　安裝請求模塊如下：
　　
npm install request
　　請求安裝后，就可以使用了?，F在使用請求請求百度的網(wǎng)頁(yè)。
　　
const req = require('request');
req('http://www.baidu.com', (error, response, body) => {
if (!error && response.statusCode == 200) {
console.log(body)
}
})
　　未設置 options 參數時(shí)，請求方法默認為 get 請求。而我喜歡使用request對象的具體方法如下：
　　
req.get({
url: 'http://www.baidu.com'
},(err, res, body) => {
if (!err && res.statusCode == 200) {
console.log(body)
}
});
　　但是，很多情況下，直接請求從網(wǎng)站獲取的html源代碼，往往無(wú)法獲取到我們需要的信息。一般來(lái)說(shuō)，需要考慮請求頭和網(wǎng)頁(yè)編碼。
　　網(wǎng)頁(yè)請求頭的編碼
　　下面介紹如何在請求時(shí)添加網(wǎng)頁(yè)請求頭和設置正確的編碼。
　　
req.get({
url : url,
headers: {
"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.94 Safari/537.36",
"Host" : "www.zhihu.com",
"Upgrade-Insecure-Requests" : "1"
},
encoding : 'utf-8'
}, (err, res, body)=>{
if(!err)
console.log(body);
})
　　設置options參數并添加headers屬性來(lái)設置請求頭；添加 encoding 屬性來(lái)設置網(wǎng)頁(yè)的編碼。需要注意的是，如果encoding:null，則get請求獲取的內容是一個(gè)Buffer對象，即body是一個(gè)Buffer對象。
　　上面介紹的功能足以滿(mǎn)足下面的需求
　　3.cheerio 圖書(shū)館
　　Cheerio 是一個(gè)服務(wù)端的 Jquery，它以輕巧、快速、易學(xué)的特性深受開(kāi)發(fā)者的喜愛(ài)。有了jquery的基礎，學(xué)習cheerio庫就很容易了?？梢钥焖俣ㄎ痪W(wǎng)頁(yè)中的元素，其規則與Jquery中定位元素的方法相同；它還可以非常方便的形式修改html中元素的內容并獲取它們的數據。下面主要介紹cheerio對網(wǎng)頁(yè)中元素的快速定位以及獲取其內容的介紹。
　　首先安裝cheerio庫
　　
npm install cheerio
　　下面先給出一段代碼，然后解釋cheerio庫的用法。分析博客園的首頁(yè)，然后提取每個(gè)頁(yè)面的文章的標題。
　　首先分析博客園的首頁(yè)。如下所示：
　　
　　分析html源代碼后，首先通過(guò).post_item獲取所有title，然后分析每個(gè).post_item，使用a.titlelnk匹配每個(gè)title的a標簽。下面通過(guò)代碼實(shí)現。
　　
const req = require('request');
const cheerio = require('cheerio');
req.get({
url: 'https://www.cnblogs.com/'
}, (err, res, body) => {
if (!err && res.statusCode == 200) {
let cnblogHtmlStr = body;
let $ = cheerio.load(cnblogHtmlStr);
$('.post_item').each((index, ele) => {
let title = $(ele).find('a.titlelnk');
let titleText = title.text();
let titletUrl = title.attr('href');
console.log(titleText, titletUrl);
});
}
});
　　當然cheerio庫也支持鏈式調用，上面的代碼也可以改寫(xiě)為：
　　
let cnblogHtmlStr = body;
let $ = cheerio.load(cnblogHtmlStr);
let titles = $('.post_item').find('a.titlelnk');
titles.each((index, ele) => {
let titleText = $(ele).text();
let titletUrl = $(ele).attr('href');
console.log(titleText, titletUrl);
　　上面的代碼很簡(jiǎn)單，就不再贅述了。以下是我認為更重要的幾點(diǎn)。
　　使用find()方法獲取節點(diǎn)集合A，如果再次使用A集合中的元素作為根節點(diǎn)定位其子節點(diǎn)并獲取子元素的內容和屬性，則需要執行$(A [i ]) 包裝，如上面的 $(ele)。在上面的代碼中使用$(ele)，實(shí)際上可以使用$(this)。但是因為我用的是es6的箭頭函數，所以我把每個(gè)方法中回調函數的this指針都改了。因此，我使用 $(ele); Cheerio 庫也支持鏈式調用，比如上面的 $('.post_item').find('a.titlelnk') 。需要注意的是cheerio對象A調用了find()方法。如果A是一個(gè)集合，那么A集合中的每個(gè)子元素都會(huì )調用find()方法，放回一個(gè)結果組合。如果 A 調用 text()，
　　最后，我將總結一些比較常用的方法。
　　first() last() children([selector])：這個(gè)方法和find類(lèi)似，只是這個(gè)方法只搜索子節點(diǎn)，而find搜索整個(gè)后代節點(diǎn)。
　　4. 尷尬百科爬蟲(chóng)
　　通過(guò)上面request和cheerio類(lèi)庫的介紹，下面兩個(gè)類(lèi)庫將用于抓取尷尬百科的頁(yè)面。
　　1、 在項目目錄下新建一個(gè)httpHelper.js文件，通過(guò)url獲取尷尬百科的網(wǎng)頁(yè)源碼，代碼如下：
　　
//爬蟲(chóng)
const req = require('request');
function getHtml(url){
return new Promise((resolve, reject) => {
req.get({
url : url,
headers: {
"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36",
"Referer" : "https://www.qiushibaike.com/"
},
encoding : 'utf-8'
}, (err, res, body)=>{
if(err) reject(err);
else resolve(body);
})
});
}
exports.getHtml = getHtml;
　　2、 在項目目錄下新建Spliter.js文件，分析尷尬百科的網(wǎng)頁(yè)代碼，提取自己需要的信息，通過(guò)改變url的id建立爬取不同頁(yè)面數據的邏輯.
　　
const cheerio = require('cheerio');
const httpHelper = require('./httpHelper');
function getQBJok(htmlStr){
let $ = cheerio.load(htmlStr);
let jokList = $('#content-left').children('div');
let rst = [];
jokList.each((i, item)=>{
let node = $(item);
let titleNode = node.find('h2');
let title = titleNode ? titleNode.text().trim() : '匿名用戶(hù)';
let content = node.find('.content span').text().trim();
let likeNumber = node.find('i[class=number]').text().trim();
rst.push({
title : title,
content : content,
likeNumber : likeNumber
});
});
return rst;
}
async function splider(index = 1){
let url = `https://www.qiushibaike.com/8hr/page/${index}/`;
let htmlStr = await httpHelper.getHtml(url);
let rst = getQBJok(htmlStr);
return rst;
}
splider(1);
　　在獲取尷尬百科網(wǎng)頁(yè)的信息時(shí)，首先在瀏覽器中分析源碼，定位到你需要的標簽，然后提取標簽的文本或屬性值，從而完成對網(wǎng)頁(yè)的分析。
　　Splider.js 文件的入口是spliter 方法。首先根據傳入的方法的索引構造尷尬百科的url，然后獲取該url的網(wǎng)頁(yè)源代碼，最后將獲取的源代碼傳遞給getQBJok方法進(jìn)行分析。本文僅分析各文字笑話(huà)的作者、內容、喜好。
　　直接運行Spliter.js文件，抓取第一頁(yè)的笑話(huà)信息。然后你可以改變spliter方法的參數來(lái)抓取不同頁(yè)面的信息。
　　在上述代碼的基礎上，使用koa和vue2.0構建一個(gè)瀏覽文本的頁(yè)面，效果如下：
　　
　　源碼已經(jīng)上傳到github。下載鏈接： ;
　　項目依賴(lài)節點(diǎn) v7.6.0 及以上。首先，從 Github 克隆整個(gè)項目。
　　
git clone https://github.com/StartAction/SpliderQB.git
　　克隆后，進(jìn)入項目目錄，運行以下命令。
　　
node app.js
　　5. 總結
　　通過(guò)實(shí)現完整的爬蟲(chóng)功能，加深了對Node的理解，實(shí)現的部分語(yǔ)言使用了es6語(yǔ)法，從而加快了es6語(yǔ)法的學(xué)習進(jìn)度。另外，在這個(gè)實(shí)現中，遇到了Node的異步控制的知識。本文使用了 async 和 await 關(guān)鍵字，這也是我最喜歡的。但是，在 Node.js 中有幾種方法可以實(shí)現異步控制。關(guān)于具體的方法和原則，有時(shí)間我再總結一下。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(百度蜘蛛是怎么實(shí)現網(wǎng)頁(yè)關(guān)鍵詞索引當蜘蛛工作過(guò)程)
　　搜索引擎的工作過(guò)程非常復雜。今天跟大家分享一下我是怎么知道百度蜘蛛是如何實(shí)現網(wǎng)頁(yè)的收錄的。
　　
　　搜索引擎的工作大致可以分為四個(gè)過(guò)程。
　　1、 蜘蛛爬行爬行。
　　2、 信息過(guò)濾。
　　3、創(chuàng )建網(wǎng)頁(yè)關(guān)鍵詞索引。
　　4、用戶(hù)搜索輸出結果。
　　蜘蛛爬行
　　當百度蜘蛛來(lái)到一個(gè)頁(yè)面時(shí)，它會(huì )跟隨頁(yè)面上的鏈接，從這個(gè)頁(yè)面爬到下一個(gè)頁(yè)面，就像一個(gè)遞歸的過(guò)程，這樣它就不會(huì )停止一年四季的勞累。比如蜘蛛來(lái)到我博客的首頁(yè)，它會(huì )先讀取根目錄下的robots.txt文件。如果不禁止搜索引擎抓取，蜘蛛就會(huì )開(kāi)始對網(wǎng)頁(yè)上的鏈接進(jìn)行跟蹤和抓取。比如我置頂文章“seo 概覽|什么是seo，seo是做什么的？”，引擎會(huì )到文章所在的這個(gè)網(wǎng)頁(yè)多進(jìn)程抓取信息，所以跟著(zhù)路徑走。，沒(méi)有盡頭。
　　信息過(guò)濾
　　為了避免重復抓取和抓取網(wǎng)址，搜索引擎會(huì )記錄已抓取和未抓取的地址。如果你有新的網(wǎng)站，可以到百度官網(wǎng)提交網(wǎng)站的網(wǎng)址，引擎會(huì )記錄下來(lái)歸類(lèi)到一個(gè)沒(méi)有被爬過(guò)的網(wǎng)址，然后蜘蛛會(huì )根據這張表從數據庫中提取出網(wǎng)址，訪(fǎng)問(wèn)并抓取頁(yè)面。
　　蜘蛛不會(huì )收錄所有頁(yè)面，它必須經(jīng)過(guò)嚴格的檢查。蜘蛛在抓取網(wǎng)頁(yè)內容時(shí)，會(huì )進(jìn)行一定程度的復制內容檢測。如果網(wǎng)頁(yè)網(wǎng)站的權重很低，而且大部分文章都是抄襲的，那么蜘蛛你可能不會(huì )再喜歡你的網(wǎng)站了。如果你不繼續爬行，你就不會(huì )收錄你的網(wǎng)站。
　　創(chuàng )建網(wǎng)頁(yè)關(guān)鍵詞索引
　　蜘蛛抓取頁(yè)面后，首先分析頁(yè)面的文本內容。通過(guò)分詞技術(shù)，將網(wǎng)頁(yè)內容簡(jiǎn)化為關(guān)鍵詞，將關(guān)鍵詞和對應的URL做成表格建立索引。
　　索引中有正向索引和反向索引。正向索引為網(wǎng)頁(yè)內容對應的關(guān)鍵詞，反向為關(guān)鍵詞對應的網(wǎng)頁(yè)信息。
　　輸出結果
　　當用戶(hù)搜索某個(gè)關(guān)鍵詞時(shí)，會(huì )通過(guò)上面建立的索引表進(jìn)行關(guān)鍵詞匹配，通過(guò)反向索引表找到關(guān)鍵詞對應的頁(yè)面，并對頁(yè)面進(jìn)行綜合評分通過(guò)引擎計算后，根據網(wǎng)頁(yè)的分數確定網(wǎng)頁(yè)的排名順序。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(小編一起爬蟲(chóng)python爬蟲(chóng)爬蟲(chóng)爬蟲(chóng)爬蟲(chóng)爬蟲(chóng))
　　爬蟲(chóng)簡(jiǎn)介
　　根據百度百科的定義：網(wǎng)絡(luò )爬蟲(chóng)（又稱(chēng)網(wǎng)絡(luò )蜘蛛、網(wǎng)絡(luò )機器人，在FOAF社區中，更多時(shí)候是網(wǎng)絡(luò )追逐者），是一種按照一定的規則或腳本自動(dòng)抓取萬(wàn)維網(wǎng)上信息的程序。其他不太常用的名稱(chēng)包括螞蟻、自動(dòng)索引、模擬器或蠕蟲(chóng)。
　　隨著(zhù)大數據的不斷發(fā)展，爬蟲(chóng)技術(shù)也慢慢進(jìn)入了人們的視野?？梢哉f(shuō)，爬蟲(chóng)是大數據的產(chǎn)物。至少我在去除大數據后了解了爬蟲(chóng)技術(shù)。
　　隨著(zhù)數據的海量增長(cháng)，我們需要在互聯(lián)網(wǎng)上選擇所需的數據進(jìn)行自己的研究分析和實(shí)驗。這里用到了爬蟲(chóng)技術(shù)，跟著(zhù)小編第一次認識python爬蟲(chóng)吧！
　　一、請求-響應
　　使用python語(yǔ)言實(shí)現爬蟲(chóng)時(shí)，主要用到兩個(gè)庫，urllib和urllib2。先用一段代碼來(lái)解釋如下：
　　
import urllib
import urllib2
url="http://www.baidu.com"
request=urllib2.Request(url)
response=urllib2.urlopen(request)
print response.read()
　　我們知道一個(gè)網(wǎng)頁(yè)是由html作為骨架，js作為肌肉，css作為衣服組成的。上述代碼實(shí)現的功能是將百度網(wǎng)頁(yè)源代碼抓取到本地。
　　其中，url為要爬取的網(wǎng)頁(yè)的URL；request 發(fā)出請求，response 是接受請求后給出的響應。最后，read()函數的輸出就是百度網(wǎng)頁(yè)的源碼。
　　二、GET-POST
　　兩者都是將數據傳輸到網(wǎng)頁(yè)。最重要的區別是GET方法是以鏈接的形式直接訪(fǎng)問(wèn)的。該鏈接收錄所有參數。當然，如果收錄密碼，是一個(gè)不安全的選擇，但是你可以直觀(guān)地看到你提交的內容。
　　POST不會(huì )把URL上的所有參數都顯示出來(lái)，但是如果想直接查看已經(jīng)提交的內容，就不是很方便了。您可以根據自己的需要進(jìn)行選擇。
　　POST方法：
　　
import urllib
import urllib2
values={'username':'2680559065@qq.com','Password':'XXXX'}
data=urllib.urlencode(values)
url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
print response.read()
　　獲取方法：
　　
import urllib
import urllib2
values={'username':'2680559065@qq.com','Password':'XXXX'}
data=urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request=urllib2.Request(geturl)
response=urllib2.urlopen(request)
print response.read()
　　三、異常處理
　　處理異常時(shí)，使用 try-except 語(yǔ)句。
　　
import urllib2
try:
response=urllib2.urlopen("http://www.xxx.com")
except urllib2.URLError,e:
print e.reason
　　總結
　　以上就是小編為大家介紹的python爬蟲(chóng)的基礎知識。我希望它會(huì )對你有所幫助。如有問(wèn)題，請給我留言，小編會(huì )及時(shí)回復您。非常感謝大家對臉圈教程網(wǎng)站的支持！ 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(開(kāi)源中國網(wǎng)絡(luò )爬蟲(chóng)框架列表33款可用來(lái)抓數據的開(kāi)源爬蟲(chóng)軟件工具)
　　文章目錄爬蟲(chóng)和反爬蟲(chóng)網(wǎng)頁(yè)節點(diǎn)分析方法Jsoup、WebCollector、Htmlunit分析實(shí)例WebMagic介紹及使用WebMagic+Selenium自動(dòng)登錄爬蟲(chóng)實(shí)踐總結與參考
　　本文項目san-spider的源地址
　　履帶概念
　　1、爬蟲(chóng)的基本概念
　　爬蟲(chóng)的概念：網(wǎng)絡(luò )爬蟲(chóng)（在FOAF社區也稱(chēng)為網(wǎng)絡(luò )蜘蛛、網(wǎng)絡(luò )機器人，更多時(shí)候是網(wǎng)絡(luò )追逐）是按照一定的規則自動(dòng)抓取萬(wàn)維網(wǎng)上信息的程序或腳本。這是百度百科對爬蟲(chóng)的定義。其實(shí)簡(jiǎn)單的說(shuō)，爬蟲(chóng)就是利用編寫(xiě)好的程序自動(dòng)提取網(wǎng)頁(yè)信息。
　　2、 爬蟲(chóng)分類(lèi)
　　通用爬蟲(chóng)：通用爬蟲(chóng)是搜索引擎（百度、谷歌、雅虎等）“爬蟲(chóng)系統”的重要組成部分。主要目的是將互聯(lián)網(wǎng)上的網(wǎng)頁(yè)下載到本地，形成互聯(lián)網(wǎng)內容的鏡像備份。簡(jiǎn)單來(lái)說(shuō)，就是盡可能多；將互聯(lián)網(wǎng)上的所有網(wǎng)頁(yè)下載到本地服務(wù)器上，形成備份點(diǎn)，對這些網(wǎng)頁(yè)進(jìn)行相關(guān)處理（提取關(guān)鍵詞，去除廣告），最終提供用戶(hù)搜索界面。
　　聚焦爬蟲(chóng)：聚焦爬蟲(chóng)按照指定的要求爬取網(wǎng)絡(luò )上的指定數據。例如：獲取豆瓣上的電影名稱(chēng)和評論，而不是獲取整個(gè)頁(yè)面的所有數據值。
　　增量爬蟲(chóng)：增量用于檢測網(wǎng)站數據的更新，可以爬取網(wǎng)站的更新數據。
　　3、爬蟲(chóng)的價(jià)值
　　網(wǎng)上抓取的數據，對于我來(lái)說(shuō)，數據量很大，就像有一個(gè)數據庫一樣，下一步就是如何將抓取到的數據進(jìn)行產(chǎn)品化和商業(yè)化。
　　
　　想象
　　開(kāi)源的爬蟲(chóng)框架有很多，各種語(yǔ)言（如：python、java）實(shí)現的，有單機的，也有大規模分布式的，多達上百種。詳情可見(jiàn)：
　　開(kāi)源中文網(wǎng)絡(luò )爬蟲(chóng)框架列表
　　33款可用于抓取數據的開(kāi)源爬蟲(chóng)軟件工具
　　爬蟲(chóng)項目經(jīng)驗總結
　　github上有哪些優(yōu)秀的java爬蟲(chóng)項目
　　我們的要求不高：
　　選擇爬蟲(chóng)開(kāi)源框架后，一定要考慮自己的業(yè)務(wù)特點(diǎn)，設計自己的項目架構。大多數使用爬蟲(chóng)的人都有類(lèi)似的基本需求。
　　最后，一般的爬蟲(chóng)項目是這樣的：
　　盡快下拉目標網(wǎng)站的頁(yè)面
　　然后解析出有用的內容
　　存儲到數據庫并緩存在地上
　　稍微成熟的爬蟲(chóng)開(kāi)源框架已經(jīng)基本實(shí)現了第一步。
　　在分析了實(shí)際業(yè)務(wù)規則之后，我們需要考慮如何實(shí)施和保持更新網(wǎng)站變更策略。
　　爬蟲(chóng)框架選擇
　　可以參考如何選擇一個(gè)開(kāi)源的網(wǎng)絡(luò )爬蟲(chóng)框架嗎？
　　在考慮選擇時(shí)，主要有以下參考項目：
　　上面提到的爬蟲(chóng)基本上可以分為三類(lèi)：
　　分布式爬蟲(chóng)
　　正午：
　　優(yōu)點(diǎn)：分布式爬取、存儲和索引、Hadoop支持、豐富的第三方插件
　　缺點(diǎn)：使用難度大，用Nutch進(jìn)行爬蟲(chóng)二次開(kāi)發(fā)，爬蟲(chóng)的準備和調試所需要的時(shí)間，往往是單機爬蟲(chóng)所需時(shí)間的十倍以上。
　　獨立爬蟲(chóng)
　　對于單機爬蟲(chóng)框架，日常開(kāi)發(fā)中最耗時(shí)的部分就是網(wǎng)頁(yè)內容解析，所以首先要介紹一下優(yōu)秀的HTML網(wǎng)頁(yè)解析器：Jsoup和Htmlunit以及神器Selenium
　　在上面列出的獨立爬蟲(chóng)中，Gecco 是基于注解實(shí)現的。官方demo無(wú)法運行，體驗太差。首先，它會(huì )被排除在外。
　　至于其他的，功能非常豐富，而且都在不斷更新中。
　　名稱(chēng) Github Star 文檔豐富度 使用項目數 網(wǎng)絡(luò )博客帖子豐富度 (10)
　　爬蟲(chóng)4j
　　3.9k
　　5
　　199
　　6
　　網(wǎng)絡(luò )魔術(shù)師
　　9.1k
　　很完整
　　586
　　7.5
　　網(wǎng)絡(luò )采集器
　　2.6k
　　7
　　72
　　7.5
　　從以上指標來(lái)看，都是優(yōu)秀的
　　根據我的實(shí)際項目操作對比，WebMagic文檔豐富，上手快，demo項目也很多，所以我每天都在使用WebMagic。
　　非Java獨立爬蟲(chóng)
　　主要說(shuō)Python爬蟲(chóng)，以Scrapy為頭，比較Java的主要優(yōu)勢是
　　總之：
　　分布式爬蟲(chóng)Nucth有點(diǎn)矯枉過(guò)正，開(kāi)發(fā)效率不高，暫時(shí)不考慮。
　　在日常的Java項目中，我更喜歡WebMagic，當做爬蟲(chóng)工作需要很多時(shí)間和精力的時(shí)候，我會(huì )選擇Python的Scrapy。
　　爬行動(dòng)物和反爬行動(dòng)物
　　網(wǎng)站反爬蟲(chóng)策略如何處理？如何高效抓取海量數據？
　　爬蟲(chóng)突破禁令的6種常用方法
　　常見(jiàn)的反爬蟲(chóng)機制及對策
　　爬行動(dòng)物與反爬行動(dòng)物之間的博弈
　　爬蟲(chóng)和反爬蟲(chóng)都在改進(jìn)。下面是爬蟲(chóng)和反爬蟲(chóng)應用中涉及到的一些常見(jiàn)知識點(diǎn)。
　　網(wǎng)頁(yè)節點(diǎn)的解析方法
　　CSS選擇器+Xpath+正則表達式整理
　　xpath 表達式
　　Jsoup、WebCollector、Htmlunit 分析實(shí)例
　　Jsoup源代碼
　　WebCollector 源代碼
　　接下來(lái)我主要在大篇幅介紹Webmagic，因為我會(huì )先簡(jiǎn)單介紹一下其他的解析器。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(IT或者說(shuō)關(guān)注互聯(lián)網(wǎng)發(fā)展的不知道協(xié)議的應該很少)
　　機器人協(xié)議防君子容易，防壞人難。
　　robots.txt（統一小寫(xiě)）是一種存儲在
　　網(wǎng)站
　　在根目錄
　　ASCII碼
　　編碼
　　文本文件
　　,它通常告訴網(wǎng)絡(luò )
　　搜索引擎
　　機器人（也稱(chēng)為
　　網(wǎng)絡(luò )蜘蛛
　　)，這個(gè)網(wǎng)站中哪些內容不應該被搜索引擎的bot獲取，哪些內容可以被bot獲取。由于某些系統中的URL 區分大小寫(xiě)，因此robots.txt 的文件名應統一小寫(xiě)。robots.txt應該放在網(wǎng)站的根目錄下。如果想單獨定義搜索引擎robots訪(fǎng)問(wèn)子目錄時(shí)的行為，可以將自定義設置合并到根目錄下的robots.txt中，或者使用robots
　　元數據
　?。ㄔ獢祿?，也稱(chēng)為元數據）。____ 摘自維基百科
　　這個(gè)協(xié)議不是一個(gè)規范，而只是一個(gè)約定。一些搜索引擎會(huì )遵守這個(gè)規范，而另一些則不會(huì )。通常搜索引擎會(huì )識別這個(gè)元數據，不會(huì )索引這個(gè)頁(yè)面，以及這個(gè)頁(yè)面的鏈接頁(yè)面。注意這個(gè)加粗的句子。機器人協(xié)議不是強制性的。搜索引擎可以遵守，也可以不遵守。（當然不合規是有代價(jià)的。）我覺(jué)得是關(guān)注IT或者互聯(lián)網(wǎng)的發(fā)展。不知道機器人協(xié)議的人應該很少。2012年，百度與360打響了一場(chǎng)封殺與反封殺之戰，將原本為程序員所熟知的Robots協(xié)議變成了媒體熱詞。北京市第一中級法院'
　　大家都知道，互聯(lián)網(wǎng)上有很多協(xié)議，比如我們經(jīng)常使用的ipv4、ipv6、WiFi協(xié)議。這些協(xié)議的目的是讓大家在訪(fǎng)問(wèn)端口時(shí)有一個(gè)統一的規范。應該是遵守了，就徹底亂了。這就好比國家制定的國家標準，或者行業(yè)指定的行業(yè)標準。只有統一的規范才能保證兼容性。然而，百度的行為完全無(wú)視行業(yè)標準，隨意抓取他人的網(wǎng)頁(yè)內容，猶如竊取。比如微信做個(gè)公章后，積累了大量的優(yōu)質(zhì)作者和文章，培養了大量用戶(hù)的閱讀習慣。騰訊投資搜狗，開(kāi)放微信數據供搜狗搜索獨家使用。這部分數據可以極大地幫助用戶(hù)滿(mǎn)足他們的瀏覽和閱讀需求。來(lái)到“差異化”的體驗點(diǎn)。因此，搜索依托騰訊的資源，將微信公眾號文章嵌入到搜狗搜索中，同時(shí)還開(kāi)發(fā)了基于公眾號的微信頭條推薦應用。
　　當然，這種高質(zhì)量、專(zhuān)屬的數據是需要專(zhuān)屬保護的。搜狗還使用搜索引擎常用的robots協(xié)議來(lái)限制相應的目錄，不允許其他搜索引擎對其進(jìn)行抓取。但是百度在搜索相關(guān)關(guān)鍵詞的時(shí)候抓取了這部分內容，放到了自己的搜索頁(yè)面上。知道百度今天還在做這個(gè)，隨便搜索一個(gè)微信公眾號，你就會(huì )看到下面的結果。
　　
　　如果不違法，那么大家自己判斷是否存在道德問(wèn)題。
　　在WiFi早年成為共識之前，WAPI協(xié)議是由中國工業(yè)和信息化部推動(dòng)的。自2003年以來(lái)，我國先后頒布了一系列采用WAPI安全協(xié)議的無(wú)線(xiàn)局域網(wǎng)基本國家標準。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(開(kāi)始我們的網(wǎng)站合集！DIY可視化地圖網(wǎng)站，可以最快速度生成)
　　大家好，我是三山學(xué)長(cháng)，因為國土空間規劃，已經(jīng)有一個(gè)月沒(méi)有聯(lián)系了。
　　
　?。ú杉臅r(shí)候點(diǎn)個(gè)贊~~~）
　　在圖紙質(zhì)量和數量日益增加的環(huán)境中，學(xué)生的工作時(shí)間也越來(lái)越長(cháng)。領(lǐng)導者經(jīng)常要很多漂亮的視覺(jué)圖。因為有的同學(xué)操作不熟練，不自覺(jué)。陷入加班的惡性循環(huán)。
　　在最近的磋商中，我多次被問(wèn)到同樣的問(wèn)題：“效率”。即面對炫酷的可視化效果圖，如何有效壓縮繪圖時(shí)間，提高繪圖效率。當這個(gè)問(wèn)題開(kāi)始困擾越來(lái)越多的人時(shí)，Sansan 的前輩們就會(huì )去幫助大家解決問(wèn)題。畢竟有的同學(xué)在A(yíng)rcGIS工作了很多天自己畫(huà)圖，有的專(zhuān)業(yè)人士可能已經(jīng)在網(wǎng)上做了，并且開(kāi)源了。
　　經(jīng)過(guò)多日的翻箱倒柜，三三學(xué)長(cháng)整理了一本數據可視化網(wǎng)站百科全書(shū)，希望對同學(xué)們有所幫助。如果你在閱讀后學(xué)到了一些東西，我希望能支持和鼓勵你。
　　
　　根據數據類(lèi)型和應用方向的不同，本次可視化數據集將分為DIY可視化地圖、特殊可視化地圖、可視化圖表、可視化插件、詞云可視化和可視化數據6個(gè)部分采集。需要指出的一點(diǎn)是，對于網(wǎng)站或類(lèi)似功能的材料，Sansan只選擇了其中一些他認為有用的介紹。畢竟，沒(méi)有什么可以列出所有網(wǎng)站。實(shí)際意義。閑話(huà)不多說(shuō)，開(kāi)始我們的網(wǎng)站合集吧！
　　1
　　DIY視覺(jué)圖
　　本節主要分享一些在線(xiàn)DIY視覺(jué)圖網(wǎng)站，可以盡快生成我們需要的視覺(jué)圖內容。
　　名稱(chēng)：高德開(kāi)放平臺地圖實(shí)驗室網(wǎng)址：/簡(jiǎn)介：可以準確顯示和分析位置數據。它是Sansan前輩的網(wǎng)站最?lèi)?ài)之一?？梢暬?lèi)型更豐富，數據源支持CSV。各種數據文件，如Excel、TXT、MySQL等。
　　
　　Name: Pixel Map Generator URL: /Introduction: 一個(gè)世界尺度的地圖可視化網(wǎng)頁(yè)，可以改變地圖投影方向，調整各種元素的顏色，添加和編輯圖例，以及地圖像素化處理和導出。
　　
　　名稱(chēng)：智圖位置智能平臺GeoQ 網(wǎng)址：/簡(jiǎn)介：綜合平臺，可以選擇不同類(lèi)型的地圖，提供各類(lèi)矢量數據、導航數據、地理編碼和區塊數據。
　　
　　名稱(chēng)：CADMAPPER 網(wǎng)址：/簡(jiǎn)介： 提供每次一平方公里的免費CAD數據下載（包括建筑輪廓和高度）。
　　
　　名稱(chēng)：吉海GeoHey 網(wǎng)址：/data/private-data 簡(jiǎn)介：開(kāi)源數據可視化制作網(wǎng)站，優(yōu)點(diǎn)是有大量用戶(hù)提供數據供參考學(xué)習。
　　
　　名稱(chēng)：Mapbox 網(wǎng)址：/（原網(wǎng)站）/（中國） 簡(jiǎn)介：老牌地圖可視化網(wǎng)站，同學(xué)們都懂。
　　
　　名稱(chēng)：OpenStreetMap 網(wǎng)址：/#map=16/39.1344/117.1880&layers=H 簡(jiǎn)介：地圖會(huì )話(huà)的維基百科，開(kāi)源很早，很多人用，所以自然而然的共享數據量是海量的。同時(shí)還提供了矢量數據的下載！
　　
　　2 專(zhuān)業(yè)可視化地圖 本節主要分享幾個(gè)成熟的專(zhuān)業(yè)可視化地圖。在某些特定場(chǎng)景下，它可能會(huì )大大提高您的工作效率。名稱(chēng)： Weather Map Visualization Ventusky 網(wǎng)址：/?p=35;89;2&l=temperature-2m 介紹：非?？岬脑诰€(xiàn)服務(wù)，是一款實(shí)時(shí)天氣圖，可以顯示溫度、降雨量、云量在線(xiàn)圖、風(fēng)速、氣壓等信息。
　　
　　名稱(chēng)：全球光污染地圖 LightpollutionMap 網(wǎng)址：/#zoom=4&lat=5759860&lon=1619364&layers=B0FFFFFTFFFFFFFFF 簡(jiǎn)介：一個(gè)公益網(wǎng)站，主要是在線(xiàn)展示此刻世界各地的光污染狀況，用戶(hù)可以使用地圖快來(lái)看看世界各地的光污染情況。
　　
　　名稱(chēng)：地形圖網(wǎng)址：/簡(jiǎn)介：世界各地地形渲染圖的可視化網(wǎng)站。
　　
　　名稱(chēng)：騰訊位置大數據網(wǎng)站：/簡(jiǎn)介：以騰訊APP為數據源，對位置流量趨勢、區域熱圖、人口遷移等多維數據進(jìn)行統計，并進(jìn)行可視化。
　　
　　名稱(chēng)：高德城市交通分析報告 網(wǎng)址：/m/dist/#/ct 簡(jiǎn)介：國內城市的城市交通狀況、擁堵?tīng)顩r、交通預測等多維數據統計。是交通專(zhuān)項規劃的強大數據源。（界面有點(diǎn)丑）
　　
　　3
　　可視化圖表 本節主要分享幾種不同類(lèi)型的在線(xiàn)可視化圖表網(wǎng)站，只要你有想法，數據可能就在網(wǎng)站上，你只需知道并打開(kāi)網(wǎng)站只需編輯它。名稱(chēng)：BDP個(gè)人版網(wǎng)址：/index.html#/dash_edit 簡(jiǎn)介：在線(xiàn)，免費的可視化分析工具，通過(guò)數據訪(fǎng)問(wèn)、數據處理、數據分析，可以實(shí)現可視化展示和結果共享。
　　
　　名稱(chēng)：百度圖鑒網(wǎng)址：/intro 簡(jiǎn)介：更專(zhuān)業(yè)的大數據可視化分析平臺，由百度Echarts團隊出品，非常適合商務(wù)PPT制作，優(yōu)采云福音。
　　
　　名稱(chēng)：AntV 數據可視化 AntV 網(wǎng)址：antv.vision/zh 簡(jiǎn)介：簡(jiǎn)單、方便、專(zhuān)業(yè)、可靠的數據可視化最佳實(shí)踐。共有8個(gè)大項和112個(gè)小項進(jìn)行視覺(jué)表達。重點(diǎn)是圖形的表達，提供了一種從基本圖形元素的不同特征到數據的映射方法。
　　
　　名稱(chēng)：阿里云DataV 網(wǎng)址：/product/bigdata/datav 簡(jiǎn)介：針對非程序員，提供海量模板，滿(mǎn)足會(huì )展、業(yè)務(wù)監控、風(fēng)險預警、地理信息分析等業(yè)務(wù)的展示需求。屏幕材質(zhì)很棒。
　　
　　名稱(chēng)：數據視圖 URL：/product
　　簡(jiǎn)介：一個(gè)有利于商業(yè)企業(yè)的數據可視化平臺。
　　
　　4
　　可視化詞云
　　本節主要分享一個(gè)視覺(jué)詞云網(wǎng)站。我覺(jué)得這個(gè)可以滿(mǎn)足大部分同學(xué)的需求，其他的就不再分享了。
　　名稱(chēng)：藝術(shù)字網(wǎng)址：/
　　簡(jiǎn)介：一個(gè)在線(xiàn)運行、高度可編輯的詞云網(wǎng)站。您可以根據需要任意設置詞云的形狀、顏色和比例。實(shí)際測試非常好用的網(wǎng)站。
　　
　　名稱(chēng)：語(yǔ)料庫在線(xiàn)-詞頻統計網(wǎng)址：/cncorpus/CpsTongji.aspx
　　簡(jiǎn)介：界面雖然丑，但是很實(shí)用的網(wǎng)站，可以快速統計高頻詞的比例，高頻詞，結合前面的詞云網(wǎng)站混合使用效果更好。
　　
　　5
　　可視化插件
　　本節主要分享幾個(gè)基于Excel的數據可視化插件，第三方前輩已準備好下載鏈接！服務(wù)超級周到嗎？有同名GZ號的下載方法~
　　名稱(chēng)：DataMap簡(jiǎn)介：基于百度地圖的數據可視化Excel插件，由國內某大神打造，整個(gè)插件充滿(mǎn)了21世紀初的中國極客精神。安裝后Excel欄會(huì )多出一欄內容，包括地址解析、地圖標記、軌跡點(diǎn)分析、線(xiàn)性相關(guān)、距離測量、數據分析等，是居家必備軟件之一。
　　
　　名稱(chēng)：PowerMap簡(jiǎn)介：另一個(gè)數據可視化Excel插件，支持Excel2013以上版本。PowerMap 是一款全新的 3D 可視化 Excel 地圖插件，可以探索地理和時(shí)間維度的數據轉換，發(fā)現和分享新的見(jiàn)解。具體可以參考三三前輩貼的教程。教程：安裝EXCEL后一周沒(méi)打開(kāi)GIS
　　6
　　可視化數據采集 既然是說(shuō)數據可視化，如果沒(méi)有數據源，再怎么開(kāi)源軟件，聰明的女人也難做無(wú)米之炊。所以三三前輩最后還是會(huì )認真的給大家推薦幾個(gè)數據。采集 工具~名稱(chēng)：優(yōu)采云采集器 網(wǎng)址：/簡(jiǎn)介：優(yōu)采云采集器是最常用的互聯(lián)網(wǎng)數據捕獲、處理、分析和挖掘軟件之一。該軟件配置靈活，性能強大，非常適合有基礎編程基礎的學(xué)生使用。特點(diǎn)是采集無(wú)限的網(wǎng)頁(yè)和無(wú)限的內容。
　　
　　名稱(chēng)：優(yōu)采云采集器 網(wǎng)址：/簡(jiǎn)介：一個(gè)網(wǎng)頁(yè)采集軟件，可以從不同的網(wǎng)站獲取標準化數據，非常好用，完全可視化的圖形操作，非常適合小白。
　　
　　名稱(chēng)：清博輿情 網(wǎng)址：/site/home 簡(jiǎn)介：又名CALL粉絲評價(jià)網(wǎng)，提供海量數據資源，結合數據源，可生成輿情階段報告、熱點(diǎn)事件綜合分析、新媒體傳播報道、粉絲畫(huà)像分析、行業(yè)研究報告、政府和企業(yè)頂級刊物、政策實(shí)施效果分析等。偶像不火，看看就知道了。
　　/2019Universitylist/（自動(dòng)識別二維碼）
　　名稱(chēng)：Gooseeker Gooseeker 網(wǎng)址：/介紹：一款簡(jiǎn)單易用的網(wǎng)絡(luò )信息爬取軟件，可以抓取網(wǎng)頁(yè)文本、圖表、超鏈接等網(wǎng)頁(yè)元素，提供易用的網(wǎng)絡(luò )爬取軟件和數據挖掘策略，行業(yè)資訊、前沿科技等。 可以在手機上抓取數據網(wǎng)站，支持抓取指數圖表上浮動(dòng)顯示的數據等。
　　
　　一口氣看到這么多網(wǎng)站，可能需要慢慢消化，別著(zhù)急，更多精彩教程還在后面，記得關(guān)注【數據規劃】 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(抓取策略確定目標：確定抓取哪個(gè)網(wǎng)站的哪些頁(yè)面的哪部分數據)
　　爬取策略
　　
　　確定目標：確定要抓取哪個(gè)網(wǎng)站的哪個(gè)頁(yè)面的哪一部分數據。本例抓取百度百科python入口頁(yè)面和python相關(guān)入口頁(yè)面的標題和介紹。
　　分析目標：分析要爬取的URL的格式，限制爬取的范圍。分析要捕獲的數據的格式。在本例中，我們將分析標題和介紹這兩個(gè)數據所在的標簽格式。分析要爬取的頁(yè)面編碼的格式。在頁(yè)面解析器部分，您必須指定頁(yè)面編碼才能進(jìn)行正確的分析。
　　編寫(xiě)代碼：在網(wǎng)頁(yè)解析器部分，要使用分析目標得到的結果。
　　執行爬蟲(chóng)：數據抓取。
　　分析目標
　　1、網(wǎng)址格式
　　進(jìn)入百度百科的python詞條頁(yè)面，頁(yè)面上相關(guān)詞條的鏈接比較統一，多為/view/xxx.htm。
　　
　　2、數據格式
　　標題位于 lemmaWgt-lemmaTitle-title 類(lèi)下的 h1 子標簽中，介紹位于 lemma-summary 類(lèi)下。
　　
　　
　　3、編碼格式
　　查看頁(yè)面編碼格式，utf-8。
　　
　　經(jīng)過(guò)以上分析，結果如下：
　　
　　代碼編寫(xiě)項目結構
　　在sublime下新建一個(gè)文件夾baike-spider作為項目根目錄。
　　創(chuàng )建spider_main.py 作為爬蟲(chóng)通用調度器。
　　創(chuàng )建一個(gè)新的 url_manger.py 作為 url 管理器。
　　創(chuàng )建一個(gè)新的 html_downloader.py 作為 html 下載器。
　　創(chuàng )建一個(gè)新的 html_parser.py 作為 html 解析器。
　　創(chuàng )建一個(gè)新的 html_outputer.py 作為寫(xiě)出數據的工具。
　　最終的項目結構如下：
　　
　　蜘蛛主.py
　　# coding:utf-8
import url_manager, html_downloader, html_parser, html_outputer
class SpiderMain(object):
def __init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.outputer = html_outputer.HtmlOutputer()
def craw(self, root_url):
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url()
print('craw %d : %s' % (count, new_url))
html_cont = self.downloader.download(new_url)
new_urls, new_data = self.parser.parse(new_url, html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
if count == 10:
break
count = count + 1
except:
print('craw failed')
self.outputer.output_html()
if __name__=='__main__':
root_url = 'http://baike.baidu.com/view/21087.htm'
obj_spider = SpiderMain()
obj_spider.craw(root_url)
　　url_manger.py
　　# coding:utf-8
class UrlManager(object):
def __init__(self):
self.new_urls = set()
self.old_urls = set()
def add_new_url(self, url):
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def add_new_urls(self, urls):
if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url)
def has_new_url(self):
return len(self.new_urls) != 0
def get_new_url(self):
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
return new_url
　　html_downloader.py
　　# coding:utf-8
import urllib.request
class HtmlDownloader(object):
def download(self, url):
if url is None:
return None
response = urllib.request.urlopen(url)
if response.getcode() != 200:
return None
return response.read()
　　html_parser.py
　　# coding:utf-8
from bs4 import BeautifulSoup
import re
from urllib.parse import urljoin
class HtmlParser(object):
def _get_new_urls(self, page_url, soup):
new_urls = set()
# /view/123.htm
links = soup.find_all('a', href=re.compile(r'/view/\d+\.htm'))
for link in links:
new_url = link['href']
new_full_url = urljoin(page_url, new_url)
# print(new_full_url)
new_urls.add(new_full_url)
#print(new_urls)
return new_urls
def _get_new_data(self, page_url, soup):
res_data = {}
# url
res_data['url'] = page_url
# Python
title_node = soup.find('dd', class_='lemmaWgt-lemmaTitle-title').find('h1')
res_data['title'] = title_node.get_text()
# <p class="lemma-summary" label-module="lemmaSummary">
summary_node = soup.find(&#39;p&#39;, class_=&#39;lemma-summary&#39;)
res_data[&#39;summary&#39;] = summary_node.get_text()
# print(res_data)
return res_data
def parse(self, page_url, html_cont):
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont, &#39;html.parser&#39;)
# print(soup.prettify())
new_urls = self._get_new_urls(page_url, soup)
new_data = self._get_new_data(page_url, soup)
# print(&#39;mark&#39;)
return new_urls, new_data
　　html_outputer.py
　　# coding:utf-8
class HtmlOutputer(object):
def __init__(self):
self.datas = []
def collect_data(self, data):
if data is None:
return
self.datas.append(data)
def output_html(self):
fout = open(&#39;output.html&#39;,&#39;w&#39;, encoding=&#39;utf-8&#39;)
fout.write(&#39;&#39;)
fout.write(&#39;&#39;)
fout.write(&#39;&#39;)
for data in self.datas:
fout.write(&#39;&#39;)
fout.write(&#39;%s&#39; % data[&#39;url&#39;])
fout.write(&#39;%s&#39; % data[&#39;title&#39;])
fout.write(&#39;%s&#39; % data[&#39;summary&#39;])
fout.write(&#39;&#39;)
fout.write(&#39;&#39;)
fout.write(&#39;&#39;)
fout.write(&#39;&#39;)
fout.close()
　　跑
　　在命令行下，執行python spider_main.py。
　　編碼問(wèn)題
　　問(wèn)題描述：UnicodeEncodeError:'gbk' codec can't encode character 'xa0' in position ...
　　在Python寫(xiě)文件的時(shí)候，或者把網(wǎng)絡(luò )數據流寫(xiě)到本地文件的時(shí)候，大多數情況下都會(huì )遇到這個(gè)問(wèn)題。關(guān)于如何解決這個(gè)問(wèn)題，網(wǎng)上有很多類(lèi)似的文章，但無(wú)非就是編碼和解碼。這是問(wèn)題的真正原因嗎？不。很多時(shí)候，我們使用decode和encode，嘗試了各種編碼，utf8、utf-8、gbk、gb2312等，所有的編碼都試過(guò)了，但是還是出現錯誤，讓人崩潰。
　　windows下寫(xiě)python腳本有嚴重的編碼問(wèn)題。在將網(wǎng)絡(luò )數據流寫(xiě)入文件時(shí)，我們會(huì )遇到幾種編碼：
　　1、#encoding='XXX'
　　這里的編碼（即python文件第一行的內容）是指python腳本文件本身的編碼，無(wú)所謂。只要XXX的編碼和文件本身是一樣的。
　　例如，可以在notepad++的“格式”菜單中設置各種編碼。這時(shí)候需要確保本菜單中設置的編碼與編碼XXX一致。如果不同，就會(huì )報錯。
　　2、網(wǎng)絡(luò )數據流的編碼
　　比如獲取一個(gè)網(wǎng)頁(yè)，那么網(wǎng)絡(luò )數據流的編碼就是網(wǎng)頁(yè)的編碼。需要使用decode解碼成unicode編碼。
　　3、目標文件的編碼
　　將網(wǎng)絡(luò )數據流寫(xiě)入新文件，文件代碼如下：
　　fout = open(&#39;output.html&#39;,&#39;w&#39;)
fout.write(str)
　　在Windows下，新建文件的默認編碼是gbk，python解釋器會(huì )使用gbk編碼來(lái)解析我們的網(wǎng)絡(luò )數據流str。但是， str 是解碼后的 unicode 編碼。這會(huì )導致解析失敗和上述問(wèn)題。解決辦法是改變目標文件的編碼：
　　fout = open(&#39;output.html&#39;,&#39;w&#39;, encoding=&#39;utf-8&#39;)
　　操作結果
　　
　　
　　更多Python抓取百度百科數據文章，請關(guān)注PHP中文網(wǎng)！
　　
　　免責聲明：本文原創(chuàng )發(fā)表于php中文網(wǎng)。轉載請注明出處。感謝您的尊重！如果您有任何疑問(wèn)，請與我們聯(lián)系 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(網(wǎng)絡(luò )爬蟲(chóng)（蜘蛛）如何選擇合適的方式有哪些？)
　　一、前言
　　網(wǎng)絡(luò )爬蟲(chóng)（也稱(chēng)為網(wǎng)絡(luò )蜘蛛或網(wǎng)絡(luò )機器人）是一種按照一定的規則自動(dòng)抓取萬(wàn)維網(wǎng)上信息的程序或腳本。其他不太常用的名稱(chēng)包括螞蟻、自動(dòng)索引、模擬器或蠕蟲(chóng)。------百度百科
　　用人類(lèi)的話(huà)說(shuō)，爬蟲(chóng)是用來(lái)定時(shí)獲取海量數據，然后進(jìn)行處理和使用的。是大數據、金融、機器學(xué)習等領(lǐng)域的必要支撐條件之一。
　　目前一線(xiàn)城市，爬蟲(chóng)的薪資待遇都比較客觀(guān)，以后晉升中高級爬蟲(chóng)工程師、數據分析師、大數據開(kāi)發(fā)崗位都是不錯的過(guò)渡。
　　二、項目目標
　　其實(shí)這里介紹的項目不需要太復雜。最終目的是將帖子的每條評論爬取到數據庫中，并進(jìn)行數據更新、防止重復爬取、反爬取等措施。
　　三、項目準備
　　這部分主要介紹本文用到的工具、涉及的庫、網(wǎng)頁(yè)等信息等。
　　軟件：PyCharm
　　所需的庫：Scrapy、selenium、pymongo、user_agent、datetime
　　目標 網(wǎng)站：
　　美食論壇
　　插件：chromedriver（版本必須正確）
　　四、項目分析1、 確定網(wǎng)站的結構
　　簡(jiǎn)而言之：確定網(wǎng)站的加載方式，如何正確進(jìn)入post逐層抓取數據，使用什么格式保存數據等。
　　其次，觀(guān)察網(wǎng)站的層次結構，也就是如何按照版塊一點(diǎn)一點(diǎn)的進(jìn)入post頁(yè)面。這對于這個(gè)爬蟲(chóng)任務(wù)來(lái)說(shuō)非常重要，也是編寫(xiě)代碼的主要部分。
　　2、如何選擇合適的方法來(lái)捕獲數據？
　　目前我知道的爬取方法如下（不全，但比較常用）：
　　請求框架：利用這個(gè)http庫靈活抓取需要的數據。簡(jiǎn)單但過(guò)程有點(diǎn)繁瑣，可以配合抓包工具來(lái)獲取數據。但是需要確定headers和對應的請求參數，否則無(wú)法獲取數據；很多app爬取，圖片視頻爬取，爬取停止，比較輕量靈活，高并發(fā)分布式部署也很靈活，功能可以更好的實(shí)現。Scrapy框架：scrapy框架可以說(shuō)是爬蟲(chóng)最常用、最好的爬蟲(chóng)框架。它有很多優(yōu)點(diǎn)：scrapy 是異步的；它采用更具可讀性的 xpath 而不是常規的；強大的統計和日志系統；同時(shí)在不同的 url 上爬行；支持shell模式，方便獨立調試；支持編寫(xiě)中間件，方便編寫(xiě)一些統一的過(guò)濾器；它可以通過(guò)管道存儲在數據庫中，等等。這也是本次要介紹的框架（結合selenium庫）文章。五、項目實(shí)現1、 第一步：確定網(wǎng)站的類(lèi)型
　　先說(shuō)明什么意思，看什么網(wǎng)站，先看網(wǎng)站的加載方式，是靜態(tài)加載，動(dòng)態(tài)加載（js加載），還是其他方式；根據不同的加載方式需要不同的方法。然后我們觀(guān)察了今天爬取的網(wǎng)站，發(fā)現這是一個(gè)按時(shí)間順序排列的論壇。首先猜測是靜態(tài)加載網(wǎng)站；我們開(kāi)啟了組織js加載的插件，如下圖。
　　
　　刷新后發(fā)現確實(shí)是靜態(tài)的網(wǎng)站（如果能正常加載，基本就是靜態(tài)加載了）。
　　2、第二步：確定層級關(guān)系
　　其次，今天我們要爬取的網(wǎng)站是美食論壇網(wǎng)站，它是靜態(tài)加載的網(wǎng)站，在前面的分析中我們已經(jīng)了解了，然后是層次結構：
　　
　　大概就是上面這個(gè)過(guò)程，一共三個(gè)層次的漸進(jìn)訪(fǎng)問(wèn)，然后到達post頁(yè)面，如下圖。
　　
　　部分代碼顯示：
　　一級接口：
　　def parse(self, response):
self.logger.info("已進(jìn)入網(wǎng)頁(yè)！")
self.logger.info("正在獲取版塊列表！")
column_path_list = response.css(&#39;#ct > div.mn > div:nth-child(2) > div&#39;)[:-1]
for column_path in column_path_list:
col_paths = column_path.css(&#39;div > table > tbody > tr > td > div > a&#39;).xpath(&#39;@href&#39;).extract()
for path in col_paths:
block_url = response.urljoin(path)
yield scrapy.Request(
url=block_url,
callback=self.get_next_path,
)
　　次要接口：
　　def get_next_path(self, response):
self.logger.info("已進(jìn)入版塊！")
self.logger.info("正在獲取文章列表！")
if response.url == &#39;http://www.foodmate.net/know/&#39;:
pass
else:
try:
nums = response.css(&#39;#fd_page_bottom > div > label > span::text&#39;).extract_first().split(&#39; &#39;)[-2]
except:
nums = 1
for num in range(1, int(nums) + 1):
tbody_list = response.css(&#39;#threadlisttableid > tbody&#39;)
for tbody in tbody_list:
if &#39;normalthread&#39; in str(tbody):
item = LunTanItem()
item[&#39;article_url&#39;] = response.urljoin(
tbody.css(&#39;* > tr > th > a.s.xst&#39;).xpath(&#39;@href&#39;).extract_first())
item[&#39;type&#39;] = response.css(
&#39;#ct > div > div.bm.bml.pbn > div.bm_h.cl > h1 > a::text&#39;).extract_first()
item[&#39;title&#39;] = tbody.css(&#39;* > tr > th > a.s.xst::text&#39;).extract_first()
item[&#39;spider_type&#39;] = "論壇"
item[&#39;source&#39;] = "食品論壇"
if item[&#39;article_url&#39;] != &#39;http://bbs.foodmate.net/&#39;:
yield scrapy.Request(
url=item[&#39;article_url&#39;],
callback=self.get_data,
meta={&#39;item&#39;: item, &#39;content_info&#39;: []}
)
try:
callback_url = response.css(&#39;#fd_page_bottom > div > a.nxt&#39;).xpath(&#39;@href&#39;).extract_first()
callback_url = response.urljoin(callback_url)
yield scrapy.Request(
url=callback_url,
callback=self.get_next_path,
)
except IndexError:
pass
　　三級接口：
　　def get_data(self, response):
self.logger.info("正在爬取論壇數據！")
item = response.meta[&#39;item&#39;]
content_list = []
divs = response.xpath(&#39;//*[@id="postlist"]/div&#39;)
user_name = response.css(&#39;div > div.pi > div:nth-child(1) > a::text&#39;).extract()
publish_time = response.css(&#39;div.authi > em::text&#39;).extract()
floor = divs.css(&#39;* strong> a> em::text&#39;).extract()
s_id = divs.xpath(&#39;@id&#39;).extract()
for i in range(len(divs) - 1):
content = &#39;&#39;
try:
strong = response.css(&#39;#postmessage_&#39; + s_id[i].split(&#39;_&#39;)[-1] + &#39;&#39;).xpath(&#39;string(.)&#39;).extract()
for s in strong:
content += s.split(&#39;;&#39;)[-1].lstrip(&#39;\r\n&#39;)
datas = dict(content=content, # 內容
reply_id=0, # 回復的樓層,默認0
user_name=user_name[i], # ?戶(hù)名
publish_time=publish_time[i].split(&#39;于 &#39;)[-1], # %Y-%m-%d %H:%M:%S&#39;
id=&#39;#&#39; + floor[i], # 樓層
)
content_list.append(datas)
except IndexError:
pass
item[&#39;content_info&#39;] = response.meta[&#39;content_info&#39;]
item[&#39;scrawl_time&#39;] = datetime.now().strftime(&#39;%Y-%m-%d %H:%M:%S&#39;)
item[&#39;content_info&#39;] += content_list
data_url = response.css(&#39;#ct > div.pgbtn > a&#39;).xpath(&#39;@href&#39;).extract_first()
if data_url != None:
data_url = response.urljoin(data_url)
yield scrapy.Request(
url=data_url,
callback=self.get_data,
meta={&#39;item&#39;: item, &#39;content_info&#39;: item[&#39;content_info&#39;]}
)
else:
item[&#39;scrawl_time&#39;] = datetime.now().strftime(&#39;%Y-%m-%d %H:%M:%S&#39;)
self.logger.info("正在存儲！")
print(&#39;儲存成功&#39;)
yield item
　　3、第三步：確定獲取方式
　　因為是靜態(tài)網(wǎng)頁(yè)，所以首先決定使用scrapy框架直接獲取數據，通過(guò)初步測試，發(fā)現該方法確實(shí)可行。不過(guò)，當時(shí)年少輕狂，低估了網(wǎng)站的保護措施。由于耐心有限，沒(méi)有添加時(shí)間。爬蟲(chóng)限制了爬取速度，導致我被網(wǎng)站限制，并且網(wǎng)站從靜態(tài)加載的網(wǎng)頁(yè)改為：進(jìn)入網(wǎng)頁(yè)前動(dòng)態(tài)加載的網(wǎng)頁(yè)驗證算法，直接訪(fǎng)問(wèn)會(huì )被拒絕背景。
　　但這種問(wèn)題怎么會(huì )是我的小聰明呢？經(jīng)過(guò)短暫的思考（1天），我將方案改為scrapy框架+selenium庫的方法，通過(guò)調用chromedriver，模擬訪(fǎng)問(wèn)網(wǎng)站等網(wǎng)站加載后，爬取沒(méi)有完成。后續證明該方法確實(shí)可行且有效。
　　下載器中間件實(shí)現的部分代碼如下：
　　def process_request(self, request, spider):
chrome_options = Options()
chrome_options.add_argument(&#39;--headless&#39;) # 使用無(wú)頭谷歌瀏覽器模式
chrome_options.add_argument(&#39;--disable-gpu&#39;)
chrome_options.add_argument(&#39;--no-sandbox&#39;)
# 指定谷歌瀏覽器路徑
self.driver = webdriver.Chrome(chrome_options=chrome_options,
executable_path=&#39;E:/pycharm/workspace/爬蟲(chóng)/scrapy/chromedriver&#39;)
if request.url != &#39;http://bbs.foodmate.net/&#39;:
self.driver.get(request.url)
html = self.driver.page_source
time.sleep(1)
self.driver.quit()
return scrapy.http.HtmlResponse(url=request.url, body=html.encode(&#39;utf-8&#39;), encoding=&#39;utf-8&#39;,
request=request)
　　4、第四步：確定抓取數據的存儲格式
　　這部分不用說(shuō)了，根據自己的需要，在items.py中設置需要爬取的數據格式。只需使用此格式保存在項目中：
　　class LunTanItem(scrapy.Item):
"""
論壇字段
"""
title = Field() # str: 字符類(lèi)型 | 論壇標題
content_info = Field() # str: list類(lèi)型 | 類(lèi)型list: [LunTanContentInfoItem1, LunTanContentInfoItem2]
article_url = Field() # str: url | 文章鏈接
scrawl_time = Field() # str: 時(shí)間格式 參照如下格式 2019-08-01 10:20:00 | 數據爬取時(shí)間
source = Field() # str: 字符類(lèi)型 | 論壇名稱(chēng) eg: 未名BBS, 水木社區, 天涯論壇
type = Field() # str: 字符類(lèi)型 | 板塊類(lèi)型 eg: &#39;財經(jīng)&#39;, &#39;體育&#39;, &#39;社會(huì )&#39;
spider_type = Field() # str: forum | 只能寫(xiě) &#39;forum&#39;
　　5、第五步：確認保存數據庫
　　本項目選用的數據庫是 mongodb。因為是非關(guān)系型數據庫，優(yōu)勢很明顯。格式要求不高，可以靈活存儲多維數據。一般是爬蟲(chóng)首選的數據庫（別跟我說(shuō)redis，知道的我就用，主要是不會(huì )）
　　piplines.py 代碼的一部分：
　　class FMPipeline():
def __init__(self):
super(FMPipeline, self).__init__()
# client = pymongo.MongoClient(&#39;139.217.92.75&#39;)
client = pymongo.MongoClient(&#39;localhost&#39;)
db = client.scrapy_FM
self.collection = db.FM
def process_item(self, item, spider):
query = {
&#39;article_url&#39;: item[&#39;article_url&#39;]
}
self.collection.update_one(query, {"$set": dict(item)}, upsert=True)
return item
　　這時(shí)候，有聰明的朋友會(huì )問(wèn)：同一個(gè)數據爬兩次怎么辦？（換句話(huà)說(shuō)，重復檢查功能）
　　我之前沒(méi)想過(guò)這個(gè)問(wèn)題。后來(lái)在問(wèn)大佬的過(guò)程中才知道。這是在我們保存數據時(shí)完成的。這句話(huà)是：
　　query = {
&#39;article_url&#39;: item[&#39;article_url&#39;]
}
self.collection.update_one(query, {"$set": dict(item)}, upsert=True)
　　使用帖子的鏈接來(lái)判斷是否存在重復數據爬取。如果重復，可以理解為覆蓋，這樣數據也可以更新。
　　6、其他設置
　　多線(xiàn)程、頭、管道傳輸順序等問(wèn)題，都在settings.py文件中設置。詳情請參考編輯器的項目查看。我不會(huì )在這里重復它們。
　　六、效果展示
　　1、 點(diǎn)擊運行，控制臺會(huì )顯示結果，如下圖所示。
　　
　　
　　2、 中間會(huì )有很多帖子在隊列爬取任務(wù)，然后多線(xiàn)程處理，我設置了16個(gè)線(xiàn)程，速度還是很可觀(guān)的。
　　
　　3、數據庫顯示：
　　
　　content_info 存儲了每個(gè)帖子的所有評論以及相關(guān)用戶(hù)的公開(kāi)信息。
　　歡迎大家點(diǎn)贊、留言、轉發(fā)、轉載，感謝您的陪伴與支持 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(
技術(shù)經(jīng)理桑文鋒：用戶(hù)行為數據的演變)
　　
　　桑文峰，原技術(shù)經(jīng)理。2007年加入百度，從零開(kāi)始搭建百度用戶(hù)行為大數據處理平臺。2015年4月離職創(chuàng )立神測數據，為互聯(lián)網(wǎng)企業(yè)提供大數據分析服務(wù)。目前擁有近200家客戶(hù)，包括聚美優(yōu)品、Domob、妙拍、融360等。
　　近日，桑文峰在小餐桌人工智能創(chuàng )業(yè)課上做了主題演講，主要有以下幾點(diǎn)：
　　1、百度數據從網(wǎng)頁(yè)數據到用戶(hù)行為數據的演變；
　　2、搜索引擎發(fā)展的3個(gè)階段；
　　3、 多次嘗試增加“百度知道”回答數量；
　　4、 數據平臺的兩個(gè)關(guān)鍵問(wèn)題：元數據和數據源。
　　小餐桌已經(jīng)在不影響初衷的情況下進(jìn)行了整理。以下為分享記錄：
　　2007年在“百度知道”做產(chǎn)品研發(fā)。在那之后的 7 年多時(shí)間里，我的工作圍繞著(zhù)用戶(hù)行為數據展開(kāi)。
　　去年4月，我從百度辭職后，創(chuàng )立了“神測數據”，為互聯(lián)網(wǎng)公司解決用戶(hù)行為分析問(wèn)題。下面我的演講內容與用戶(hù)分析有關(guān)。
　　百度內部資料版塊
　　百度內部有兩條數據比較重要：網(wǎng)頁(yè)數據和用戶(hù)行為數據。就網(wǎng)頁(yè)數據而言，2000年百度做搜索業(yè)務(wù)時(shí)，全國中文網(wǎng)頁(yè)的數量并沒(méi)有超過(guò)2億，而從網(wǎng)頁(yè)中抓取的整體數據只有幾十GB。早期，Google 抓取了超過(guò) 2500 萬(wàn)個(gè)網(wǎng)頁(yè)的內容。1997 年和 1998 年，僅從網(wǎng)頁(yè)中抓取了 47GB 的數據。
　　谷歌和百度都在不斷迭代。大約3年前，百度開(kāi)始進(jìn)入比較穩定的狀態(tài)，常用網(wǎng)頁(yè)庫有數百PB的數據，網(wǎng)頁(yè)庫數量趨于穩定。
　　在用戶(hù)行為數據方面，百度經(jīng)歷了幾個(gè)階段。2008年，百度知道、百度百科等新產(chǎn)品每天產(chǎn)生數十TB的新數據。去年離開(kāi)百度的時(shí)候，我能拿到的采集用戶(hù)行為數據每天都達到PB級?，F在，百度每天產(chǎn)生的數據比去年高出50%以上，也就是幾乎幾個(gè)月就可以產(chǎn)生數百PB的數據，和之前整個(gè)網(wǎng)絡(luò )圖書(shū)館的數據一樣大。
　　只要我們創(chuàng )建一個(gè)內容，它就會(huì )被多次查看和多次訪(fǎng)問(wèn)。因此，用戶(hù)行為數據比網(wǎng)頁(yè)本身高一個(gè)數量級。
　　搜索引擎發(fā)展的三個(gè)階段
　　一開(kāi)始，搜索是上下文相關(guān)的。那個(gè)時(shí)候，網(wǎng)頁(yè)和網(wǎng)上資料并不多，只要你搜索的關(guān)鍵詞能與實(shí)際網(wǎng)頁(yè)內容相符即可。
　　但是隨著(zhù)內容的增加，誰(shuí)排第一，誰(shuí)排在后面就成了問(wèn)題。最初，所有搜索引擎都根據關(guān)鍵詞匹配相關(guān)內容，但開(kāi)始出現作弊現象。如果塞進(jìn)垃圾郵件，用戶(hù)將無(wú)法搜索有用的東西。
　　但當時(shí)有一些人非常聰明。一位是谷歌的拉里佩奇，一位是百度的李彥宏，一位是學(xué)術(shù)界的。
　　他們三人都意識到鏈接本身非常重要。網(wǎng)頁(yè)被鏈接的次數決定了網(wǎng)頁(yè)本身的權重。這就是谷歌和百度開(kāi)始的。很多人認為百度抄襲了谷歌，但我研究了李彥宏和拉里佩奇的專(zhuān)利。Robin Li 的專(zhuān)利是在 1997 年提出的，Larry Page 的專(zhuān)利。1998年就提到過(guò)，李彥宏更早。
　　這就進(jìn)入了搜索引擎的第二階段，根據鏈接關(guān)系來(lái)決定誰(shuí)排在第一位。
　　2005年左右，搜索引擎進(jìn)入了基于用戶(hù)行為的第三次浪潮。雖然從網(wǎng)頁(yè)權重的角度來(lái)看，有些東西是排在第一位的，但是出現了一個(gè)新問(wèn)題——舊網(wǎng)頁(yè)肯定會(huì )比新網(wǎng)頁(yè)權重高，但新網(wǎng)頁(yè)可能更能滿(mǎn)足用戶(hù)的需求。群眾的眼睛是挑剔的。用戶(hù)搜索時(shí)，看到更好的結果就會(huì )點(diǎn)擊。
　　然后，根據“用戶(hù)點(diǎn)擊”的數據，您可以決定排名第一。到目前為止，用戶(hù)行為已經(jīng)占據了非常大的比例。有業(yè)內專(zhuān)家表示，用戶(hù)行為的權重已經(jīng)超過(guò)50%。
　　7年以上百度經(jīng)驗
　　接下來(lái)重點(diǎn)分享一下我在百度做用戶(hù)行為數據7年多的經(jīng)驗。
　　在百度了解了一年的研發(fā)之后，我對接下來(lái)要做什么感到困惑?！栋俣戎馈酚?005年上線(xiàn)，從2008年到現在已經(jīng)三年了，產(chǎn)品形態(tài)是一問(wèn)一答。產(chǎn)品本身非常成熟，數據非常穩定。每天有超過(guò)90,000個(gè)問(wèn)題和250,000個(gè)答案。
　　我認為要改造這個(gè)產(chǎn)品，我們需要研究用戶(hù)，針對不同的用戶(hù)采取不同的策略，甚至給他們展示不同的風(fēng)格和界面，以提高百度知道的產(chǎn)品的粘性和價(jià)值。
　　2008年，為了增加百度知道的答案量，我們做了兩個(gè)功能。
　　第一個(gè)特征是基于核心用戶(hù)。我們選擇了 350,000 名在過(guò)去一個(gè)月內回答了超過(guò) 6 個(gè)問(wèn)題的核心用戶(hù)。經(jīng)過(guò)3個(gè)多月的時(shí)間，我們根據他們過(guò)去回答的問(wèn)題提取了17萬(wàn)多個(gè)感興趣的單詞。新版本上線(xiàn)后，我們發(fā)現回答的用戶(hù)數。沒(méi)有發(fā)生任何變化。
　　我們分析了當時(shí)的原因，發(fā)現在進(jìn)行個(gè)性化推薦后，用戶(hù)從之前的分類(lèi)頁(yè)面簡(jiǎn)單地從回答問(wèn)題變成了個(gè)人中心，但平均回答6個(gè)問(wèn)題的數量沒(méi)有變化。
　　后來(lái)想了想改進(jìn)產(chǎn)品只有兩個(gè)辦法：要么吸引更多的用戶(hù)，要么從一個(gè)用戶(hù)身上榨出更多的東西?，F在單個(gè)用戶(hù)幾乎被擠出來(lái)了，我們會(huì )招募新用戶(hù)，擴大用戶(hù)規模，從做核心用戶(hù)推薦到推薦給所有用戶(hù)。只要用戶(hù)訪(fǎng)問(wèn)百度知道，我們就會(huì )在整個(gè)百度范圍內采集他的數據。
　　當時(shí)百度內部有個(gè)項目叫“優(yōu)采云”，源于2008年百度做個(gè)性化廣告的想法，即用戶(hù)搜索時(shí)出現的廣告不僅僅基于關(guān)鍵詞，也是基于用戶(hù)的行為體驗，雖然當時(shí)做這個(gè)有點(diǎn)早，但確實(shí)幫我們打下了基礎。當時(shí)我們已經(jīng)采集了貼吧、知乎或網(wǎng)頁(yè)上的各種用戶(hù)行為數據，并在這個(gè)數據集上進(jìn)行訓練。
　　當用戶(hù)在瀏覽器中訪(fǎng)問(wèn)時(shí)，就會(huì )植入 cookie?；诖?，我們記錄了用戶(hù)的所有瀏覽信息。
　　基于這些信息，我們?yōu)槊總€(gè)用戶(hù)提取了 5 個(gè)最重要的感興趣的詞。當用戶(hù)訪(fǎng)問(wèn)百度知道詳情頁(yè)面時(shí)，我們會(huì )根據他們感興趣的詞進(jìn)行實(shí)時(shí)搜索，并在頁(yè)面右側放置七八個(gè)未解決的問(wèn)題。.
　　這樣做的效果非常好。新版本上線(xiàn)后，百度知道的答案增加了7.5%，我也因此獲得了2008年的“百度最佳人物”獎。
　　此后，我對百度知道做了一些改進(jìn)，包括讓推薦問(wèn)題更加多樣化。比如用戶(hù)半年前的興趣通過(guò)權重不斷迭代衰減，對最近的回答進(jìn)行權重。調整。但我發(fā)現這并不容易改進(jìn)。然后我開(kāi)始做用戶(hù)行為分析。
　　統一數據要求
　　百度文化有一個(gè)特點(diǎn)，就是用數據說(shuō)話(huà)，無(wú)論是做產(chǎn)品調研還是效果評估，都要用統計數據。任何產(chǎn)品訪(fǎng)問(wèn)都會(huì )在服務(wù)器端留下日志，可以根據日志進(jìn)行統計分析。
　　但是百度的產(chǎn)品很多，需要對各種數據進(jìn)行統計分析。如何讓數據統計更好？
　　我當時(shí)遇到了幾個(gè)問(wèn)題。一是需求周期長(cháng)。從提出統計需求到處理需求，我們需要排隊，因為只有兩三個(gè)工程師在處理這件事。結果將需要幾天時(shí)間才能發(fā)送給您。
　　此外，運維成本高。每次需求統計都是這樣處理的，團隊很快就維護了差不多六七百個(gè)統計程序，經(jīng)常出現問(wèn)題。比如貼吧爆炸了，程序就會(huì )異常。
　　還有一點(diǎn)就是運行速度慢。當時(shí)，它是一臺獨立的機器。300G文件運行沒(méi)有問(wèn)題，但800G文件跑不出來(lái)。
　　第四個(gè)問(wèn)題是員工的成長(cháng)空間有限。要求員工編寫(xiě)統計腳本。他們寫(xiě)了3個(gè)月。他們不想在 6 個(gè)月后這樣做。他們在1年后立即逃跑。這也造成了團隊管理上的問(wèn)題。
　　當時(shí)在百度內部，有些任務(wù)是基于Hadoop運行的，但不知道能解決到什么程度。我們設置的架構是先提供一個(gè)接口，期望各業(yè)務(wù)線(xiàn)的產(chǎn)品經(jīng)理和工程師自己做統計，而不是每次都把任務(wù)交給我們的團隊。將界面設計得更白，應用性能更高。其實(shí)只是大家通過(guò)接口分配任務(wù)，使用調度器和代碼生成器調度生成Hadoop的任務(wù)。
　　將近一年半的時(shí)間，整個(gè)公司都統一在了這個(gè)平臺上。這也是我在百度八年做的最充實(shí)的事情。
　　后來(lái)我們和其他團隊合作，花了兩個(gè)半月的時(shí)間做了一個(gè)框架，并在2011年申請了專(zhuān)利，提高了開(kāi)發(fā)效率。以前做一個(gè)統計需要幾天時(shí)間，但現在只需要幾分鐘或更短的時(shí)間。時(shí)間可以做到。很快，所有人的注意力都集中在了統計平臺上，新的問(wèn)題出現了——資源太膨脹了。當時(shí)我們團隊只有五六個(gè)人。我認為如果這種情況繼續下去，數據規模將太大而無(wú)法控制。
　　當時(shí)我的想法是受云計算的影響，一直想打造一個(gè)更好的計算引擎，但后來(lái)覺(jué)得這個(gè)想法是錯誤的，還是應該專(zhuān)注于數據。2011年上半年，我和另一位項目經(jīng)理商量，將兩個(gè)團隊合并，組成一個(gè)數據團隊。后來(lái)，我們的高級主管從谷歌招聘了一個(gè)人才。這個(gè)人在雅虎工作了7年，然后在谷歌工作了5年。他一直在做數據倉庫工作。他帶領(lǐng)我們按照構建整個(gè)用戶(hù)行為的思路構建數據。庫。
　　百度擁有 70 或 80 條核心業(yè)務(wù)線(xiàn)。我們將這些業(yè)務(wù)線(xiàn)產(chǎn)生的數據進(jìn)行結構化，并使用谷歌的Protocol Buffer將格式轉換成一張表。在此基礎上，我們再構建上層主題數據?？傊?，讓百度的各種用戶(hù)行為數據都統一到一張表中。在過(guò)去一年多的時(shí)間里，我和很多大的IT公司溝通過(guò)，他們在這方面做了非?；A的數據，沒(méi)有把基礎數據打通，在底層做的很好。
　　從2008年到2012年，我開(kāi)始做數據，在過(guò)去的三四年里，我慢慢思考。歸根結底，數據是一個(gè)“流”。我們將數據從源頭轉移到平臺。在此基礎上，進(jìn)行數據存儲、存儲構建和管理。然后進(jìn)行產(chǎn)品分析和各種應用。
　　經(jīng)驗
　　數據平臺有兩個(gè)關(guān)鍵環(huán)節，一是元數據，二是數據源。如果一家公司可以同時(shí)管理元數據和數據源，整個(gè)平臺也不會(huì )差。
　　在我們常用的業(yè)務(wù)數據庫中，實(shí)際存儲的數據和元信息是一起管理的，所以你感覺(jué)不到元數據本身的重要性，但是在大數據處理的情況下，需要將元數據分開(kāi)數據。
　　要想做好一個(gè)數據平臺，數據源很重要。以百度為例。網(wǎng)絡(luò )搜索是其核心業(yè)務(wù)線(xiàn)。其他業(yè)務(wù)線(xiàn)為附屬業(yè)務(wù)線(xiàn)。這些業(yè)務(wù)線(xiàn)都將使用網(wǎng)絡(luò )搜索。如果我想改變搜索，依賴(lài)它的下游業(yè)務(wù)程序可能都掛了，所以升級格式之前必須提前告訴他們，否則可能會(huì )出現問(wèn)題。但是如果我們把源碼本身結構化，下游就不需要跟著(zhù)源碼走，數據分析的效率會(huì )更高。
　　總結一下，我在百度做用戶(hù)行為數據的經(jīng)驗：
　　首先，數據源很重要。這也是我們創(chuàng )業(yè)思維的核心點(diǎn)。在數據采集中，應該使用“big”、“full”、“fine”和“time”?！按蟆笔侵负暧^(guān)尺寸而不是物理尺寸。例如，蘋(píng)果在全國各個(gè)地級市的每日價(jià)格數據只有2MB，但基于它的蘋(píng)果智能調度系統是一個(gè)大數據應用?！叭睆娬{多數據源；“細”強調數據維度；“時(shí)間”強調及時(shí)性。
　　第二點(diǎn)是用戶(hù)行為事件模型非常有效。在對用戶(hù)行為進(jìn)行標準化和結構化之后，許多數據分析變得更加容易。事件模型是指事件模型，前者稱(chēng)為流量模型。
　　我把2000年后的互聯(lián)網(wǎng)分為3個(gè)階段：
　　2000年到2006年是流量時(shí)代，誰(shuí)流量大誰(shuí)就欺負誰(shuí)；
　　從2006年到2011年，我們進(jìn)入了第二階段。我們稱(chēng)之為用戶(hù)時(shí)代。誰(shuí)擁有更多的用戶(hù)將是最好的。比如開(kāi)心網(wǎng)、人人網(wǎng)、Facebook，不再考慮整體流量，而是關(guān)心活躍用戶(hù)數和注冊用戶(hù)數；
　　2011年至今屬于訂單時(shí)代。無(wú)論是全民團購，還是O2O、在線(xiàn)教育、互聯(lián)網(wǎng)金融，無(wú)非是將線(xiàn)下交易轉移到線(xiàn)上，這本身就與訂單有關(guān)。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(北京信息職業(yè)技術(shù)學(xué)院|鄭淑暉伊新寬度優(yōu)先遍歷策略)
　　廣度優(yōu)先遍歷策略北京信息職業(yè)技術(shù)學(xué)院|鄭樹(shù)輝以新廣度優(yōu)先遍歷策略廣度優(yōu)先遍歷策略的基本思想是將新下載的網(wǎng)頁(yè)中找到的鏈接直接插入到URL的末尾要抓取的隊列。即網(wǎng)絡(luò )爬蟲(chóng)會(huì )先抓取起始網(wǎng)頁(yè)中所有鏈接的網(wǎng)頁(yè)，然后選擇其中一個(gè)鏈接的網(wǎng)頁(yè)，繼續抓取該網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。2 來(lái)源（百度百科）寬度優(yōu)先遍歷策略如圖：Depth-first 采集 規則：如左圖，采集順序為ABCDE-FGHI34 廣度優(yōu)先遍歷策略. 頁(yè)面中的所有超鏈接，然后繼續搜索下一級，直到最底層。例如，一個(gè)HTML文件中有三個(gè)超鏈接，選擇其中一個(gè)處理對應的HTML文件，然后第二個(gè)HTML文件中不再選擇任何超鏈接，而是返回選擇第二個(gè)超鏈接，處理對應的HTML文件，走再次返回，選擇第三個(gè)超鏈接并處理相應的 HTML 文件。一旦第一層的所有超鏈接都被選中，您就可以開(kāi)始在剛剛處理的 HIML 文件中搜索剩余的超鏈接。這確保了先處理淺層。當遇到無(wú)盡的深分支時(shí)，不會(huì )導致策略。廣度優(yōu)先搜索策略還有一個(gè)優(yōu)勢，那就是它可以找到兩個(gè) HTML 文件之間的最短路徑。廣度優(yōu)先搜索策略通常是實(shí)現爬蟲(chóng)的最佳策略，因為它易于實(shí)現并且具有大部分預期功能。但是如果你想遍歷一個(gè)指定的站點(diǎn)或一組深度嵌套的 HTML 文件，使用寬度優(yōu)先搜索策略將需要相對較長(cháng)的時(shí)間才能到達深層 HTML 文件。6 廣度優(yōu)先遍歷策略考慮了以上幾種策略以及國內信息導航系統搜索信息的特點(diǎn)。國內一般采用廣度優(yōu)先搜索策略為主，線(xiàn)性搜索策略為補充搜索策略。對于一些沒(méi)有被引用或很少被引用的HTML文件，寬度優(yōu)先搜索策略可能會(huì )遺漏這些孤立的信息源，可以使用線(xiàn)性搜索策略作為其補充。71.網(wǎng)絡(luò )數據采集王偉《電子制作》， 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(360網(wǎng)站衛士,內置有requests庫，你只需要弄清楚ajax的含義)
　　網(wǎng)頁(yè)抓取數據百度百科-頁(yè)面抓取360網(wǎng)站衛士,內置有requests庫，你只需要弄清楚ajax的含義就可以了，就是在不刷新頁(yè)面的情況下，獲取頁(yè)面的變化量(可能是一個(gè)值，可能是一個(gè)json數據)數據抓取抓取指通過(guò)使用http方法，從目標網(wǎng)站提取頁(yè)面上存儲在特定緩存里的內容，而不是傳統意義上通過(guò)get、post等方法獲取。
　　按w3c上的定義來(lái)看，python的web服務(wù)器并不是一個(gè)單獨的系統，而是一個(gè)工具。像curl是python支持的，numpy是python用來(lái)數組處理的，sys是用來(lái)調試c++代碼用的?？蓞⒖歼@個(gè)，把每一個(gè)函數都先看看。
　　個(gè)人覺(jué)得你要從需求出發(fā)，如果做網(wǎng)站，就用框架解決，如果是做爬蟲(chóng)，就用爬蟲(chóng)框架。
　　我覺(jué)得你應該基于需求來(lái)選擇使用什么框架。如果沒(méi)有cookie、session等東西，可以用requests庫代替。requests確實(shí)能解決我們抓取網(wǎng)頁(yè)的很多需求。
　　自己下載視頻自己學(xué)習一下吧，
　　爬蟲(chóng)是做網(wǎng)絡(luò )抓取
　　你可以看一下python自帶的http庫，里面包含了session、requests等，方便你抓取網(wǎng)頁(yè)，至于別的怎么做，
　　其實(shí)，除了樓上所說(shuō)的以外，還有一個(gè)httplib庫是專(zhuān)門(mén)用來(lái)設計網(wǎng)頁(yè)上的接口，爬蟲(chóng)工具可以借助這個(gè)來(lái)編寫(xiě)，baidu下載一下就有了。 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(加快百度快照更新頻率有兩個(gè)重要的因素有哪些？)
　　2020-05-14
　　一、什么是百度快照？
　　百度的每個(gè)網(wǎng)頁(yè)收錄都在百度服務(wù)器上存儲了一個(gè)純文本備份，稱(chēng)為“百度快照”。百度快照作為網(wǎng)站遇到故障或某些原因，無(wú)法顯示，可以點(diǎn)擊百度快照瀏覽。簡(jiǎn)單的說(shuō)，百度快照只是網(wǎng)頁(yè)的純文本備份。
　　二、什么情況下會(huì )更新百度快照？
　　百度快照更新的原因是：網(wǎng)頁(yè)中增加了重要且有價(jià)值的內容。百度蜘蛛爬取后會(huì )對網(wǎng)頁(yè)地址進(jìn)行索引，百度快照的時(shí)間就是索引建立的時(shí)間。
　　三、如何加快百度快照的更新頻率？
　　每一個(gè)網(wǎng)站，也就是百度的收錄，baiduspider會(huì )根據網(wǎng)站內容的更新頻率來(lái)到采集，如果從上一段采集到這個(gè)時(shí)候采集，當有有價(jià)值的內容產(chǎn)生時(shí)，就會(huì )在百度服務(wù)器上建立索引，建立索引的時(shí)間就是更新百度快照的時(shí)間。
　　四、 加快百度快照更新頻率的因素有哪些？
　　加快快照更新頻率的重要因素有兩個(gè)：一是網(wǎng)站定期更新，持續定期更新，可以方便百度蜘蛛baiduspider更高效的抓取網(wǎng)站信息；第二個(gè)是網(wǎng)站更新的內容一定是有價(jià)值的。對于一個(gè)網(wǎng)頁(yè)的價(jià)值，可以認為是網(wǎng)頁(yè)更新內容的及時(shí)性，有重要的更新內容等。
　　五、百度快照和網(wǎng)站權重有什么關(guān)系？
　　作為很多互聯(lián)網(wǎng)新人接觸到的第一類(lèi)網(wǎng)站，在網(wǎng)站優(yōu)化過(guò)程中，交換友情鏈接是為數不多的互聯(lián)網(wǎng)新人優(yōu)化方式之一。但是在交友的過(guò)程中，發(fā)現評價(jià)一個(gè)網(wǎng)站是好是壞。百度快照被認為是一個(gè)非常重要的指標?？煺赵叫?，權重越高。其實(shí)，這是一種誤解。@網(wǎng)站 的權重沒(méi)有直接關(guān)系。
　　六、百度快照落后的原因是什么？
　　分析：一般來(lái)說(shuō)，對于一個(gè)重要的網(wǎng)頁(yè)，百度服務(wù)器會(huì )同時(shí)保存多個(gè)網(wǎng)頁(yè)快照，這些快照的抓取時(shí)間是不同的。在某些特殊情況下，例如百度的算法更新，網(wǎng)頁(yè)快照可能會(huì )回退。當然，這不一定與網(wǎng)站被處罰有關(guān)。判斷網(wǎng)站是否受到處罰，還需要更詳細的數據來(lái)判斷。TAG標簽耗時(shí)：0.868164秒 查看全部

　　網(wǎng)頁(yè)抓取數據百度百科(爬取百度百科的歷史記錄，結果在時(shí)隔四個(gè)月之后再次遇到的對手)
　　動(dòng)態(tài)頁(yè)面抓取
　　好久沒(méi)寫(xiě)爬蟲(chóng)了。今天敲了一個(gè)爬蟲(chóng)——爬取百度百科的歷史記錄。結果，我四個(gè)月后再次遇到的對手其實(shí)是動(dòng)態(tài)頁(yè)面（一開(kāi)始我覺(jué)得百度太簡(jiǎn)單了），但是經(jīng)過(guò)一番努力，還是達到了目標，然后寫(xiě)了一篇博客之類(lèi)的審查。
　　一、概念
　　動(dòng)態(tài)頁(yè)面實(shí)際上是相對于靜態(tài)頁(yè)面的。面對靜態(tài)頁(yè)面時(shí)，直接查看響應一般是網(wǎng)頁(yè)的全部代碼，但動(dòng)態(tài)頁(yè)面則不然。通常，動(dòng)態(tài)頁(yè)面的響應與您重新打開(kāi)時(shí)在網(wǎng)頁(yè)上看到的不同。
　　二、 練習和練習前
　　因為太喜歡練了，就不講了，練了。實(shí)踐會(huì )導致真正的知識，更多的實(shí)踐會(huì )幫助你理解它。
　　登陸頁(yè)面：萬(wàn)科百度百科歷史版
　　實(shí)現環(huán)境：win32
　　版本：python 3.6.2
　　練習目標：獲取萬(wàn)科百度百科歷史版本的歷史修改時(shí)間，并制作成圖表或csv文件
　　三、流程說(shuō)明
　　和所有爬蟲(chóng)一樣，我們的第一步會(huì )是分析網(wǎng)頁(yè)，因為我們的目標是選擇一個(gè)動(dòng)態(tài)網(wǎng)頁(yè)，所以我們也需要跟蹤json文件。
　　過(guò)程：
　　1、網(wǎng)絡(luò )分析
　　2、查詢(xún)跟蹤json等文件或xhr
　　3、 進(jìn)行文本匹配
　　4、畫(huà)圖或制作csv
　　四、刀具準備
　　我們需要的庫是（所有最新版本）：
　　1.請求
　　2.重新
　?。ㄏ旅娴膸鞂τ谂老x(chóng)來(lái)說(shuō)不是必須的，但是這次是我需要的）
　　3.matplotlib（用于可視化）
　　4.datetime（按時(shí)操作）
　　5.Pandas（python強大的數據處理庫）
　　6.os（操作系統）
　?。ㄎ腋矚g原來(lái)的re庫，當然這里用正則表達式可以解決所有問(wèn)題）
　　你需要知道的：
　　1.Python 語(yǔ)法基礎
　　2.正則表達式匹配規則
　?。ㄒ韵聦τ谂老x(chóng)來(lái)說(shuō)不是必須的）
　　3.datetime的一些基本功能
　　4. Matplotlib 可視化操作（雖然這對于爬蟲(chóng)來(lái)說(shuō)不是必須的，但是很多情況下數據可視化會(huì )讓數據更直觀(guān)，更容易讓人做出判斷）
　　5.pandas庫的基本使用（爬蟲(chóng)不需要此項，但數據分析需要）
　　五、網(wǎng)絡(luò )分析
　　首先我們打開(kāi)我們的目標頁(yè)面→萬(wàn)科百度百科歷史版。
　　
　　看起來(lái)一切正常，然后我們查看url，也有前面提到的規則，但是真的一切正常嗎？
　　
　　
　　如果你把這個(gè)網(wǎng)頁(yè)當成一個(gè)靜態(tài)頁(yè)面，那就完蛋了，因為我一開(kāi)始就是這么做的。當你查詢(xún)第一頁(yè)的代碼時(shí)，你會(huì )發(fā)現一切正常，但是當你查詢(xún)第二頁(yè)的代碼時(shí)，你會(huì )發(fā)現你看到的第二頁(yè)的代碼甚至是一樣的直到最后一頁(yè)。你認為它違反常識嗎？
　　六、跟蹤
　　事實(shí)上，這很正常。很多頁(yè)面會(huì )動(dòng)態(tài)化，使用json或者其他文件傳輸數據（不準確，也可能是使用java、JavaScript等代碼調用端口等）。這更安全。
　　這時(shí)候很多人會(huì )選擇使用fiddle等第三方軟件來(lái)抓包。
　　經(jīng)過(guò)一番搜索，我們鎖定了我們需要的幾個(gè)文件和 xhr 文件。
　　
　　很多網(wǎng)頁(yè)的數據都會(huì )隱藏在json中，會(huì )不會(huì )也是這個(gè)？當然，檢查后失敗了，然后我們在xhr中看到，發(fā)現這個(gè)非常熟悉的領(lǐng)域（當然我可能更熟悉）
　　
　　顯而易見(jiàn)的答案在這里，簡(jiǎn)單解釋一下
　　get historylist，獲取歷史數據
　　我猜tk是萬(wàn)科的quantio句子（不知道這個(gè)詞是不是拼錯了，不過(guò)我用的比較少，搞前后端的朋友可能都知道）
　　lemmald，這不是百度的萬(wàn)科數量嗎？
　　from是第七頁(yè)一目了然
　　大小顯示 25 條消息
　　這個(gè)發(fā)現很棒，解決了很多問(wèn)題。
　　七、偽裝
　　作為一個(gè)爬蟲(chóng)，了解反爬蟲(chóng)的套路是非常有必要的。如果你對xhr進(jìn)行正常的爬取，你會(huì )發(fā)現返回的是{error:xxxxx}。這個(gè)時(shí)候，你應該保持警惕。這證明你的機器人的身份是被百度查到的，它拒絕給你數據，所以我們需要做一些簡(jiǎn)單的偽裝。我之前講過(guò)更改標題，但這次我會(huì )講得更多。
　　1.headers 偽裝，服務(wù)器用它來(lái)確定你使用的瀏覽器。當出現這種情況時(shí)，服務(wù)器會(huì )將其視為來(lái)自瀏覽器的正常請求。
　　2.Referer：瀏覽器使用它來(lái)確定您從哪個(gè)網(wǎng)頁(yè)重定向。
　　3.ip偽裝，這個(gè)只要建好ip池就沒(méi)有問(wèn)題，建議去西水代理查一些需求
　　4.Cookie 偽裝。服務(wù)器使用 Cookie 來(lái)識別您的當前狀態(tài)。例如，您已經(jīng)登錄等，每次向服務(wù)器請求cookie時(shí)，都會(huì )相應更新。
　　最常用的就是上面這些。上面越來(lái)越難從上到下調整。面對百度，光是改header顯然是不行的，所以加了Referer和cookie代碼（關(guān)鍵是兩個(gè)月前創(chuàng )建的IP池已經(jīng)取消了，懶得調整了）。
　　好了，這樣做之后，我們發(fā)現可以正常獲取數據了。
　　八、文本匹配
　　不得不說(shuō)，解決了以上問(wèn)題之后，文本匹配就成了最簡(jiǎn)單的事情了。
　　
　　其實(shí)這是一種類(lèi)似字典的格式，但是懶得去想的作者決定使用簡(jiǎn)單粗暴的正則表達式。
　　九、 轉換時(shí)間戳
　　這時(shí)候，我們就會(huì )發(fā)現，給creattime的時(shí)間到底是什么鬼？
　　但是仔細想想，你會(huì )發(fā)現這是一個(gè)時(shí)間戳
　　Python時(shí)間戳：從1970年1月1日凌晨12:00到現在的秒數
　　不是崩潰嗎？
　　但幸運的是，只需要幾段簡(jiǎn)短的代碼就可以解決這個(gè)問(wèn)題。
　　
　　輸入時(shí)間戳，OK，問(wèn)題解決。
　　十、畫(huà)圖，制作csv
　　圖片
　　
　　文件
　　
　　十一、總結及代碼
　　感覺(jué)這個(gè)爬蟲(chóng)還可以。兩個(gè)多月后，想起來(lái)對我來(lái)說(shuō)并不容易。寫(xiě)這個(gè)博客純粹是一個(gè)評論。至于怎么做圖和怎么做csv的原因，我可以說(shuō)博主是不是突然不想寫(xiě)了？
　　這是代碼：
　?。ㄗⅲ翰┲鲬械脤?xiě)評論了，有不明白的可以評論問(wèn)，謝謝） 查看全部