網(wǎng)頁(yè)抓取數據百度百科(網(wǎng)頁(yè)抓取數據百度百科上的說(shuō)法:平均中有7至9條數據)

　　網(wǎng)頁(yè)抓取數據百度百科上的說(shuō)法:平均每條中有7至9條數據。根據我自己的判斷，大部分內容是靠關(guān)鍵詞定位，對用戶(hù)訪(fǎng)問(wèn)的網(wǎng)站應該是精準推薦，而不是是自動(dòng)生成的。畢竟google已經(jīng)足夠精準。但比如你輸入pid一條數據就出來(lái)了，可知大部分內容是百度抓取的另外，網(wǎng)頁(yè)抓取數據這個(gè)東西，也并不是很好，比如上面很多高票答案提到的，網(wǎng)頁(yè)上的結構性?xún)热莶缓米?，比如有些抓取軟件對nodejs有一些不友好的操作，比如不支持搜索字體大小等等，另外比如很多搜索軟件開(kāi)始抓取網(wǎng)頁(yè)后有一些加載速度的要求，比如默認很慢或者不穩定。

　　另外，你們知道百度網(wǎng)頁(yè)上經(jīng)常請求數千個(gè)網(wǎng)站嗎？對于網(wǎng)站的索引也是非常的慢，而且比如你們知道的，中小型企業(yè)網(wǎng)站的seo負責人一般很少，一般就1~2個(gè)人的情況下，架設網(wǎng)站程序不允許太慢，不然被同行黑了他們沒(méi)有辦法和你們打官司，而基本上你們去搜索的話(huà)都會(huì )是關(guān)鍵詞定位，如果你們抓取網(wǎng)頁(yè)，他們是默認搜索你們的。所以我覺(jué)得這個(gè)應該是不精準的。

　　網(wǎng)頁(yè)加載時(shí)間是和網(wǎng)站內容相關(guān)，和抓取數據相關(guān)。一般情況下，網(wǎng)站中沒(méi)有結構化的內容是抓取不出來(lái)的，除非你的網(wǎng)站可以對所有網(wǎng)站都是結構化的內容。而涉及到結構化的內容，一般意味著(zhù)結構化的語(yǔ)義分析和語(yǔ)義重建，這個(gè)過(guò)程都需要大量的運行時(shí)間。不過(guò)貌似豆瓣這種純文本的網(wǎng)站做不到（不關(guān)心實(shí)際內容結構和展示內容的轉換）。而至于是否精準，這個(gè)真不好說(shuō)，因為上面有一些網(wǎng)站抓取速度比較慢，至于原因不得而知。