seo優(yōu)化搜索引擎工作原理(百度以及其它搜索引擎的基本工作原理包括如下四個(gè)的過(guò)程)

　　隨著(zhù)科技的進(jìn)步和互聯(lián)網(wǎng)行業(yè)的發(fā)展，各種搜索引擎都發(fā)生了翻天覆地的變化。百度等搜索引擎的基本工作原理包括以下四個(gè)過(guò)程：首先，在互聯(lián)網(wǎng)上發(fā)現和采集網(wǎng)頁(yè)信息；同時(shí)，將爬取的信息存儲在臨時(shí)數據庫中進(jìn)行處理；提取和組織索引數據庫；根據用戶(hù)輸入的查詢(xún)關(guān)鍵字，在索引數據庫中快速檢測文檔，評估文檔與查詢(xún)的相關(guān)性，對要輸出的結果進(jìn)行排序，將查詢(xún)結果返回給用戶(hù)。

　　搜索引擎如何工作

　　1、 爬網(wǎng)。每個(gè)獨立的搜索引擎都有自己的網(wǎng)絡(luò )爬蟲(chóng)蜘蛛。爬蟲(chóng)Spider跟隨網(wǎng)頁(yè)中的超鏈接，從這個(gè)網(wǎng)站爬到另一個(gè)網(wǎng)站，通過(guò)超鏈接分析不斷訪(fǎng)問(wèn)和爬取更多的網(wǎng)頁(yè)。抓取的網(wǎng)頁(yè)稱(chēng)為網(wǎng)頁(yè)快照。由于超鏈接在互聯(lián)網(wǎng)上的應用非常普遍，理論上，大部分網(wǎng)頁(yè)都可以從一定范圍的網(wǎng)頁(yè)中采集。

　　2、過(guò)濾網(wǎng)頁(yè)。搜索引擎將抓取到的網(wǎng)頁(yè)存儲在一個(gè)臨時(shí)庫中，用于過(guò)濾垃圾頁(yè)面，包括刪除重復內容的頁(yè)面、主要內容為空且短的頁(yè)面、加載速度過(guò)慢的頁(yè)面、一些作弊頁(yè)面以及無(wú)法解析的技術(shù)。百度蜘蛛。，如JS，AJAX等，分詞（中文），判斷網(wǎng)頁(yè)類(lèi)型，分析超鏈接，計算網(wǎng)頁(yè)的重要性/豐富度等。

　　2、創(chuàng )建一個(gè)索引區。符合規則的網(wǎng)頁(yè)將被提取關(guān)鍵詞，編入索引。包括時(shí)效性和有價(jià)值的頁(yè)面、具有高質(zhì)量?jì)热莸捻?yè)面、高價(jià)值的原創(chuàng )內容頁(yè)面和其他對用戶(hù)有價(jià)值的頁(yè)面。然后排序，歸檔，排序。

　　3、提供檢索服務(wù)。用戶(hù)輸入關(guān)鍵詞進(jìn)行檢索，搜索引擎從索引庫中找到與關(guān)鍵詞匹配的網(wǎng)頁(yè)；為方便用戶(hù)，除網(wǎng)頁(yè)標題和網(wǎng)址外，還將提供網(wǎng)頁(yè)摘要等信息。

　　蜘蛛爬行系統的基本框架

　　隨著(zhù)互聯(lián)網(wǎng)信息的爆炸式增長(cháng)，如何有效地獲取和利用這些信息是搜索引擎工作的首要環(huán)節。數據爬取系統作為整個(gè)搜索系統的上游，主要負責互聯(lián)網(wǎng)信息的采集、保存和更新。它像蜘蛛一樣在網(wǎng)絡(luò )中爬行，因此通常被稱(chēng)為“蜘蛛”。比如我們常用的幾種常見(jiàn)的搜索引擎蜘蛛叫做：Baiduspdier、Googlebot、搜狗網(wǎng)絡(luò )蜘蛛等。

　　蜘蛛爬取系統是搜索引擎數據來(lái)源的重要保障。如果把網(wǎng)絡(luò )理解為一個(gè)有向圖，那么蜘蛛的工作過(guò)程可以認為是對這個(gè)有向圖的遍歷。從一些重要的*敏*感*詞*URL開(kāi)始，通過(guò)頁(yè)面上的超鏈接關(guān)系，不斷發(fā)現新的URL并進(jìn)行爬取，盡可能多地爬取有價(jià)值的網(wǎng)頁(yè)。對于百度這樣的大型爬蟲(chóng)系統，由于隨時(shí)都有網(wǎng)頁(yè)被修改、刪除或者新的超鏈接出現的可能，所以需要保持蜘蛛過(guò)去爬過(guò)的頁(yè)面保持更新，維護一個(gè)URL庫和Page圖書(shū)館。

　　下圖是蜘蛛爬取系統的基本框架圖，包括鏈接存儲系統、鏈接選擇系統、dns解析服務(wù)系統、爬取調度系統、網(wǎng)頁(yè)分析系統、鏈接提取系統、鏈接分析系統、網(wǎng)頁(yè)存儲系統。百度蜘蛛通過(guò)本系統的配合完成對互聯(lián)網(wǎng)頁(yè)面的爬取。

　　百度蜘蛛主要爬取策略類(lèi)型

　　上圖看似簡(jiǎn)單，但實(shí)際上百度蜘蛛在爬取過(guò)程中面臨著(zhù)一個(gè)超級復雜的網(wǎng)絡(luò )環(huán)境。為了讓系統盡可能多的搶到有價(jià)值的資源，保持系統中頁(yè)面與實(shí)際環(huán)境的一致性，同時(shí)不會(huì )給網(wǎng)站的體驗帶來(lái)壓力，會(huì )設計一個(gè)各種復雜的抓取策略。這里有一個(gè)簡(jiǎn)單的介紹：

　　1. 抓取友好度

　　海量的互聯(lián)網(wǎng)資源要求抓取系統在有限的硬件和帶寬資源下，盡可能高效地利用帶寬，盡可能多地抓取有價(jià)值的資源。這就產(chǎn)生了另一個(gè)問(wèn)題，消耗了被逮捕的 網(wǎng)站 的帶寬并造成訪(fǎng)問(wèn)壓力。如果太大，將直接影響被捕網(wǎng)站的正常用戶(hù)訪(fǎng)問(wèn)行為。因此，需要在爬取過(guò)程中控制爬取壓力，以達到在不影響網(wǎng)站正常用戶(hù)訪(fǎng)問(wèn)的情況下盡可能多地抓取有價(jià)值資源的目的。

　　通常，最基本的是基于 ip 的壓力控制。這是因為如果是基于域名的話(huà)，可能會(huì )出現一個(gè)域名對應多個(gè)IP（很多大網(wǎng)站）或者多個(gè)域名對應同一個(gè)IP（小網(wǎng)站共享 IP）。在實(shí)踐中，往往根據ip和域名的各種情況進(jìn)行壓力分配控制。同時(shí)，站長(cháng)平臺也推出了壓力反饋工具。站長(cháng)可以自己手動(dòng)調節抓取壓力網(wǎng)站。這時(shí)候百度蜘蛛會(huì )根據站長(cháng)的要求優(yōu)先控制抓取壓力。

　　對同一個(gè)站點(diǎn)的爬取速度控制一般分為兩類(lèi)：一類(lèi)是一段時(shí)間內的爬取頻率；另一種是一段時(shí)間內的爬行流量。同一個(gè)站點(diǎn)在不同時(shí)間的爬取速度會(huì )有所不同。例如，在夜深人靜、月黑風(fēng)高的情況下，爬行可能會(huì )更快。它還取決于特定的站點(diǎn)類(lèi)型。主要思想是錯開(kāi)正常的用戶(hù)訪(fǎng)問(wèn)高峰并不斷進(jìn)行調整。不同的站點(diǎn)也需要不同的爬取率。

　　2. 常用爬取返回碼

　　簡(jiǎn)單介紹一下百度支持的幾個(gè)返回碼：

　　3. 各種url重定向的標識

　　由于各種原因，互聯(lián)網(wǎng)上的某些網(wǎng)頁(yè)具有 url 重定向狀態(tài)。為了正常抓取這些資源，需要蜘蛛識別和判斷url重定向，同時(shí)防止作弊。重定向可以分為三類(lèi)：http 30x 重定向、meta refresh 重定向、js 重定向。另外，百度還支持Canonical標簽，在效果上可以認為是間接重定向。

　　4. 獲取優(yōu)先分配

　　由于互聯(lián)網(wǎng)資源的巨*敏*感*詞*和快速變化，搜索引擎幾乎不可能全部抓取并保持合理更新的一致性。因此，這就需要爬取系統設計一套合理的爬取優(yōu)先級。供應策略。主要包括：深度優(yōu)先遍歷策略、廣度優(yōu)先遍歷策略、pr-first策略、反鏈策略、社交分享引導策略等。每種策略各有優(yōu)缺點(diǎn)，在實(shí)際情況中，往往會(huì )出現多種策略配合使用，達到最佳的抓取效果。

　　5. 過(guò)濾重復的 url

　　在爬取過(guò)程中，蜘蛛需要判斷一個(gè)頁(yè)面是否被爬取過(guò)。如果還沒(méi)有被爬取過(guò)，就會(huì )對網(wǎng)頁(yè)進(jìn)行爬取，放到被爬取的url集合中。判斷是否被爬取的核心是快速查找對比，還涉及到url規范化識別。例如，一個(gè)url收錄大量無(wú)效參數但實(shí)際上是同一個(gè)頁(yè)面，將被視為同一個(gè)url。.

　　6. 獲取暗網(wǎng)數據

　　互聯(lián)網(wǎng)上有很多暫時(shí)無(wú)法被搜索引擎捕獲的數據，稱(chēng)為暗網(wǎng)數據。一方面，大量網(wǎng)站的大量數據存在于網(wǎng)絡(luò )數據庫中，蜘蛛很難通過(guò)爬取網(wǎng)頁(yè)獲取完整的內容；以此類(lèi)推，也會(huì )導致搜索引擎無(wú)法抓取。目前暗網(wǎng)數據獲取的主要思路還是使用開(kāi)放平臺提交數據，如“百度站長(cháng)平臺”、“百度開(kāi)放平臺”等。

　　7. 抓取反作弊

　　爬蟲(chóng)在爬取過(guò)程中，經(jīng)常會(huì )遇到所謂的爬蟲(chóng)黑洞或面臨大量低質(zhì)量頁(yè)面，這就要求在爬蟲(chóng)系統中還應設計一套完整的爬蟲(chóng)防作弊系統。比如分析url特征，分析頁(yè)面大小和內容，分析爬取規模對應的站點(diǎn)規模等等。

　　國內360搜索引擎排名原理及發(fā)展歷程

　　互聯(lián)網(wǎng)剛起步的時(shí)候，互聯(lián)網(wǎng)上總會(huì )有一個(gè)搜索引擎，因為通過(guò)搜索引擎可以讓互聯(lián)網(wǎng)的發(fā)展更加迅速。國內搜索引擎比國外搜索引擎有更多的發(fā)展時(shí)間，但隨著(zhù)注冊用戶(hù)規模的不斷擴大，...