【英文SEO】搜索引擎工作原理

　　讀書(shū)筆記一：《這就是搜索引擎》

　　第一：什么是搜索引擎？

　　搜索引擎是一個(gè)龐大復雜的計算機程序，它通過(guò)互聯(lián)網(wǎng)搜集信息并且加以一定組織和處理提供用戶(hù)查詢(xún)服務(wù)（如百度，谷歌，好搜，搜狗等）

　　第二：搜索引擎的重要性！包括阿里巴巴集團下的電子商務(wù)平臺，ebay，亞馬遜都可以說(shuō)是搜索引擎，只不過(guò)對于整個(gè)互聯(lián)網(wǎng)來(lái)說(shuō)它們是站內的，它們都是在為用戶(hù)提供有價(jià)值信息。

　　第三：搜索引擎的發(fā)展史！

　　史前一代：分類(lèi)目錄一代

　　純人工方式去收集和整理網(wǎng)頁(yè)，雅虎和hao123就是這個(gè)時(shí)代的代表作，所以這類(lèi)網(wǎng)頁(yè)一般都是網(wǎng)站質(zhì)量較高的；擴展一下，像hao123同時(shí)也作為搜索引擎的*敏*感*詞*站點(diǎn)來(lái)開(kāi)始爬取互聯(lián)網(wǎng)的信息，那么利用這一點(diǎn)我們可以盡量讓我們的網(wǎng)站離*敏*感*詞*站點(diǎn)盡量靠近來(lái)讓網(wǎng)站盡量曝光多給網(wǎng)絡(luò )爬蟲(chóng)。

　　第一代：文本檢索一代

　　網(wǎng)頁(yè)的文本相關(guān)性，比如說(shuō)通過(guò)布爾模型，向量空間模型以及概率模型來(lái)判斷查詢(xún)關(guān)鍵字的相關(guān)程度， 早年也就是為什么堆砌關(guān)鍵詞對網(wǎng)站排名那么有成效的原因，還有什么關(guān)鍵詞密度等；現在通過(guò)實(shí)踐發(fā)現，關(guān)鍵詞有出現就ok，至于要不要故意安排密度等已然對排名的提升不是那么的重要。

　　第二代：鏈接分析一代

　　網(wǎng)頁(yè)鏈接代表一種推薦關(guān)系，一個(gè)網(wǎng)站被引用的次數越多，那么對于搜索引擎來(lái)說(shuō)這個(gè)網(wǎng)站越重要，相當于投票當領(lǐng)導，你做領(lǐng)導之后，那你肯定變得相對某一部分別人來(lái)說(shuō)都重要了，也就是為什么那么多連接群發(fā)軟件的原因，比如當時(shí)的蟲(chóng)蟲(chóng)群發(fā)就非常出名，當然現在鏈接還是相當重要，尤其是高質(zhì)量的外部鏈接。

　　第三代：用戶(hù)中心一代

　　用戶(hù)中心一代我理解為搜索引擎依據網(wǎng)站的流量，比如點(diǎn)擊率，停留時(shí)間，pv，uv，ip等等來(lái)動(dòng)態(tài)調整網(wǎng)站的關(guān)鍵字排名，而前3項作為基礎排名數據依據，所以我們很多時(shí)候并不是要以原創(chuàng )為目標，而是以解決用戶(hù)需求為目標；這個(gè)時(shí)期的軟件數百度強奸器為首，非常受人追捧。時(shí)至今日百度點(diǎn)擊器依舊強勢，不提倡；做SEO應以輸出更多更好的內容以及豐富的內容展現形式為出發(fā)點(diǎn)，為用戶(hù)和搜索引擎提供有價(jià)值的內容。

　　讀書(shū)筆記二：《搜索引擎原理_技術(shù)與系統》

　　一，搜索引擎檢索和需求

　　1，搜索引擎基本要求：毫秒級快速反應，匹配相關(guān)結果。

　　2，搜索引擎：一個(gè)大型網(wǎng)絡(luò )應用軟件，分布式計算，高效的索引和存儲技術(shù)。（搜索引擎大部分時(shí)間是高效的索引和存儲技術(shù)，而不是天天跟SEO對著(zhù)干）。

　　3，搜索引擎的目的：為用戶(hù)提供相關(guān)網(wǎng)頁(yè)或者其他信息（知識，新聞，視頻...）。

　　4，匹配：以某種形式包含有檢索詞的網(wǎng)頁(yè)或其他信息。并產(chǎn)生一個(gè)列表，也就是排序，我們最關(guān)心的。

　　5，用戶(hù)輸入無(wú)規則的簡(jiǎn)單的：簡(jiǎn)單意味著(zhù)抽象，抽象意味著(zhù)有更多的可能性（舉例：蘋(píng)果，手機，*敏*感*詞*）搜索結果豐富多樣。

　　6，搜索引擎為什么給出相關(guān)搜索還有下拉框？

　　7，用戶(hù)行為：找到為止，不是所有的都看一遍，用戶(hù)查詢(xún)東西基本不會(huì )超過(guò)2頁(yè)，所以搜索引擎要在2頁(yè)中顯示盡可能多的可能性。

　　二，網(wǎng)頁(yè)收集

　　1，[free]數據（實(shí)時(shí)還是預先收集）：預先收集好。

　　2，蜘蛛（負責的工作）：蜘蛛就是下載網(wǎng)頁(yè)的一個(gè)小程序。

　　3，調度（提高效率）：控制蜘蛛捉什么、多久捉一次頁(yè)面等等。

　　4，定期收集還是增量收集：搜索引擎是會(huì )定期收集，就是大更新，增量收集是根據每個(gè)網(wǎng)站的更新速度。

　　5，搜索引擎大更新周期（一個(gè)月？15天？）

　　6，*敏*感*詞*站點(diǎn)（樞紐頁(yè)面）：搜索引擎是先從*敏*感*詞*站點(diǎn)優(yōu)先開(kāi)始抓取的，*敏*感*詞*站點(diǎn)就是有大量指向高質(zhì)量網(wǎng)站的站點(diǎn)比如“好123”網(wǎng)址。

　　7，深度優(yōu)先/廣度優(yōu)先：深度優(yōu)先就是首頁(yè)-欄目頁(yè)-內容頁(yè)，順著(zhù)鏈接往深爬取內容；廣度優(yōu)先就是先把欄目頁(yè)捉取完轉而抓內容頁(yè)。

　　8,搜索引擎采用的抓取機制：robots規則，根目錄添加robots.txt文件。

　　9，搜索引擎的更新機制（更新快照）：讓搜索引擎認為是原創(chuàng )或偽原創(chuàng )可加快更新。

　　10，sitemap（網(wǎng)站地圖）：增加收錄的好東西適合網(wǎng)站信息很大，收錄少的網(wǎng)站，網(wǎng)站地圖就讓蜘蛛在一個(gè)頁(yè)面發(fā)現大量URL，作用就是吸引蜘蛛深度捉取。

　　11，實(shí)時(shí)更新（搜索引擎/自己的數據庫）：搜索引擎無(wú)法保證，所以有時(shí)候改了網(wǎng)站的標題和摘要，也不會(huì )實(shí)時(shí)顯示出來(lái)。

　　三，網(wǎng)頁(yè)預處理

　　網(wǎng)頁(yè)預處理的大致過(guò)程：

　　1，關(guān)鍵詞的提?。ㄈコ胍簦涸胍艟褪蔷W(wǎng)頁(yè)中不重要的版塊，與網(wǎng)站主題不相關(guān)，比如廣告之類(lèi)，通常都用框架和JS調用。

　　2，切詞，去除停止詞：如結巴分詞，停止詞就是語(yǔ)氣詞，基本互聯(lián)網(wǎng)上都出現的詞。

　　3，鏡像網(wǎng)頁(yè)的消除（完全相同）：鏡像網(wǎng)頁(yè)就是兩個(gè)頁(yè)面一模一樣，所以設置好偽靜態(tài)后，要用robots文件把動(dòng)態(tài)url禁止掉，同時(shí)可防止蜘蛛黑洞。

　　4，轉摘（額外少量編輯，稱(chēng)為近似鏡像網(wǎng)頁(yè)）：搜索引擎會(huì )把這些過(guò)濾掉（垃圾頁(yè)面），如轉摘，抄襲，采集等不利于SEO優(yōu)化。

　　5，鏈接的分析（記錄鏈接位置，相關(guān)性，錨文本）：定義有效的鏈接：標準的a標簽；會(huì )計算這個(gè)鏈接跟當前頁(yè)面的相關(guān)性，不相關(guān)就會(huì )被容易列為噪音版塊。

　　6，網(wǎng)頁(yè)重要度計算（被應用的多就是重要的）：被引用得多就是重要的，也就是外鏈（其中一個(gè)因素）。

　　7，建立索引：正排索引（頁(yè)面到關(guān)鍵詞）倒排索引（關(guān)鍵詞到頁(yè)面）。

　　四，查詢(xún)接口

　　預處理后得到的網(wǎng)頁(yè)表現形式：

　　1，原始頁(yè)面，url，標題；看不到的：文檔編號，關(guān)鍵詞集合和權值位置信息（詞位），其他一些指標原始網(wǎng)頁(yè)就是你的網(wǎng)頁(yè)打不開(kāi)了，但是快照是可以打開(kāi)的，這個(gè)就是原始頁(yè)面

　　2，網(wǎng)頁(yè)重要度：被多小個(gè)網(wǎng)頁(yè)引用

　　3，網(wǎng)頁(yè)類(lèi)別（導航，需求，信息）：導航類(lèi)別查詢(xún)：比如記不住網(wǎng)址，去搜索找官方網(wǎng)站這樣子，比如“QQ下載”就是需求型；信息就是比如搜索“SEO是什么意思”...

　　4，查詢(xún)詞處理（切詞，獲取分類(lèi)，排序）搜索引擎可以進(jìn)行切詞，然后組合關(guān)鍵詞同時(shí)出現的就是用戶(hù)搜索需求頁(yè)面。

　　5，全文索引（不局限于標題）。

　　6，pr算法 。

　　7，文檔摘要（動(dòng)態(tài)摘要）。