搜狗搜索引擎優(yōu)化(總體而言，搜索引擎面臨以下挑戰(一)_光明網(wǎng)(圖))

　　一般來(lái)說(shuō)，搜索引擎面臨以下挑戰。

　　1、頁(yè)面爬取需要快速全面

　　互聯(lián)網(wǎng)是一個(gè)動(dòng)態(tài)的內容網(wǎng)絡(luò )。每天都有無(wú)數的頁(yè)面被更新和創(chuàng )建，無(wú)數的用戶(hù)發(fā)布內容和相互交流，為了返回有用的內容，搜索引擎需要爬取新的頁(yè)面，但是由于頁(yè)面數量巨大，搜索引擎蜘蛛需要很長(cháng)時(shí)間一次更新數據庫中的頁(yè)面。當搜索引擎誕生時(shí)，捕獲和更新周期通常以月來(lái)衡量，這就是為什么 Google 在 2003 年之前每個(gè)月都會(huì )進(jìn)行一次大更新的原因。

　　各大搜索引擎現在可以在幾天內更新重要頁(yè)面，并在幾小時(shí)甚至幾分鐘內將收錄高權重的新文檔 網(wǎng)站。不過(guò)這種快速收錄和更新僅限于高權限網(wǎng)站，很多頁(yè)面幾個(gè)月都沒(méi)有重新爬取和更新的情況并不少見(jiàn)。

　　為了返回更好的結果，搜索引擎還必須盡可能全面地爬取一個(gè)頁(yè)面，這需要解決很多技術(shù)問(wèn)題，有些網(wǎng)站不利于搜索引擎蜘蛛爬取，比如網(wǎng)站鏈接結構、Flash、JavaScript 的廣泛使用，或者用戶(hù)在訪(fǎng)問(wèn)該部分之前必須登錄的事實(shí)，都使搜索引擎更難抓取內容。

　　2、海量數據存儲

　　一些大的網(wǎng)站在一個(gè)網(wǎng)站上有幾百萬(wàn)、幾千萬(wàn)、甚至幾億的頁(yè)面，你可以想象一下網(wǎng)上所有的網(wǎng)站頁(yè)面加起來(lái)有多少數據，搜引擎蜘蛛爬取頁(yè)面后，還必須高效地存儲數據。數據結構必須合理，擴展性高，對寫(xiě)入和訪(fǎng)問(wèn)速度要求高。

　　除了頁(yè)面數據，搜索引擎還需要存儲頁(yè)面之間的鏈接以及大量的歷史數據，這對于用戶(hù)來(lái)說(shuō)是難以想象的。據估計，百度擁有超過(guò) 340 萬(wàn)臺服務(wù)器，而谷歌擁有數十個(gè)數據中心和數百萬(wàn)臺服務(wù)器。這種*敏*感*詞*的數據存儲和訪(fǎng)問(wèn)不可避免地面臨許多技術(shù)挑戰。

　　我們經(jīng)常在搜索結果中看到排名無(wú)緣無(wú)故的上下波動(dòng)，我們甚至可以刷新頁(yè)面看到不同的排名，有時(shí)，網(wǎng)站數據也會(huì )丟失，這可能與*敏*感*詞*數據存儲和同步技術(shù)難點(diǎn)。

　　3、索引處理快速、高效且可擴展

　　搜索引擎抓取并存儲頁(yè)面數據后，還需要進(jìn)行索引處理，包括鏈接關(guān)系計算、正向索引、反向索引。由于數據庫中的頁(yè)面數量巨大，執行pr等迭代計算既費時(shí)又費力。為了提供相關(guān)及時(shí)的搜索結果，僅僅爬取是沒(méi)有用的，需要同時(shí)進(jìn)行大量的索引計算，因為隨時(shí)都會(huì )添加新的數據和頁(yè)面，所以索引過(guò)程也應該具有良好的可擴展性。

　　4、快速準確的查詢(xún)處理是普通用戶(hù)可以看到的搜索引擎步驟

　　當用戶(hù)在搜索框中輸入查詢(xún)并單擊“搜索”按鈕時(shí)，他通常會(huì )在不到一秒的時(shí)間內看到搜索結果。簡(jiǎn)單的表面處理實(shí)際上涉及非常復雜的背景處理。在后面的查詢(xún)階段，更重要的問(wèn)題是如何在不到一秒的時(shí)間內，從幾十萬(wàn)、幾百萬(wàn)甚至幾千萬(wàn)的收錄搜索詞的頁(yè)面中快速找到更合理、更相關(guān)的頁(yè)面，并按照相關(guān)性和權威性進(jìn)行排序。

　　5、判斷用戶(hù)意圖和人工智能

　　應該說(shuō)，搜索引擎的前四個(gè)挑戰已經(jīng)得到了較好的解決，但用戶(hù)意圖的判斷還處于起步階段。搜索相同查詢(xún)詞的不同用戶(hù)可能會(huì )找到不同的內容。例如，在搜索“蘋(píng)果”時(shí)，用戶(hù)是想知道蘋(píng)果的果實(shí)，還是蘋(píng)果電腦，或者電影“蘋(píng)果”的信息？還是他想聽(tīng)“蘋(píng)果”？沒(méi)有上下文，沒(méi)有了解用戶(hù)的個(gè)人搜索習慣，他無(wú)法判斷。

　　搜索引擎目前正在判斷搜索意圖，了解文檔的真正含義，并根據用戶(hù)的搜索習慣、歷史數據的積累和語(yǔ)義搜索技術(shù)返回更多相關(guān)的結果。