著(zhù)陸頁(yè)關(guān)鍵詞搜索引擎優(yōu)化(

搜索引擎爬蟲(chóng)程序最常見(jiàn)的爬蟲(chóng)類(lèi)型程序(機器人))

　　搜索引擎蜘蛛和各類(lèi)爬蟲(chóng)程序的爬取量占比

　　我們在分析網(wǎng)站日志的時(shí)候，經(jīng)常會(huì )看到各種各樣的爬蟲(chóng)程序（機器人）。除了大名鼎鼎的百度蜘蛛和谷歌機器人，*敏*感*詞*還有無(wú)數種不同的類(lèi)型。有些爬蟲(chóng)是良性友好的，比如各種知名搜索引擎，網(wǎng)站監控分析軟件等。還有惡意爬蟲(chóng)爬取鏡像你的網(wǎng)站，漏洞掃描攻擊等等.

　　據國外知名CND提供商incapsula發(fā)布的文章消息，(文章地址:)文章指出，過(guò)去整體爬蟲(chóng)程序的爬取量一直在增加年，這主要是由于高級機器人帶來(lái)的流量增加。

　　如下圖所示，其中，35種不同類(lèi)型的爬蟲(chóng)（優(yōu)質(zhì)爬蟲(chóng)）構成了絕大多數爬蟲(chóng)流量。它們可以分為四類(lèi)：搜索引擎爬蟲(chóng)、商業(yè)爬蟲(chóng)、內容抓取爬蟲(chóng)和監控爬蟲(chóng)。這些爬蟲(chóng)覆蓋了互聯(lián)網(wǎng) 84% 以上的爬蟲(chóng)流量。

　　搜索引擎爬蟲(chóng)：

　　最常見(jiàn)的爬蟲(chóng)程序用于對網(wǎng)站內容和相關(guān)性進(jìn)行爬取分析，通過(guò)相應的算法計算出關(guān)鍵詞排名結果。

　　Googlebot——作為全球最大的搜索引擎，谷歌的爬蟲(chóng)流量也遙遙領(lǐng)先于其他搜索引擎爬蟲(chóng)，占所有爬蟲(chóng)流量的3.87%（以下簡(jiǎn)稱(chēng)占比）；

　　Yandex bot - Yandex 在*敏*感*詞*最大的搜索引擎，占比：0.85%；

　　MSN/Bingbot - 微軟必應搜索引擎的網(wǎng)站爬蟲(chóng)，占比：0.85%；

　　雅虎！Slurp bot - 雅虎的搜索引擎爬蟲(chóng)，占比：0.85%；

　　MJ12Bot - 這個(gè)爬蟲(chóng)是 Majestic 的爬蟲(chóng)，用于 SEO 查詢(xún)和 SEO 反向鏈接查詢(xún)，占比：0.26%；

　　百度蜘蛛——這個(gè)大家都很熟悉了。它是中國排名第一的搜索引擎蜘蛛程序?？梢钥闯?，與其他搜索引擎相比，爬取的比例還是比較低的，占比：0.26%；

　　Mail.Ru bot——*敏*感*詞*使用的搜索引擎爬蟲(chóng)，占比：011%；

　　haosou 360 spider - 中國奇虎360的搜索引擎，目前中國第二大爬取流量，占比：0.1%；

　　sogou spider - 中國搜狗的搜索引擎，占比：0.09%；

　　Google AdsBot - Google 擁有的爬蟲(chóng)，用于在放置 Google 廣告時(shí)檢查著(zhù)陸頁(yè)的質(zhì)量。

　　商業(yè)服務(wù)爬蟲(chóng)

　　這種爬蟲(chóng)通常被商業(yè)付費型公司用來(lái)抓取數據以提供服務(wù)。

　　AhrefsBot - Ahrefs 下的爬蟲(chóng)程序，主要用于搜索引擎優(yōu)化中的反向鏈接檢查，占比：0.99%；

　　Proximic bot——Proximic用于廣告分析和網(wǎng)站內容分析的爬蟲(chóng)程序，占比：0.24%；

　　SEMrushBot——也是提供SEO數據的平臺，包括關(guān)鍵詞研究和反向鏈接，占比：0.23%；

　　Dotmic DotBot——電商網(wǎng)站平臺的爬蟲(chóng)程序，監控識別商品價(jià)格等屬性，占比：0.08%；

　　Pinterest bot - Pinterest 是一個(gè)社交媒體應用程序，允許用戶(hù)共享和管理*敏*感*詞*，%：0.08%；

　　YisouSpider - 個(gè)人理解的爬蟲(chóng)程序應該是一個(gè)搜索引擎爬蟲(chóng)程序。目前搜索引擎是不錯的搜索，占比：0.06%；

　　XoviBot - 也是用于提供搜索引擎優(yōu)化、搜索排名分析和鏈接分析的提供商，占比：0.06%；

　　ADmantX bot——其爬蟲(chóng)程序，作為數據分析提供商，可以幫助營(yíng)銷(xiāo)人員分析在線(xiàn)廣告，占比：0.06%；

　　Grapeshot bot - 其用于分析頁(yè)面關(guān)鍵詞和內容的爬蟲(chóng)程序，占比：0.05%；

　　Alexa bot——亞馬遜旗下Alexa提供的爬蟲(chóng)程序，提供網(wǎng)站流量的數據分析，占比：0.04%；

　　內容獲取爬蟲(chóng)

　　Facebook 移動(dòng)應用 - 份額：4.16%；

　　Android 框架機器人 - 比例：1.99%；

　　CFNetwork bot - 比例：1.47%；

　　.NET WebClient - 比例：0.81%；

　　Facebook 外部點(diǎn)擊率 - 百分比：0.64%；

　　Windows Phone WebClient - 比例：0.64%；

　　Adobe AIR - 比例：0.24%；

　　Google Feedfetcher - 比例：0.2%；

　　Twitter bot - 比例：0.14%；

　　FeedBurner - 比例：0.1%；

　　網(wǎng)站監控爬蟲(chóng)

　　這些機器人用于監控 網(wǎng)站 上的各種性能指標。

　　WordPress (pingback) - 比例：0.27%；

　　Paessler Monitor - 比例：0.09%；

　　UptimeBot - 比例：0.06%；

　　Site24X7 工具 - 比例：0.05%；

　　主題演講——比例：0.05%；