百度蜘蛛也叫百度爬蟲(chóng)、百度網(wǎng)路蜘蛛，其實(shí)不是真實(shí)蜘蛛，而是一個(gè)自動(dòng)程序，該程序的抓取路徑象蜘蛛絲一樣，該程序通過(guò)網(wǎng)頁(yè)上的錨鏈接進(jìn)行爬行，類(lèi)似蜘蛛爬行，因此叫百度蜘蛛、百度爬蟲(chóng)、網(wǎng)絡(luò )蜘蛛等多種別稱(chēng)，其實(shí)就是一個(gè)搜索引擎抓取程序。

　　百度蜘蛛的作用：百度搜索引擎通過(guò)百度蜘蛛這個(gè)手動(dòng)程序，訪(fǎng)問(wèn)其他網(wǎng)站，百度蜘蛛首先判定該網(wǎng)頁(yè)是否符合搜索引擎的收錄條件，如果符合收錄條件，百度蜘蛛就下載該網(wǎng)頁(yè)，然后保存到百度數據里，建立百度快照，當用戶(hù)搜索某一個(gè)關(guān)鍵詞時(shí)，搜索通過(guò)自身的排序機制，把快照進(jìn)行索引排序，然后把排序結果詮釋給讀者。如果網(wǎng)頁(yè)內容不符合搜索引擎的收錄規則，那么百度蜘蛛不收錄，并通過(guò)錨鏈接訪(fǎng)問(wèn)其他頁(yè)面，進(jìn)而重新進(jìn)行判定是否收錄。

　　提高百度蜘蛛抓取效率的方式

　　1、網(wǎng)站建立健全的網(wǎng)站內部鏈接，合理的網(wǎng)站導航、網(wǎng)站架構，必要時(shí)還可以通過(guò)網(wǎng)站地圖增強百度蜘蛛抓取效率。

　　2、網(wǎng)站外鏈就好比百度蜘蛛的路徑，網(wǎng)站外鏈越多，百度蜘蛛來(lái)網(wǎng)站的機會(huì )越大。

　　3、網(wǎng)站內容時(shí)常保持更新，百度蜘蛛喜歡新東西百度網(wǎng)絡(luò )爬蟲(chóng)，如果你的網(wǎng)站經(jīng)常更新，那么百度蜘蛛會(huì )時(shí)常光臨。

　　通過(guò)網(wǎng)站日志可以判定百度蜘蛛是否光臨。

　　產(chǎn)品名稱(chēng) 對應user-agent

　　網(wǎng)頁(yè)搜索 Baiduspider

　　無(wú)線(xiàn)搜索 Baiduspider-mobile

　　圖片搜索 Baiduspider-image

　　視頻搜索 Baiduspider-video

　　新聞搜索 Baiduspider-news

　　百度搜藏 Baiduspider-favo

　　百度聯(lián)盟Baiduspider-cpro

　　移動(dòng)搜索 baidu+Transcoder

　　網(wǎng)上有很多百度蜘蛛模擬程序，你可以通過(guò)該程序，了解百度蜘蛛展示的結果，有的服務(wù)器或則程序對百度蜘蛛進(jìn)行了屏蔽，因此可以通過(guò)該軟件查詢(xún)百度蜘蛛抓取的結果。同時(shí)若果你不希望百度蜘蛛收錄網(wǎng)站的某個(gè)欄目，你可以通過(guò)設置robots.txt來(lái)告訴搜索引擎，哪些頁(yè)面可以收錄百度網(wǎng)絡(luò )爬蟲(chóng)，哪些頁(yè)面不可以收錄，這樣可以解決隱私內容被百度收錄。