百度爬蟲(chóng)抓取異?？煺战鉀Q思路

　　最近碰到一位客戶(hù)的網(wǎng)站百度快照是全是異常信息，快照地址也是不存在的頁(yè)面。一般遇到這種情況第一反應應該是網(wǎng)站被篡改了，于是幫客戶(hù)掃描網(wǎng)站程序把異常文件清理掉，檢查數據庫是否有異常數據，并對百度快照進(jìn)行投訴。然而觀(guān)察半個(gè)月，這個(gè)問(wèn)題還是依然會(huì )存在，但是網(wǎng)站已經(jīng)沒(méi)有木馬或異常信息，只能仔細分析網(wǎng)站訪(fǎng)問(wèn)日志，突然發(fā)現蜘蛛爬蟲(chóng)抓取的地址是不存在的路徑，而且網(wǎng)站返回狀態(tài)碼是200。我仿佛看到了問(wèn)題所在，對就是這個(gè)200狀態(tài)碼。原來(lái)網(wǎng)站對404頁(yè)面多了偽靜態(tài)跳轉，返回200狀態(tài)碼并跳轉到友好頁(yè)面跳轉。

　　于是去搜索了關(guān)于404頁(yè)面但返回200狀態(tài)碼危害：當搜索引擎蜘蛛在請求某個(gè)錯誤URL地址得到“404”狀態(tài)回應時(shí)，即知道該URL地址已經(jīng)失效，便不再索引該網(wǎng)頁(yè)，并向數據中心反饋將該URL地址表示的網(wǎng)頁(yè)從索引數據庫中刪除，而當搜索引擎對于這個(gè)404頁(yè)面得到的是“200”狀態(tài)回應時(shí)，則會(huì )認為該url地址是有效的，便會(huì )去索引，并會(huì )將其收錄到索引數據庫，這樣你的所有錯誤頁(yè)面對于搜索引擎來(lái)說(shuō)都是不同url地址內容相同的頁(yè)面，這會(huì )導致出現大量重復頁(yè)面，會(huì )大大降低網(wǎng)站質(zhì)量的評分，甚至直接降權。

　　所以正確設置的自定義404錯誤頁(yè)面，不僅應當能夠正確地顯示，同時(shí)，應該返回“404”錯誤代碼，而不是200或其他的。不僅要告訴用戶(hù)該頁(yè)面不存在，也要正確的讓搜索引擎知道這是404錯誤頁(yè)面而不是一個(gè)正常的頁(yè)面。

　　按照這個(gè)思路，我重新調整了偽靜態(tài)規則，并配置IIS的404錯誤頁(yè)面和狀態(tài)碼。如圖所示：

　　至此調整完畢，靜等快照更新。