這兩天我收到百度的反饋，說(shuō)網(wǎng)站抓取異常。這個(gè)讓人很是擔(dān)心。很明顯，百度站長(zhǎng)平臺(tái)可以成功抓取診斷工具。你為什么抓住異常？我不明白。因此，小編去網(wǎng)上查看了一上午的數(shù)據(jù)，得到的信息總結(jié)出網(wǎng)站關(guān)鍵詞優(yōu)化抓取異常的常見(jiàn)原因包括以下幾點(diǎn):
　　1.服務(wù)器連接異常
　　服務(wù)器連接異常有兩種情況:一種是站點(diǎn)不穩(wěn)定，Baiduspider在嘗試連接到您站點(diǎn)的服務(wù)器時(shí)暫時(shí)無(wú)法連接；一是Baiduspider無(wú)法連接到您網(wǎng)站上的服務(wù)器。
　　服務(wù)器連接不正常的原因通常是您的網(wǎng)站服務(wù)器太大并且過(guò)載。您的網(wǎng)站也可能運(yùn)行不正常。請(qǐng)檢查網(wǎng)站的網(wǎng)絡(luò)服務(wù)器(如apache、iis)是否安裝和運(yùn)行正常，并使用瀏覽器檢查主頁(yè)是否可以正常訪問(wèn)。你的網(wǎng)站和主持人也可能會(huì)阻止Baiduspider的訪問(wèn)。你需要檢查網(wǎng)站和主機(jī)的防火墻。
　　2.網(wǎng)絡(luò)運(yùn)營(yíng)商異
　　網(wǎng)絡(luò)運(yùn)營(yíng)商分為電信和聯(lián)通。Baiduspider無(wú)法通過(guò)電信或網(wǎng)通訪問(wèn)您的網(wǎng)站。如果發(fā)生這種情況，您需要聯(lián)系網(wǎng)絡(luò)服務(wù)運(yùn)營(yíng)商，或者購(gòu)買(mǎi)雙線服務(wù)或cdn服務(wù)的空間。
　　3.域名系統(tǒng)異常
　　域名系統(tǒng)異常發(fā)生在Baiduspider無(wú)法解析您的網(wǎng)站的IP時(shí)。也許你的網(wǎng)站有錯(cuò)誤的IP地址，或者域名服務(wù)提供商已經(jīng)禁止Baiduspider。請(qǐng)使用WHOIS或主機(jī)檢查您的網(wǎng)站IP地址是否正確和可解析。如果不正確或無(wú)法解決，請(qǐng)聯(lián)系域名注冊(cè)商更新您的IP地址。 　　4.IP阻止
　　IP阻止是為了限制網(wǎng)絡(luò)的出口IP地址，并禁止該IP段的用戶(hù)訪問(wèn)內(nèi)容，尤其是BaiduspiderIP。只有當(dāng)您的網(wǎng)站不希望Baiduspider訪問(wèn)時(shí)，才需要此設(shè)置。如果您希望Baiduspider訪問(wèn)您的網(wǎng)站，請(qǐng)檢查相關(guān)設(shè)置中是否錯(cuò)誤添加了BaiduspiderIP。您的網(wǎng)站所在的空間服務(wù)提供商也有可能禁止百度知識(shí)產(chǎn)權(quán)，然后您需要聯(lián)系服務(wù)提供商來(lái)更改設(shè)置。
　　5.用戶(hù)代理是用戶(hù)代理
　　服務(wù)器通過(guò)用戶(hù)代理識(shí)別訪問(wèn)者的身份。當(dāng)網(wǎng)站返回異常頁(yè)面(如403，500)或跳轉(zhuǎn)到其他頁(yè)面進(jìn)行指定用戶(hù)訪問(wèn)時(shí)，則為用戶(hù)阻塞。只有當(dāng)您的網(wǎng)站建設(shè)好后不希望Baiduspider訪問(wèn)時(shí)，才需要此設(shè)置。如果你想讓Baiduspider訪問(wèn)你的網(wǎng)站，你有Baiduspider UA中與用戶(hù)代理相關(guān)的設(shè)置，并及時(shí)修改它。
　　6.死鏈接
　　頁(yè)面無(wú)效，不能向用戶(hù)提供任何有價(jià)值信息的頁(yè)面是死鏈接，包括兩種形式的協(xié)議死鏈接和內(nèi)容死鏈接:
　　協(xié)議死鏈:由頁(yè)面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈，如404、403、503狀態(tài)等。
　　內(nèi)容死鏈:服務(wù)器的返回狀態(tài)是正常的，但內(nèi)容已被更改為與原始內(nèi)容無(wú)關(guān)的信息頁(yè)面，如不存在、已刪除或需要權(quán)限。
　　對(duì)于死鏈，我們建議網(wǎng)站使用協(xié)議死鏈，通過(guò)百度站長(zhǎng)平臺(tái)——死鏈工具提交給百度，這樣百度可以更快的找到死鏈，減少死鏈對(duì)用戶(hù)和搜索引擎的負(fù)面影響。
　　綜上所述，我們大概可以理解百度蜘蛛的爬行原理，它保證了網(wǎng)站的流量，而百度蜘蛛的爬行保證了包含度，所以只有滿足百度蜘蛛的爬行規(guī)則，沈陽(yáng)網(wǎng)站建設(shè)才能得到更好的排名和流量。