SEOER經(jīng)常反映這樣一個(gè)問(wèn)題：有一些高質(zhì)量的網(wǎng)頁(yè)，用戶(hù)也可以正常訪問(wèn)，但搜索引擎蜘蛛不能正常訪問(wèn)和抓取。在這里，海南互聯(lián)網(wǎng)營(yíng)銷(xiāo)網(wǎng)站的優(yōu)化就是說(shuō)，這種優(yōu)化現(xiàn)象會(huì)造成搜索結(jié)果覆蓋率的不足，這是對(duì)搜索引擎和網(wǎng)站的損失。百度稱(chēng)這種情況為“搶占例外”。

大量?jī)?nèi)容被搜索引擎蜘蛛異常抓取。百度搜索引擎會(huì)認(rèn)為該網(wǎng)站在用戶(hù)體驗(yàn)上存在缺陷，降低對(duì)網(wǎng)站的評(píng)價(jià)。從抓取、標(biāo)引、排序等方面來(lái)看，都會(huì)受到一定程度的負(fù)面影響，終會(huì)影響網(wǎng)站從百度獲得的流量。

服務(wù)器連接異常有兩種情況：一是網(wǎng)站不穩(wěn)定，搜索引擎蜘蛛在嘗試連接時(shí)暫時(shí)無(wú)法連接到您網(wǎng)站的服務(wù)器；二是搜索引擎蜘蛛已經(jīng)無(wú)法連接到您網(wǎng)站的服務(wù)器。

服務(wù)器連接異常的原因通常是您的網(wǎng)站服務(wù)器運(yùn)行過(guò)大和過(guò)載。您的網(wǎng)站也可能運(yùn)行不正常。請(qǐng)檢查網(wǎng)站的web服務(wù)器（如Apache、IIS）是否正常安裝和運(yùn)行，并使用瀏覽器檢查主頁(yè)面是否可以正常訪問(wèn)。您的網(wǎng)站和主機(jī)也可能會(huì)阻止搜索引擎蜘蛛的訪問(wèn)。你需要檢查網(wǎng)站和主機(jī)的防火墻。

網(wǎng)絡(luò)運(yùn)營(yíng)商分為電信和聯(lián)通。搜索引擎蜘蛛無(wú)法通過(guò)電信或網(wǎng)通訪問(wèn)您的網(wǎng)站。如果發(fā)生這種情況，您需要聯(lián)系網(wǎng)絡(luò)服務(wù)提供商，或購(gòu)買(mǎi)空間與二線服務(wù)或CDN服務(wù)。

當(dāng)搜索引擎蜘蛛無(wú)法解析您網(wǎng)站的IP地址時(shí)，將出現(xiàn)DNS異常。也許你的網(wǎng)站IP地址不對(duì)，或者域名服務(wù)提供商禁止了搜索引擎蜘蛛。請(qǐng)使用whois或host檢查您網(wǎng)站的IP地址是否正確和可解析。如果沒(méi)有，請(qǐng)聯(lián)系域名注冊(cè)商更新您的IP地址。

如何解決搜索引擎蜘蛛抓取異常？預(yù)防搜索引擎抓取異常的技巧

IP阻塞：限制網(wǎng)絡(luò)的導(dǎo)出IP地址，禁止該IP段的用戶(hù)訪問(wèn)內(nèi)容。這里，它具體指的是搜索引擎蜘蛛IP的阻塞。僅當(dāng)您不希望搜索引擎蜘蛛訪問(wèn)您的網(wǎng)站時(shí)，才需要此設(shè)置。如果您希望搜索引擎蜘蛛訪問(wèn)您的網(wǎng)站，請(qǐng)檢查是否在相關(guān)設(shè)置中錯(cuò)誤添加了搜索引擎蜘蛛的IP地址。你的網(wǎng)站所在的空間服務(wù)提供商也有可能禁止百度IP。此時(shí)，您需要聯(lián)系服務(wù)提供商以更改設(shè)置。

UA是用戶(hù)代理。服務(wù)器通過(guò)UA識(shí)別訪客的身份。當(dāng)一個(gè)網(wǎng)站訪問(wèn)一個(gè)指定的UA并返回一個(gè)異常頁(yè)面（如403500）或跳轉(zhuǎn)到另一個(gè)頁(yè)面時(shí)，稱(chēng)為UA阻塞。只有當(dāng)您不希望搜索引擎蜘蛛訪問(wèn)您的網(wǎng)站時(shí)，才需要此設(shè)置。如果您希望搜索引擎蜘蛛訪問(wèn)您的網(wǎng)站，您是否在用戶(hù)代理的相關(guān)設(shè)置中有搜索引擎蜘蛛U(xiǎn)A并及時(shí)對(duì)其進(jìn)行修改。

頁(yè)面無(wú)效，無(wú)法向用戶(hù)提供任何有價(jià)值信息的頁(yè)面為死鏈接，包括協(xié)議死鏈和內(nèi)容死鏈。

頁(yè)面的TCP protocol status/HTTP protocol status清楚地表示死鏈，如404、403、503等。

內(nèi)容死鏈：服務(wù)器返回的狀態(tài)是正常的，但內(nèi)容已被更改為不存在的、已被刪除或需要權(quán)限的信息頁(yè)，與原始內(nèi)容無(wú)關(guān)。

對(duì)于死鏈，我們建議網(wǎng)站使用協(xié)議死鏈，通過(guò)百度站長(zhǎng)平臺(tái)死鏈工具提交給百度，這樣百度可以更快地找到死鏈，減少死鏈對(duì)用戶(hù)和搜索引擎的負(fù)面影響。