什么導(dǎo)致引擎蜘蛛抓取異常?網(wǎng)站發(fā)布高質(zhì)量?jī)?nèi)容讓搜索引擎蜘蛛抓取就會(huì)讓網(wǎng)站有一個(gè)好的排名,導(dǎo)致搜索引擎蜘蛛抓取異常的原因有什么,接下來(lái)為大家具體分析一下。
什么導(dǎo)致引擎蜘蛛抓取異常?網(wǎng)站發(fā)布高質(zhì)量?jī)?nèi)容讓搜索引擎蜘蛛抓取就會(huì)讓網(wǎng)站有一個(gè)好的排名,導(dǎo)致搜索引擎蜘蛛抓取異常的原因有什么,接下來(lái)為大家具體分析一下。
異常跳轉(zhuǎn)
將網(wǎng)絡(luò)請(qǐng)求重新指向其他位置即為跳轉(zhuǎn)。異常跳轉(zhuǎn)指的是以下幾種情況:
1)當(dāng)前該頁(yè)面為無(wú)效頁(yè)面(內(nèi)容已刪除、死鏈等),直接跳轉(zhuǎn)到前一目錄或者首頁(yè),百度建議站長(zhǎng)將該無(wú)效頁(yè)面的入口超鏈接刪除掉
2)跳轉(zhuǎn)到出錯(cuò)或者無(wú)效頁(yè)面
注意:對(duì)于長(zhǎng)時(shí)間跳轉(zhuǎn)到其他域名的情況,如網(wǎng)站更換域名,百度建議使用301跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。
其他異常:
1)針對(duì)百度refer的異常:網(wǎng)頁(yè)針對(duì)來(lái)自百度的refer返回不同于正常內(nèi)容的行為。
2)針對(duì)百度ua的異常:網(wǎng)頁(yè)對(duì)百度UA返回不同于頁(yè)面原內(nèi)容的行為。
3)JS跳轉(zhuǎn)異常:網(wǎng)頁(yè)加載了百度無(wú)法識(shí)別的JS跳轉(zhuǎn)代碼,使得用戶(hù)通過(guò)搜索結(jié)果進(jìn)入頁(yè)面后發(fā)生了跳轉(zhuǎn)的情況。
4)壓力過(guò)大引起的偶然封禁:百度會(huì)根據(jù)站點(diǎn)的規(guī)模、訪(fǎng)問(wèn)量等信息,自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下,如壓力控制失常時(shí),服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下,請(qǐng)?jiān)诜祷卮a中返回503(其含義是“Service Unavailable”),這樣搜索引擎蜘蛛會(huì)過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接,如果網(wǎng)站已空閑,則會(huì)被成功抓取。
什么導(dǎo)致引擎蜘蛛抓取異常?在以前的文章中小編就為大家介紹過(guò)很多的導(dǎo)致引擎蜘蛛抓取異常的原因和解決辦法,看過(guò)了以上的文章你都學(xué)會(huì)了嗎?其實(shí)這些原因解決起來(lái)也是挺簡(jiǎn)單的,只要我們找對(duì)了方法就能很快的解決了,希望以上文章對(duì)你有所幫助。
免責(zé)聲明:本文內(nèi)容由互聯(lián)網(wǎng)用戶(hù)自發(fā)貢獻(xiàn)自行上傳,本網(wǎng)站不擁有所有權(quán),也不承認(rèn)相關(guān)法律責(zé)任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內(nèi)容,請(qǐng)發(fā)送郵件至:operations@xinnet.com進(jìn)行舉報(bào),并提供相關(guān)證據(jù),一經(jīng)查實(shí),本站將立刻刪除涉嫌侵權(quán)內(nèi)容。