如果您的網站無法被搜索引擎抓取,那么可能是以下原因造成的。
如何確保讓搜索引擎輕松抓取您的網站?
如果您的網站無法被搜索引擎抓取,那么可能是以下原因造成的:
1、HTTPS安全實施
如果你最近跳轉到HTTPS時,可能沒有機會審核或以其他方式出現(xiàn)了識別安全證書的安裝問題,進行表面審核時可以幫助你確定是什么在影響HTTPS的轉換。
如果你最初購買SSL證書的時候沒有考慮到網站稍后用于什么,那么可能會出現(xiàn)分歧。需要記住的一件事是,你在購買證書時必須非常謹慎,確保它涵蓋了你想要的所有子域。
如果不這樣做,可能會導致一些問題,比如無法重定向URL。
如果你沒有獲得完整的通配符證書,并且在子域上有URL參數(shù)(使用絕對URL),你的證書也沒有覆蓋這些URL,那么你無法將這些URL重定向到https://。
這就是為什么在購買SSL證書時要注意你的選項的原因,因為它可能會對你的站點產生負面影響。
2、錯誤的重定向或過多的重定向會導致網站性能下降
如果不密切關注正在創(chuàng)建的重定向,也很容易創(chuàng)建沖突的重定向。
此外,還很容易讓重定向失去控制,導致每個網站URL有數(shù)十個或更多重定向,進而導致網站性能下降。
解決此問題的簡單方法是:確保你的重定向都是以1:1的比例創(chuàng)建的。
3、HTTPS和 HTTP URLs上的內容不應該同時加載
正確的做法是:其中一個重定向到另一個,而不是兩者都重定向。如果同時加載兩個,那么站點的版本安全就會出現(xiàn)問題。如果你在瀏覽器中輸入網站的URL,請分別測試https://和https://。
如果兩個URL都加載,則會顯示兩個版本的內容,重復的URL可能導致重復的內容。
為了確保不會再次遇到此問題,你需要執(zhí)行以下操作之一,具體取決于站點的平臺:
在HTACCESS中創(chuàng)建完整的重定向模式(在Apache/CPanel服務器上);
使用WordPress中的重定向插件強制從 https://重定向。
4、如何在Apache/Cpanel服務器的htaccess中創(chuàng)建重定向
你可以在Apache/CPanel服務器的.htaccess中執(zhí)行服務器級別的全局重定向。Inmotionhosting有一個很好的教程,教你如何在自己的web主機上強制重定向。
如果強制所有web流量使用HTTPS,你需要用到以下代碼。
確保將此代碼添加到具有類似前綴的代碼之上(RewriteEngine On、RewriteCond等)。
RewriteEngine On
RewriteCond %{HTTPS} !on
RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$
RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\ Comodo\\ DCV)?$
RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
如果你只想重定向一個指定的域,你需要在你的htaccess文件中使用以下代碼行:
RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$
RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\ Comodo\\ DCV)?$
RewriteEngine On
RewriteCond %{HTTP_HOST} ^example\\.com [NC]
RewriteCond %{SERVER_PORT} 80
RewriteRule ^(.*)$ https://www.example.com/$1 [R=301,L]
注意事項:如果你對自己在服務器進行正確更改沒有信心,請確保你的服務器公司或IT人員來執(zhí)行這些修復。
5、如果你正在運行WordPress網站,請使用插件
修復這些重定向問題簡單的方法就是使用插件,尤其是在運行WordPress網站時。
許多插件可以強制 https://到 https://重定向,但這里有一些插件可以使這個過程盡可能輕松:CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。
關于插件的注意事項:如果你已經使用了太多的插件,請不要再添加。
你可能需要調查你的服務器是否可以使用上述類似的重定向規(guī)則(例如,如果你使用的是基于NGINX的服務器)。
這里需要聲明:插件的權重會對網站速度產生負面影響,所以不要總是認為新的插件會對你有所幫助。
6、所有的網站鏈接都應該從https://改為HTTPS://
即使執(zhí)行上述重定向,也應該執(zhí)行此步驟。
如果你使用絕對URL而不是相對URL,更應該這么做。因為前者始終顯示你正在使用的超文本傳輸協(xié)議,如果你使用的是后者,那你就不需要多加注意這一點了。
當你使用絕對URL時,為什么需要更改現(xiàn)場鏈接?因為谷歌將抓取所有這些鏈接,這可能會導致出現(xiàn)重復的內容。
這似乎是在浪費時間,但事實并非如此。你要確保最終谷歌能夠準確地抓取到你的網站。
7、確保從https://到HTTPS://的轉換,不會出現(xiàn)404頁面
404頁面的突然增加可能使你的網站不能運行,尤其是在https://和https://頁面之間存在鏈接時。
此外,由于顯示的404頁面太多,谷歌沒有找到應該抓取的頁面會導致抓取預算的浪費。
谷歌的相關負責人John Mueller指出,抓取預算并不重要,除非是針對大型網站而言。
John Mueller在推特上表示,他認為抓取預算優(yōu)化被高估了。對大多數(shù)網站來說,沒有什么作用,它只能幫助大規(guī)模的網站。
“IMO抓取預算被高估了。其實大多數(shù)網站都不需要為此擔心。如果你正在抓取網頁或運行一個數(shù)十億URL 的網站,這是很重要的,但對于普通的網站來說這不是很重要。”
SEO PowerSuite 相關負責人Yauhen Khutarniuk的一篇文章也闡述了這一點:
“從邏輯上講,你應該關注抓取預算,因為你想讓谷歌盡可能多地發(fā)現(xiàn)你網站的重要網頁。你還希望它能快速地在你的網站上找到新內容,你的抓取預算越大(管理越智能),這種情況就會發(fā)生得越快。”
優(yōu)化抓取預算非常重要,因為快速查找網站上的新內容是重要的任務,同時需要盡可能多地發(fā)現(xiàn)網站的優(yōu)先網頁。
8、如何修復可能有的404頁面
首先,將404從舊URL重定向到新的現(xiàn)有URL。
有一個比較簡單的方法是,如果你有一個WordPress網站,用Screaming Frog抓取網站,并使用重定向WordPress插件執(zhí)行301重定向規(guī)則批量上傳。
9、URL結構不應該過于復雜
在為技術SEO做準備時,URL的結構是一個重要的考慮因素。
你同時須注意這些事情,比如隨機生成被索引的動態(tài)參數(shù)、不容易理解的URL,以及其他可能導致技術SEO實現(xiàn)出現(xiàn)問題的因素。
這些都是重要的因素,因為它們可能會導致索引問題,從而損害網站的性能。
10、更人性化的URL
創(chuàng)建URL時,你可能會考慮相關內容,然后自動創(chuàng)建URL。但是,這可能并不合理。
原因是因為自動生成的URL可以遵循幾種不同的格式,這些格式都不是非常人性化。
“
例如:
(1)/內容/日期/時間/關鍵字
(2)/內容/日期/時間/數(shù)字字符串
(3)/內容/分類/日期/時間/
(4)/內容/分類/日期/時間/參數(shù)/
正確地傳達URL背后的內容才是重點。由于可訪問性的原因,它在今天變得更加重要。
URL可讀性越強,效果就越好:如果有人在搜索結果中看到你的URL,他們可能更愿意點擊它,因為他們會確切地看到該URL與他們搜索的內容的相關性。簡而言之,URL需匹配用戶的搜索意圖。
許多現(xiàn)有網站使用過時或混亂的URL結構,導致用戶參與度低。如果有更人性化的URL,你的網站可能會有更高的用戶參與度。
11、重復的URL
在構建任何鏈接之前需要考慮的一個SEO技術問題是:內容重復。
在涉及內容重復時,以下是主要原因:
(1)在網站的各個部分顯著重復的內容。
(2)從其他網站抓取內容。
(3)重復的URL,其中只存在一個內容。
因為當多個URL代表一個內容時,它確實會混淆搜索引擎。搜索引擎很少會同時顯示相同的內容,并且重復的URL會削弱他們搜索的能力。
12、避免使用動態(tài)參數(shù)
雖然動態(tài)參數(shù)本身并不是SEO方面的問題,但如果你無法管理其創(chuàng)建,并且在使用中保持一致,那么以后可能會成為一個潛在威脅。
Jes Scholz在搜索引擎雜志上發(fā)表了一篇文章,內容涉及動態(tài)參數(shù)和URL處理的基礎知識以及它如何影響SEO。
Scholz解釋說,參數(shù)用于以下目的:跟蹤、重新排序、過濾、識別、分頁、搜索、翻譯。
當你發(fā)現(xiàn)是URL的動態(tài)參數(shù)導致的問題時,通常將其歸結為URL的基本管理不善。
在跟蹤的情況下,在創(chuàng)建搜索引擎抓取的鏈接時可以使用不同的動態(tài)參數(shù)。在重新排序的情況下,使用這些不同的動態(tài)參數(shù)對列表和項組進行重新排序,然后創(chuàng)建可索引的重復頁面,搜索引擎再對其進行抓取。
如果不將動態(tài)參數(shù)保持在可管理的水平,可能會無意中引發(fā)過多的重復內容。
如果不仔細管理一部分內容的創(chuàng)建,這些動態(tài)URL的創(chuàng)建實際上會隨著時間的推移而累積,然后會稀釋內容的質量,進而削弱搜索引擎的執(zhí)行能力。
它還會導致關鍵詞“自相殘殺”、互為影響,并且在足夠大的范圍內會嚴重影響你的競爭能力。
13、較短的 URL 優(yōu)于較長的 URL
長期以來的SEO實踐結果是:較短的URL優(yōu)于較長的URL。
谷歌的 John Mueller對此表示:“當我們有兩個相同內容的URL時,我們需要選擇其中一個在搜索結果中顯示時,我們會選擇短的,這就是規(guī)范化。當然長短并不是主要影響因素,但如果我們有兩個URL,一個非常簡潔明了,另一個有很長的附加參數(shù),而且他們顯示相同的內容時,我們更傾向于選擇短的。還有很多例子,比如不同的因素發(fā)揮作用,但在其他條件相同的情況下——你有一個較短的和較長的,我們也會選擇較短的。”
另有證據表明,谷歌對短的URL進行了具體的排序,而不是更長的URL。
如果你的網站包含超長URL,你可以將它們優(yōu)化為更短、更簡潔的URL,以更好地反映文章的主題和用戶意圖。
免責聲明:本文內容由互聯(lián)網用戶自發(fā)貢獻自行上傳,本網站不擁有所有權,也不承認相關法律責任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內容,請發(fā)送郵件至:operations@xinnet.com進行舉報,并提供相關證據,一經查實,本站將立刻刪除涉嫌侵權內容。