国产精品无码一区二区三区太,亚洲一线产区二线产区区别,欧美A区,人妻jealousvue人妻

×
新網 > 建站推廣 > 正文

建站指南:為什么網站內容無法被搜索引擎抓取?

  • 作者:sdfff
  • 來源:互聯(lián)網
  • 瀏覽:100
  • 2019-12-31 16:50:19

如果您的網站無法被搜索引擎抓取,那么可能是以下原因造成的。

如何確保讓搜索引擎輕松抓取您的網站?
如果您的網站無法被搜索引擎抓取,那么可能是以下原因造成的:

1、HTTPS安全實施

如果你最近跳轉到HTTPS時,可能沒有機會審核或以其他方式出現(xiàn)了識別安全證書的安裝問題,進行表面審核時可以幫助你確定是什么在影響HTTPS的轉換。

如果你最初購買SSL證書的時候沒有考慮到網站稍后用于什么,那么可能會出現(xiàn)分歧。需要記住的一件事是,你在購買證書時必須非常謹慎,確保它涵蓋了你想要的所有子域。

如果不這樣做,可能會導致一些問題,比如無法重定向URL。

如果你沒有獲得完整的通配符證書,并且在子域上有URL參數(shù)(使用絕對URL),你的證書也沒有覆蓋這些URL,那么你無法將這些URL重定向到https://。

這就是為什么在購買SSL證書時要注意你的選項的原因,因為它可能會對你的站點產生負面影響。

2、錯誤的重定向或過多的重定向會導致網站性能下降

如果不密切關注正在創(chuàng)建的重定向,也很容易創(chuàng)建沖突的重定向。

此外,還很容易讓重定向失去控制,導致每個網站URL有數(shù)十個或更多重定向,進而導致網站性能下降。

解決此問題的簡單方法是:確保你的重定向都是以1:1的比例創(chuàng)建的。

 

3、HTTPS和 HTTP URLs上的內容不應該同時加載

正確的做法是:其中一個重定向到另一個,而不是兩者都重定向。如果同時加載兩個,那么站點的版本安全就會出現(xiàn)問題。如果你在瀏覽器中輸入網站的URL,請分別測試https://和https://。

如果兩個URL都加載,則會顯示兩個版本的內容,重復的URL可能導致重復的內容。

為了確保不會再次遇到此問題,你需要執(zhí)行以下操作之一,具體取決于站點的平臺:

在HTACCESS中創(chuàng)建完整的重定向模式(在Apache/CPanel服務器上);

使用WordPress中的重定向插件強制從 https://重定向。

4、如何在Apache/Cpanel服務器的htaccess中創(chuàng)建重定向

你可以在Apache/CPanel服務器的.htaccess中執(zhí)行服務器級別的全局重定向。Inmotionhosting有一個很好的教程,教你如何在自己的web主機上強制重定向。

如果強制所有web流量使用HTTPS,你需要用到以下代碼。

確保將此代碼添加到具有類似前綴的代碼之上(RewriteEngine On、RewriteCond等)。

RewriteEngine On

RewriteCond %{HTTPS} !on

RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\ Comodo\\ DCV)?$

RewriteRule (.*) https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]

如果你只想重定向一個指定的域,你需要在你的htaccess文件中使用以下代碼行:

RewriteCond %{REQUEST_URI} !^/[0-9]+\\..+\\.cpaneldcv$

RewriteCond %{REQUEST_URI} !^/\\.well-known/pki-validation/[A-F0-9]{32}\\.txt(?:\\ Comodo\\ DCV)?$

RewriteEngine On

RewriteCond %{HTTP_HOST} ^example\\.com [NC]

RewriteCond %{SERVER_PORT} 80

RewriteRule ^(.*)$ https://www.example.com/$1 [R=301,L]

注意事項:如果你對自己在服務器進行正確更改沒有信心,請確保你的服務器公司或IT人員來執(zhí)行這些修復。

 

5、如果你正在運行WordPress網站,請使用插件

修復這些重定向問題簡單的方法就是使用插件,尤其是在運行WordPress網站時。

許多插件可以強制 https://到 https://重定向,但這里有一些插件可以使這個過程盡可能輕松:CM HTTPS Pro、WP Force SSL、Easy HTTPS Redirection。

關于插件的注意事項:如果你已經使用了太多的插件,請不要再添加。

你可能需要調查你的服務器是否可以使用上述類似的重定向規(guī)則(例如,如果你使用的是基于NGINX的服務器)。

這里需要聲明:插件的權重會對網站速度產生負面影響,所以不要總是認為新的插件會對你有所幫助。

6、所有的網站鏈接都應該從https://改為HTTPS://

即使執(zhí)行上述重定向,也應該執(zhí)行此步驟。

如果你使用絕對URL而不是相對URL,更應該這么做。因為前者始終顯示你正在使用的超文本傳輸協(xié)議,如果你使用的是后者,那你就不需要多加注意這一點了。

當你使用絕對URL時,為什么需要更改現(xiàn)場鏈接?因為谷歌將抓取所有這些鏈接,這可能會導致出現(xiàn)重復的內容。

這似乎是在浪費時間,但事實并非如此。你要確保最終谷歌能夠準確地抓取到你的網站。

 

7、確保從https://到HTTPS://的轉換,不會出現(xiàn)404頁面

404頁面的突然增加可能使你的網站不能運行,尤其是在https://和https://頁面之間存在鏈接時。

此外,由于顯示的404頁面太多,谷歌沒有找到應該抓取的頁面會導致抓取預算的浪費。

谷歌的相關負責人John Mueller指出,抓取預算并不重要,除非是針對大型網站而言。

John Mueller在推特上表示,他認為抓取預算優(yōu)化被高估了。對大多數(shù)網站來說,沒有什么作用,它只能幫助大規(guī)模的網站。

“IMO抓取預算被高估了。其實大多數(shù)網站都不需要為此擔心。如果你正在抓取網頁或運行一個數(shù)十億URL 的網站,這是很重要的,但對于普通的網站來說這不是很重要。”

SEO PowerSuite 相關負責人Yauhen Khutarniuk的一篇文章也闡述了這一點:

“從邏輯上講,你應該關注抓取預算,因為你想讓谷歌盡可能多地發(fā)現(xiàn)你網站的重要網頁。你還希望它能快速地在你的網站上找到新內容,你的抓取預算越大(管理越智能),這種情況就會發(fā)生得越快。”

優(yōu)化抓取預算非常重要,因為快速查找網站上的新內容是重要的任務,同時需要盡可能多地發(fā)現(xiàn)網站的優(yōu)先網頁。

8、如何修復可能有的404頁面

首先,將404從舊URL重定向到新的現(xiàn)有URL。

有一個比較簡單的方法是,如果你有一個WordPress網站,用Screaming Frog抓取網站,并使用重定向WordPress插件執(zhí)行301重定向規(guī)則批量上傳。

9、URL結構不應該過于復雜

在為技術SEO做準備時,URL的結構是一個重要的考慮因素。

你同時須注意這些事情,比如隨機生成被索引的動態(tài)參數(shù)、不容易理解的URL,以及其他可能導致技術SEO實現(xiàn)出現(xiàn)問題的因素。

這些都是重要的因素,因為它們可能會導致索引問題,從而損害網站的性能。

10、更人性化的URL

創(chuàng)建URL時,你可能會考慮相關內容,然后自動創(chuàng)建URL。但是,這可能并不合理。

原因是因為自動生成的URL可以遵循幾種不同的格式,這些格式都不是非常人性化。


例如:

(1)/內容/日期/時間/關鍵字

(2)/內容/日期/時間/數(shù)字字符串

(3)/內容/分類/日期/時間/

(4)/內容/分類/日期/時間/參數(shù)/

正確地傳達URL背后的內容才是重點。由于可訪問性的原因,它在今天變得更加重要。

URL可讀性越強,效果就越好:如果有人在搜索結果中看到你的URL,他們可能更愿意點擊它,因為他們會確切地看到該URL與他們搜索的內容的相關性。簡而言之,URL需匹配用戶的搜索意圖。

許多現(xiàn)有網站使用過時或混亂的URL結構,導致用戶參與度低。如果有更人性化的URL,你的網站可能會有更高的用戶參與度。

11、重復的URL

在構建任何鏈接之前需要考慮的一個SEO技術問題是:內容重復。

在涉及內容重復時,以下是主要原因:

(1)在網站的各個部分顯著重復的內容。

(2)從其他網站抓取內容。

(3)重復的URL,其中只存在一個內容。

因為當多個URL代表一個內容時,它確實會混淆搜索引擎。搜索引擎很少會同時顯示相同的內容,并且重復的URL會削弱他們搜索的能力。

12、避免使用動態(tài)參數(shù)

雖然動態(tài)參數(shù)本身并不是SEO方面的問題,但如果你無法管理其創(chuàng)建,并且在使用中保持一致,那么以后可能會成為一個潛在威脅。

Jes Scholz在搜索引擎雜志上發(fā)表了一篇文章,內容涉及動態(tài)參數(shù)和URL處理的基礎知識以及它如何影響SEO。

Scholz解釋說,參數(shù)用于以下目的:跟蹤、重新排序、過濾、識別、分頁、搜索、翻譯。

當你發(fā)現(xiàn)是URL的動態(tài)參數(shù)導致的問題時,通常將其歸結為URL的基本管理不善。

在跟蹤的情況下,在創(chuàng)建搜索引擎抓取的鏈接時可以使用不同的動態(tài)參數(shù)。在重新排序的情況下,使用這些不同的動態(tài)參數(shù)對列表和項組進行重新排序,然后創(chuàng)建可索引的重復頁面,搜索引擎再對其進行抓取。

如果不將動態(tài)參數(shù)保持在可管理的水平,可能會無意中引發(fā)過多的重復內容。

如果不仔細管理一部分內容的創(chuàng)建,這些動態(tài)URL的創(chuàng)建實際上會隨著時間的推移而累積,然后會稀釋內容的質量,進而削弱搜索引擎的執(zhí)行能力。

它還會導致關鍵詞“自相殘殺”、互為影響,并且在足夠大的范圍內會嚴重影響你的競爭能力。

13、較短的 URL 優(yōu)于較長的 URL

長期以來的SEO實踐結果是:較短的URL優(yōu)于較長的URL。

谷歌的 John Mueller對此表示:“當我們有兩個相同內容的URL時,我們需要選擇其中一個在搜索結果中顯示時,我們會選擇短的,這就是規(guī)范化。當然長短并不是主要影響因素,但如果我們有兩個URL,一個非常簡潔明了,另一個有很長的附加參數(shù),而且他們顯示相同的內容時,我們更傾向于選擇短的。還有很多例子,比如不同的因素發(fā)揮作用,但在其他條件相同的情況下——你有一個較短的和較長的,我們也會選擇較短的。”
另有證據表明,谷歌對短的URL進行了具體的排序,而不是更長的URL。

如果你的網站包含超長URL,你可以將它們優(yōu)化為更短、更簡潔的URL,以更好地反映文章的主題和用戶意圖。

免責聲明:本文內容由互聯(lián)網用戶自發(fā)貢獻自行上傳,本網站不擁有所有權,也不承認相關法律責任。如果您發(fā)現(xiàn)本社區(qū)中有涉嫌抄襲的內容,請發(fā)送郵件至:operations@xinnet.com進行舉報,并提供相關證據,一經查實,本站將立刻刪除涉嫌侵權內容。

免費咨詢獲取折扣

Loading