? 如何提高网站的抓取与收录数量 - 金戈铁马SEO培训网
當前位置 : 超級SEO培訓網 / 案例分析

如何提高網站的抓取與收錄數量

金戈鐵馬SEO培訓網   http://www.sdcdrg.com/   December-22 11:00:43

很多有關于網站結構、抓取與收錄、甚至是排名的問題都可以被歸結為一個中心問題,那就是:搜索引擎能夠多么容易的抓取您的網站?
網絡世界極其龐大;每時每刻都在產生新的內容。Google 本身的資源是有限的,當面對幾近無窮無盡的網絡內容的時候,Googlebot 只能找到和抓取其中一定比例的內容。然后,在我們已經抓取到的內容中,我們也只能索引其中的一部分。

URLs 就像網站和搜索引擎抓取工具之間的橋梁: 為了能夠抓取到您網站的內容,抓取工具需要能夠找到并跨越這些橋梁(也就是找到并抓取您的URLs)。如果您的URLs很復雜或冗長,抓取工具不得不需要反復花時間去跟蹤這些網址;如果您的URLs很規整并且直接指向您的獨特內容,抓取工具就可以把精力放在了解您的內容上,而不是白白花在抓取空網頁或被不同的URLs指引卻最終只是抓取到了相同的重復內容。


幫助抓取工具更快更好地找到您的內容的一些建議,主要包括:


1、去除URL中的用戶相關參數
那些不會對網頁內容產生影響的URL中的參數——例如session ID或者排序參數——是可以從URL中去除的,并被cookie記錄的。通過將這些信息加入cookie,然后301定向向至一個“干凈”的URL,你可以保持原有的內容,并減少多個URL指向同一內容的情況。


2、控制無限空間
你的網站上是否有一個日歷表,上面的鏈接指向無數個過去和將來的日期(每一個鏈接地址都獨一無二)?你的網頁地址是否在加入一個&page=3563的參數之后,仍然可以返回200代碼,哪怕根本沒有這么多頁?如果是這樣的話,你的網站上就出現了所謂的“無限空間”,這種情況會浪費抓取機器人和你的網站的帶寬。如何控制好“無限空間”,參考這里的一些技巧吧。


3、阻止Google爬蟲抓取他們不能處理的頁面
通過使用你的robots.txt 文件,你可以阻止你的登錄頁面,聯系方式,購物車以及其他一些爬蟲不能處理的頁面被抓取。(爬蟲是以他的吝嗇和害羞而著名,所以一般他們不會自己 “往購物車里添加貨物” 或者 “聯系我們”)。通過這種方式,你可以讓爬蟲花費更多的時間抓取你的網站上他們能夠處理的內容。


4、 一個 URL, 一段內容
在理想的世界里,URL和內容之間有著一對一的對應:每一個URL會對應一段獨特的內容,而每一段內容只能通過唯一的一個URL訪問。越接近這樣的理想狀況,你的網站會越容易被抓取和收錄。如果你的內容管理系統或者目前的網站建立讓它實現起來比較困難,你可以嘗試使用rel=canonical元素去設定你想用的URL去指示某個特定的內容。


本文來自金戈鐵馬SEO培訓網(www.sdcdrg.com),轉摘請注明出處。

體驗版課程下載

學員成果分享

yy那种网赚真实吗 网赚平台是真的吗 网赚能赚到钱吗 中文点击网赚新手入门 2019国外网赚 众盈彩票APP 网赚平台排行榜 2019国外挂机网赚联盟 上海天天彩选4 吉林快3