实例验证Robots重复链接产生的解决办法

　　1.就我使用的情况，首先是产品页和文章页会有很多的页面以 ?from=rss 结束

　　如 http://www.xxxx.com/goods-1.html?from=rss

　　这个的解决方法有二，一是通过删除rss信息订阅功能，二是Robots设置

　　上海网站建设选择的是第二种

　　所以协策网络在Robots里加了一条禁止搜索引擎索引的语句：

　　Disallow: /*rss*

　　这句的意思是只要根目录下的链接带 "rss"就不索引，除非你的网站会有带页面地址里正好出现rss这连续三个子母，这个语句都可以解决这个问题。

　　2.分类页里的动态链接

　　分类页里充斥了大量的动态链接

　　包括属性筛选的链接

　　排序的链接

　　显示方式的链接

　　接下来我们逐一击破

　　首先是属性筛选的链接

　　如http://www.xxxx.com/category-1-min80-max90-attr0.html

　　这个是筛选里面的价格的筛选

　　包括其他属性的链接，我们发现规律就是都会出现 "min" "max" "attr"三个词，分别是最小，最大，属性值

　　和上面的，我们在Robots加了一跳禁止抓取包括这三个词的语句：

Disallow: /*min*
 

Disallow: /*max*

Disallow: /*attr*

　　然后，排序的链接和显示方式的链接我们点击后同样会出现类似一长串，其中仍然包括 "min" "max" "attr"三个词

　　因而上面Robots的设置已经可以解决

　　这样就完了吗?没有，虽然我们设置了Robots的抓取，但为了让蜘蛛爬行更方面直接，我们需要做另外一个工作，就是限制爬行

　　找到模板文件里对应的属性筛选和产品列表的模板文件(我自己的是cat_filter.lbi和goods_list.lbi)

　　找到属性筛选、排序、显示方式的链接代码，在其里增加一句 rel="nofollow"，意思就是限制爬行

　　robots的作用在于禁止抓取，而nofollow则在于禁止爬行，双管齐下很好的引导了蜘蛛和搜索引擎

　　3.其它的一些重复动态链接

　协策网络发现的其它重复链接还包括品牌商品里的显示方式

　　如http://www.xxxx.com/brand-1-c0.html?display=text等

　　我在Robots同样加了三句

Disallow: /*min*
 

Disallow: /*max*
 

Disallow: /*attr*

　　就解决了不同显示方式还有不同链接的重复收录问题

　　以上是上海网页设计协策网络所提到的并未包含所有的动态链接，但给大家做了一个不错的参考，因为万变不离其宗，朋友们可以依据我提到的方法和思路慢慢的把自己的Robots写完整，同时适当的使用nofollow在模板里限制蜘蛛的爬行。

本文由上海网站制作协策网络(http://580plan.com/，http)网编发表，欢迎大家转载，转载时请保留此链接，谢谢合作！