在做网站优化中不仅是seoer需要注意网站优化的各个方面,在网站设计中,设计人员也理应注意怎样才能避免蜘蛛的陷阱,今天来给大家介绍下应该从哪些方面避免。
1.Flash:flash不利于蜘蛛的爬行和抓取,在网页中,在某处小地方可以使用flash做一个视觉上的效果很正常,页面还是以文字为主,对蜘蛛的爬行和抓取影响不到。但是如果一个网站连首页导航也是用的flash做的,也没有什么内部链接可以链接到分类页,这样的网站叫蜘蛛如何抓取?有的网站整个首页就是一个大的flash文件,这就构成了蜘蛛陷阱。
2.Session ID:这个是会话ID,有些网站通常用它来跟踪用户访问,每个用户访问网站的时候都会发生独特唯一的Session ID,加在URL中。这个是动态的,只要每次蜘蛛来爬行的时候,爬行的url跟原来爬行的url都是不一样的,所以通常建议跟踪用户访问应该使用cookies而不是生成Session ID。这也是蜘蛛的陷阱。
3.各种跳转:搜索引擎比较友好的是301重定向跳转,对于其他302,javascript跳转,flash跳转等搜索引擎也都是比较敏感的,如果必须转向,301转向是搜索引擎推荐的,用于网址更改的转向,可以把页面权重从旧网址中转移到新网址。
4.框架结构:对搜索引擎来说,访问一个使用框架的网址所抓取的HTMl只包含条用其他html文件的代码,并不包含任何文字信息,搜索引擎根本无法判断这个网址的内容是什么。这也是一个蜘蛛陷阱。
5.动态url:带有很多参数的url不利于蜘蛛的爬行,比如数据库驱动的网站所生成的、带有问好、等号的参数的网址。
6.JavaScript链接:由于js可以创造出很多吸引人的视觉效果,有些网站喜欢使用js脚本生成导航系统,这也是比较严重的蜘蛛陷阱之一。所以网站上的 链接必须使用最简单的html链接,尤其是导航系统,当然用咱们所熟知的css也能一样的设计出很好的视觉效果的。
7:.要求登陆:有些网站内容放在需要用户登陆之后才能看到的会员区域,这部分内容搜索引擎无法看到。蜘蛛不能填写用户名、密码、也不能注册
8.墙纸使用Cookies:为了使用某种功能,强制用户使用cookien来记住用户信息,来跟踪用户访问路径,这样的结果会导致用户如果用户的浏览器中没有启用cookies,页面就会显示不正常,搜索引擎蜘蛛就相当于一个禁用了Cookies的浏览器,强制使用COOKies只能造成搜索引擎蜘蛛无法正常访问。