企业网站必须要注意避免的蜘蛛陷阱
第一、FLASH
有的网站整个首页就是一个很大的flash,这就构成了蜘蛛陷阱。搜索引擎住宅区的html代码只有一个链向flash文件的链接,没有其他文字内容。
还有网站在首页的banner就使用一个flash,并且添加活动链接,虽然对用户来说能够直观的看到活动内容,但是对于蜘蛛来说,就无法识别,而且抓取不到flash的链向地址。
第二、Session ID
有些网站使用sission ID(会话ID)跟踪用户访问,每个用户访问都会生成一个独特唯一的session ID,加在URL中。搜索引擎蜘蛛的每一次访问也会被当成一个新的用户,URL中会加上一个不同的session ID,这样搜索引 擎每次来访问时所得到的同一个页面的URL将不一样,后面带着一个不一样的session ID。这也是最常见的蜘蛛陷阱之一。
第三、各种跳转
除了301跳转以外,搜索引擎蜘蛛对其他形式的跳转都比较敏感,如302跳转,javascript跳转、meta refresh 跳转。
如果必须转向,301转向是搜索引擎推荐的、用于网站更改的转向,可以吧页面权重从旧网址转移到新网址。其他的转向方式都对蜘蛛爬行不利。所以除非万不得已,尽量不要使用301转向以外的跳转。
第四、框架结构
使用框架结构设计页面,在网站诞生初期曾经听流行,但是现在网站已经很少使用框架了,不利于搜索引擎抓取是框架越来越不流行的重要原因之一,对于搜索引擎来说,访问一个使用框架的网址所抓取的html只包含调用其他html文件的代码,并不包含任何文字信息。搜索引擎无法判断这个网址的内容是什么。
总之,如果你的网站还在使用框架,或者你的老板要使用框架结构,唯一要记住的是,忘记使用框架这回事。和Flash一样,别浪费时间研究怎么让搜索引擎收录框架结构网站。
第五、动态URL
动态URL值的是数据库驱动的网站所生成的、带有问号、等号及参数的网址。一般来说动态URL不利于搜索引擎蜘蛛爬行,应该尽量避免。虽然百度现在已经能够识别动态URL了,但是也不能保证百分百能识别。
第六、javaScript链接
由于javaScript可以创再出很多吸引人的视觉效果,有些网站喜欢使用javascript脚本生成导航系统。这也是比较严重的蜘蛛陷阱之一,虽然搜索引擎都在尝试解析JS脚本,不过我们不能寄希望与搜索引擎自己去客服困难,而要让搜索引擎跟踪爬行链接的工作尽量简单容易。
jacascritp链接在SEo中也有特殊用途,那就是站长不希望被收录的页面,比希望被百度抓起的链接,可以使用javascript脚本阻止搜索引擎蜘蛛爬行
第七、要求登录
有些网站的内容需要用户登录后才能看到的页面,这部分内容搜索引擎是无法看到的。这个要注意确定是否是需要登录以后才能看到。
第八、强制使用cookies
很多网站为了实现某种功能,强制使用cookies,用户浏览器如果没有启用cookies,页面显示不正常。搜索引擎蜘蛛就相当于一个禁止了cookies的浏览器,强制使用cookies只能造成搜索引擎蜘蛛无法正常访问。