主页> 建站经验> 怎样减少无▃效URL的爬◤行和索引
少年老成的云晨守望同学(题外话:少年老成是好事哈。我20多岁时人家说我像40岁,我40多岁时好多人说我像30多,男人20到50岁可以做到基本一个样子)在网络营销实战密码网站贴了个帖子:透过京东商城看国内一线B2C网站SEO通病。建议先看那个帖子再回来看本帖,不然不容易明白下面□在说什么。
简单说,帖子指出一个严重而且现实的SEO问题:很多网站,尤其是B2C,产品条件过滤系统(如选择产品的︻品牌、价格、尺寸、性能、参数等)会产生大量无效URL,之所以称为无效只是从SEO角度看的,这些URL并不能产生SEO作用,反倒有负面作用,所以这些URL不收录□ 为好,原因包括:
大量过滤条件页面内容重复或极为类似(大量复制内容将使网站整体质量下降)
大量过滤条件页面没有对应产品,页面无内容(如选择“100元以下42寸LED电视”之类的)
绝大部分过滤条件页面没有排名能力(排◣名能力比分类页面低得多)却浪费一定权重
这些过滤条件●页面也不是产品页面收录的必要通道(产品页面应该有其它内链帮助爬行和收录)
爬行大量过滤条件页面极大浪费蜘蛛爬行时间,造成有用页↘面收录机会下降(过¤滤条件页面组合起来是巨量的)
那么怎样尽量使这些URL不被爬行和索引、收录呢?前几天的一篇帖子如何隐藏内容也可能成为SEO问题讨论的是类似问题,这种过滤页面就是想隐『藏的内容种类之一。不过可惜,我目前想不出完美的解决方法。云晨守望Ψ 提出两个方法,我觉得都无法完美解决♀。
一是将不想收录的URL保持为动态URL,甚至故意越动态越好→,以阻止被爬行和收录▃。但是,搜索引擎现在都▓能爬行、收录动态URL,而且技术♀上越来越不是问题。虽然参数多到一定程度确实不利于收录,但4、5个参数通常还可以收录。我们无法确认需要多少参数才能阻止收录,所以不能当作一个可靠的方法。而且这些URL接收内链,又没有▼什么排名能力Ψ,还是会浪费一定权重。
第二≡个方法,robots禁止收录。同样,URL接收了内链也就接收了权重,robots文件禁止爬行这些URL,所以接收的权重不能传递出去(搜索引擎不爬行就不知道有什么导出链接),页面成为权重只进不出的黑洞。
连向这些URL的链㊣接配合【nofollow也不完美,和robots禁止类似,nofollow在Google的效果是这些URL没有接收权重,权重却也没有被分配到其它链接上,所以权重同样浪费了。百度据称支】持nofollow,但权重怎么处¤理未知。
将这些URL链接放在Flash、JS里也没有用,搜索引擎已经可以爬行№Flash、JS里的链接,而且估计以后越来越擅长爬。很多SEO忽略了的一点是,JS中的链接不仅能被爬,也能传递权重,和正常连接一╳样。
也可以将☆过滤条件链接做成AJAX形式,用户点击〖后不会访问一个新的URL,还是在原来URL上,URL后面加了#,不会被当成不同URL。和JS问题一样,搜索引擎正在积∩极尝试爬行、抓取AJAX里的内容,这个方法也不保险。
还一个方法是在页面head部分加noindex+follow标签,意即本页面不♂要索引,但跟踪页面上的链接。这样可以解决复制内容问题,也解决了权重黑洞问题(权重是可以随着导出链接传到其它页面的),不能解决★的是浪费蜘蛛爬行时间问题,这些页面还是要被蜘蛛爬行抓ω 取的(然后才能看到页面html里的noindex+follow标签),对某些网站来说,过滤页面数量巨大,爬行了这些页面,蜘蛛就◣没足够时间爬有用页面了。
再一个可以考虑的方法是隐※藏页面(cloaking),也就是〓用程序检测访问者,是搜索引擎蜘蛛的话返回的页面拿掉这些过滤条件链接,是用户的话才返回正常的有过滤条件的页面。这是一个比较↑理想的解决方法,唯一的问题是,可能被当作作≡弊。搜索引擎】常跟SEO讲的判断是否作弊的最高原则是:如果没有搜索引擎,你会不会这么做?或者说,某种方法是否只是为了搜索引擎而采用?显然,用cloaking隐藏」不想被爬行的URL是为搜索引擎做的,不是为用户做的。虽然这种情况下的cloaking目的是美好的,没∑ 有恶意的,但风险是存在的,胆大的●可试用。
还一个方法是使用canonical标签,最大问题是百度是否支持未知,而且canonical标签是对搜索引擎的建议,不是指令,也就是说这个标签搜索引擎可能不遵守,等于没用。另外,canonical标签的本意是指定规范化网址,过滤条件页面是否适用有▼些存疑,毕竟,这些页面上的内容经常是¤不同的。
目前比较好的方法之一是iframe+robots禁止。将过滤部分代码放进iframe,等于调用其它文件内容,对搜索引擎来说,这部分内容不属于①当前页面,也即隐藏了内容。但不ξ 属于当前页面不等于不存在,搜索引擎是可以发现iframe中的内容和链接的,还是可能爬行这些URL,所以加robots禁止爬行。iframe中的内容还是会有一些权重流失,但因为iframe里的链接不是从当前页面♀分流权重,而只是从调用◣的那个文件分流,所以权重流失是比较少的。除了排版、浏览器兼容性之类的头疼问题,iframe方法的一个潜在问题是被认为作弊的风险。现在搜索引擎一般不认为iframe是作弊,很∴多广告就是放在iframe中,但隐藏一堆链接和隐藏广告有些微妙的区别。回到搜索引擎判断作弊↘的总原则上,很难说这不是专门为搜索引擎做的。记得Matt Cutts说过,Google以后可能改变处理iframe的方式,他们还是希望在同一个页面上看到普通用户能看到的所有内容。
总之,对这》个现实、严重的问题√,我目前没有自己觉得完美的答案。当然,不能完美解决不是就不能活了,不同网站SEO重点不同,具体问题具体分析,采用上述方法中的一种或几种应该可以解决主要问题。
而最最最大的问题还不是上述这些,而是有时候▃你想让这些过滤页面被爬行和收录,这才是杯具的开始。以后再讨论。
- 上一篇:Bing推出外链查询工具╱
- 下一篇:爬行、抓取、索引、收录,指的都是什么?
- 2019-06-04 如果你想赚钱,不要选择做SEO博客
- 2019-06-21 企业网∑ 站内容优化基础知识
- 2019-06-06 分析啥是网站关键词密度?
- 2019-07-22 【搜索引擎优♂化】粮食安全基础夯
- 2019-06-12 新站挑选关键词的注意事项
- 2019-05-20 「seo优化」alt标签对网站优化会产
- 2019-06-19 互联网移动站制作注意事项有哪些
- 2019-05-18 做seo如何选择︽可靠的网站优化公司
- 2019-05-08 dede首页模板的SEO设置(织梦SEO教
- 2019-05-24 关于SEO风波
- 2019-06-12 【北京seo】该如〓何避免seo误区重复
- 2019-05-08 百度如何衡量网页的内容质量
- 2019-05-10 百度seo排名点击器的作用有哪些?
- 2019-06-01 SEO优化只是进▲行SEO优化吗?
- 2019-06-22 【北京seo】_传微软拟进军电商网
- 2019-06-10 如何使用内部链接提升网站收录?
- 2019-05-17 「搜索引擎优化」SEO优化之Spide
- 2019-05-16 加入搜索引擎:如何善用搜索引擎
- 2019-05-08 SEO教程:教你如何看百度收录与索
- 2019-05-30 经验之谈:一场“危机事件”引发
- 2019-06-17 什么是搜索引擎,SEO的意思是什么
- 2019-05-10 网站建设中如何避免进入雷区
- 2019-06-07 TAG标签使用与整理注意ω事项
- 2019-06-13 网站长期不更新内容是否能有好排
- 2019-06-06 seo优化怎么提高用户体验的方法
- 2019-05-17 seo排名优〗化培训:教你如何操作网
- 2019-06-22 【seo培训】_广元建站优化g3云推广
- 2019-06-19 传统企业网站如何设计才能吸引用
- 2019-06-15 网站改版后如何进入良性循环阶段
- 2019-06-06 说一下新手怎么做站外SEO优化
- 2019-05-10 怎样给网站更好的建设出高质量的
- 2019-05-18 新●网站优化如何快速有排名
- 2019-05-18 做seo如何选择可靠的网站优化公司
- 2019-06-13 网站优化的几点禁忌是什么?
- 2019-06-26 【seo是什么】_中企动力1.18建站节
- 2019-05-28 怎样减少无效URL的爬行和索引
- 2019-05-31 apache设置txt文件直接下载而不是网
- 2019-05-31 网站内存在大量◥死链接,对百度熊
- 2019-06-01 网站外链优化如何做
- 2019-06-04 新媒体下网站软文推广 如何传播
- 2019-06-18 导出链接对网站只有不利影响吗?
- 2019-07-04 【怎么做seo】_成都网多多万词霸
- 2019-06-22 【北京seo】_上海91获客如何判断关
- 2019-05-08 网站日志里大量的304、404蜘蛛状态
- 2019-05-08 百度权重是什么?
- 2019-05-08 别人不知道的关键词维度分析
- 2019-06-24 【seo技术】_P2P平台实战运营之》-
- 2019-05-08 SEO分类:可分为白帽SEO、黑帽SE
- 2019-05-16 网站优化怎么做突破SEO优化技术瓶
- 2019-06-04 不知道这三大类型四大要素,你如
- 2019-06-22 【北京seo教程】_小白建站须知的
- 2019-05-22 如何让企业更加具有竞争力?
- 2019-06-01 资深老站长告诉你新网站上线怎么
- 2019-06-07 TAG标签使用与整理注意事项
- 2019-06-19 网站设计要符合什么标准才能吸引
- 2019-05-10 百度网站优化如何让网站脱颖而出
- 2019-06-21 企业站优化方案的思路
- 2019-07-22 【搜索引擎优化】粮食安全基础夯
- 2019-05-08 文章页url后面要不要带html后缀?
- 2019-05-10 关键词排名如何提升掌握方法技巧
- 2019-06-22 【北京seo教程】_小白建站须知的
- 标签列表
-