■王铮

可能有的朋友会奇怪，网站的页面不是让搜索引擎抓的越多越好吗，怎么还会有怎么让网站页面内容不被抓取的想法。

首先，一个网站可以分出去的权重是有限，哪怕是Pr10的站，也不可能无限的分权重出去。这权重包括链到别人网站的处链以及自己网站内的内链。

外链的话，除非是想坑被链的人。否则外链都是需要让搜索引擎所抓取，这不在本文讨论范围之内。

而内链，因为有些网站有不少重复或冗余的内容。比如一些按条件查询的搜索结果。特别是一些B2C 站，在专门查询页或在所有产品页面的某个位置内，都可以按产品类型，型号，颜色，大小等进行分类搜索。这些页面虽然对浏览者来说是极大的方便，但对搜索引擎来说，这可是耗费蜘蛛极大的抓取时间，特别是网站页面较多时。同时也会分散页面权重,对SEO 不利。

另外网站管理登陆页面，备份页面，测试页面等等，也是站长不想让搜索引擎所收录的。

所以就有需要让网页的某些内容，或某些页面不被搜索引擎所收录。

下面笔者先介绍一下较为有效的几种方法：

1.在FLASH 展示不想被收录的内容

众所周知，搜索引擎对FLASH 的内容抓取能力有限，不能完全抓取所有FLASH 内的所有内容。但遗憾的是，也不能完全保证FLASH 的所有内容都不会被抓取。因为谷歌和Adobe 正努力的实现FLASH 抓取技术。

2.使用robos 文件

这是暂时最有效的方法，但有个很大的缺点。就是不传出任何的内容及链接。大家知道，在SEO 来说比较健康的页面应该是有进有出的。……