为什么要禁抓自己的网页呢?这似乎有点让人不理解，因为对于自己的网站来说，显然是让百度搜查引擎抓取的越多就会越好，因为有着更多的机会揭露到互联网上。可是事实上一个网站通常有很多的内页不应该被百度抓取，因为这些网站页面不仅不利于自身的优化，甚至还会带来反作用。

　　那么通常哪些网站页面不应该被百度抓取呢?比如网站内部存在着一定的重复性内容，比如一些遵照条件查询获得的结果页面，这一点在很多商城类网站表示的异常突出，比如一个产品因为颜色、大小和型号的差异，就会出现很多种类似的页面，这种页面能够对用户来说具有一定的体验度，可是对于搜查引擎，却轻易因为提供的重复内容太多，而被惩处或者降权。

　　另外网站中还存在着很多注册页面、备份的页面以及测试页面等，这些页面仅仅是为了让用户能够更好的操作网站，以及自己对网站的操作管理。而这些页面由于内容相对单调，并不适合百度对内容质量的要求，因此要尽可能的规避被百度收录和抓取。下面就来具体谈谈如何规避百度抓取内容页的方法。

　　第一，运用Flash技术来展现那些不想被百度收录的内容

　　通过这种方法不仅能够让用户获得更好的用户体验，同时百度也不能够抓取这些内容，从而实现更好的服务于用户，同时也不会影响到自己的内容再百度中揭露。

　　第二，采用robots脚本技术来屏蔽相应的内容

　　目前搜查引擎行业协会规定了对于Robots描述的内容和链接赋予遏制抓取，因此对于网站上存在着隐私内容，以及管理页面和测试页面等内容，都可以设置到这个脚本文件中，这不仅能够对本网站提供很好的维护，同时也能够让那些看起来是垃圾的内容，规避被百度抓取后，反而对本网站形成巨大的负面作用。

　　第三，使用nofollow属性标签来摒弃页面中那些不想被收录的内容

　　这种方法使用比较常见，而且能够针对网页中某一个区域或者一段文字进行屏蔽，从而提升自己网站内容的优化效果。采用这种技术只需要对需要屏蔽的内容将nofollow属性设置为True，就能够屏蔽这些内容。比如对于网站上存在着一些精彩的内容，可是这些内容还包括了锚文本链接，那么为了防范这些锚文本外链偷走本站的权重，就可以对这些锚文本链接设置nofollow属性，这样就能够享受到这些内容带给网站的流量，同时也能够规避网站权重被分流的危急。

　　第四，使用Meta Noindex和follow标签

　　使用这种方式既能够实现防止被百度收录，同时还能够实现权重的传递，当然具体怎么操作还需要看站长们的须要，不过采用这种方式来屏蔽内容，往往会浪费百度蜘蛛的抓取时间，从而影响优化体验，也就是说不到万不得已时不需要采用这种模式。

　　对于有些站长采用的表单模式和Javascript技术来进行屏蔽，目前已经不能够完成这项使命了，因为随着百度蜘蛛智能化水平的提升，采用这些技术编篡的内容已经能够被抓取，而且从不久的将来，Flash里面的内容一旦能够被抓取，如果想要屏蔽网站内容，这个方法也要规避使用。谢谢阅读，希望能帮到大家，请继续关注脚本之家，我们会努力分享更多优秀的文章。