绝大部分站长都了解，网站可以在搜索引擎里获得非常不错的排名是尤为重要的，于是不少站长竭尽讨好搜索引擎之能事，恨不能把搜索引擎的蜘蛛当成皇上来看待，期望可以获得蜘蛛的赏识，从而提高网站的排名，可是事实上，即便把蜘蛛伺候好了，也不可以够获得非常不错的排名，这是为何呢？由于蜘蛛并无人类的情感，即时你把它当成皇上他也对你毫无怜悯，该如何就如何，所以在SEO方面，并非对蜘蛛越好优化成效就越好，而是要了解取舍！要掌握屏蔽一些蜘蛛的方法！譬如除去限制蜘蛛在ADMIN和DATA上的爬行，还可以在其他的目录上适合的屏蔽蜘蛛，也是很有好处的，下面就来剖析几种屏蔽蜘蛛的方法！
1、图片和模板目录都可以进行屏蔽
由于现在不少站长都是在网络上找相同的图片和套用现成的模板，这类模板和图片已经在网络泛滥了，此时你还叫你的网站被蜘蛛第三爬行这类老牙齿脱落的东西，自然会让蜘蛛很反感，从而叫你的网站贴上模仿作弊的标签，想要获得搜索引擎的喜爱反而是愈加困难，所以IMAGES目录一般可以屏蔽！
2、缓存目录可以屏蔽，预防重复索引
蜘蛛是很贪婪的，只须你给他喂食，它是不管真实还是虚幻都照单全收，譬如网站的缓存目录里面的内容，蜘蛛也会照样来进行索引，这必然和网站里面的内容出现了重复，假如出现重复的数目过多，那样百度的算法机制就会觉得你的网站在作弊，从而甚至提高你网站的网站权重，给网站带来很大的影响，一般每种网站建设程序的缓存目录是不同的，要依据不一样的网站建设程序来屏蔽相应的缓存目录是非常有必要的！
3、CSS目录及部分RSS页需要屏蔽
CSS目录对于蜘蛛而言是完全无用的，抓取后反而会干扰搜索引擎算法的判断，所以可以通过ROBOTS.TXT文件来进行屏蔽，另外不少网站建设程序的RSS页也是一种内容的重复，抓取后也会导致搜索引擎的误判断，这两个方面的内容都需要屏蔽！这种屏蔽看着是对蜘蛛的大不敬，事实上却如良药苦口利于病！忠言逆耳利于行！
4、假如有双页面，那样优先屏蔽动态页面
通常而言，网站的静态页面是比较容易被搜索引擎网站收录，一般蜘蛛抓取和网站收录是两回事，网站除去静态页面以外，大多数网站还存在着动态的页面，譬如www.XXXX/1.html与www.xxxxx/asp?id=1这两个指的是同一个页面，假如不进行屏蔽的话，必然导致两个页面同时被蜘蛛抓取，可是到了搜索引擎算法判断的时候，由于发现了两个一样的页面，就会觉得你网站存在作弊的嫌疑，所以加强对你网站的考察力度，从而影响到网站的排名，所以正确的做法是优先屏蔽网站的动态页面！
5、涉及网站安全隐私的内容要屏蔽
本文的开头提到了ADMIN和DATA目录事实上是有关网站安全隐私的内容，暴露给蜘蛛是没丝毫好处的，甚至还或许会多一份被攻击的途径，所以涉及到有关安全的目录，譬如数据库目录，网站日志目录与备份目录都需要进行屏蔽，另外有的站长在网站备份后，再进行下载，可是下载过后有不注意对备份文件的删除，这也是比较容易致使蜘蛛重复抓取，也容易致使被黑客攻击，所以借助ROBOTS.TXT文件来屏蔽类似RAR和ZIP文件也是很有必要的！最起码可以增强网站的安全性！
标题名字网站优化实战:SEO要适合屏蔽蜘蛛
