怎么有效禁止虚假百度蜘蛛【亲测有效】

我们在分析网站日志的时候，常常会发现一些莫名其妙的IP段，怎样分辨这些IP段是否为真正的百度蜘蛛呢?如果是虚假的百度蜘蛛我们能否进行禁止或者屏蔽呢?答案是可以的。

禁止虚假百度蜘蛛

先来介绍怎样分辨真假百度蜘蛛;首先，在网站日志中统计所有需要查询的IP地址;

其次，对于非苹果电脑用户，按住【windows+R】快捷键，打开“运行”;

第一，在“文本框”内输入“cmd”，然后按Enter键，或者单击“确定”按钮!单击Enter键之后打开如下的对话框;

第二，在光标位置处输入nslookup 123.125.71.95，中间有一个空格;也可以先复制IP，然后在光标处右击，就会完成粘贴;IP输入完成后，按Enter就可以出现分析结果;可以看出这个IP是真正的百度蜘蛛。通过此方法，我们还可以发现谷歌蜘蛛、360蜘蛛、搜狗蜘蛛、神马蜘蛛等。

分辨真正百度蜘蛛的方法还有很多，大家可以自己百度一下并实操。如果你不想让某一个或某几个虚假百度蜘蛛爬取你网站的内容，我们就可以禁止或屏蔽这些IP，怎样屏蔽呢?有2种方法。

第一种方法：从服务器的防火墙上屏蔽IP，不过爬虫通常有很多IP，我们可以屏蔽爬虫的IP段;但是如果爬虫的IP段没有规律，那此种方法就不适用了。

第二种方法;.htaccess屏蔽虚假百度蜘蛛。有一些虚假的百度爬虫并不遵守robots规则，那我们还可以通过.htaccess来屏蔽它，代码如下：上图中htaccess屏蔽蜘蛛的方法是一种比较简单的方法，还有其他的一些方法可以使用，感兴趣的小伙伴可以尝试一下。

感谢您的来访，获取更多精彩文章请收藏本站。