宏哥娱乐网本次为大家分享的是小雨资源网：百度蜘蛛叫Baiduspider不是baidubot
【baiduspider】百度蜘蛛叫Baiduspider不是baidubot
百度蜘蛛叫Baiduspider不是baidubot
明天又遇到有同窗问我关于ROBOTS该如何去写的成绩，这里整理下给大家，其实也都是来源于网路上，留意百度的蜘蛛叫做Baiduspider而不是baidubot，谷歌的叫做googlebot。
1565247107204908.jpg
1、制止一切搜索引擎拜访网站的任何局部
User-agent:*
Disallow:/
2、允许一切的robot拜访(或许也可以建一个空文件"/robots.txt")
User-agent:*
Allow:/
另一种写法是
User-agent:*
Disallow:
3、仅制止Baiduspider拜访您的网站
User-agent:Baiduspider
Disallow:/
4、仅允许Baiduspider拜访您的网站
User-agent:Baiduspider
Allow:/
5、制止spider拜访特定目录
在这个例子中，该网站有三个目录对搜索引擎的拜访做了限制，即robot不会拜访这三个目录。需求留意的是对每一个目录必需
分开声明，而不能写成"Disallow:/cgi-bin//tmp/"。
User-agent:*
Disallow:/cgi-bin/
Disallow:/tmp/
Disallow:/~joe/
6、允许拜访特定目录中的局部url
User-agent:*
Allow:/cgi-bin/see
Allow:/tmp/hi
Allow:/~joe/look
7、运用"*"限制拜访url
制止拜访/cgi-bin/目录下的一切以".htm"为后缀的URL(包括子目录)。
User-agent:*
Disallow:/cgi-bin/*.htm
8、运用"$"限制拜访url
仅允许拜访以".htm"为后缀的URL。
User-agent:*
Allow:/.htm$
9、制止拜访网站中一切的静态页面
User-agent:*
Disallow:/*?*
10、制止Baiduspider抓取网站上一切图片
仅允许抓取网页，制止抓取任何图片。
User-agent:Baiduspider
Disallow:/*.jpg$
Disallow:/*.jpeg$
Disallow:/*.gif$
Disallow:/*.png$
Disallow:/*.bmp$
11、仅允许Baiduspider抓取网页和gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片
User-agent:Baiduspider
Allow:.gif$
Disallow:/.jpg$
Disallow:/.jpeg$
Disallow:/.png$
Disallow:/.bmp$
12、仅制止Baiduspider抓取jpg格式图片
User-agent:Baiduspider
Disallow:/.jpg$
