禁止了百度机器人Baiduspider访问我网站了。
百度总是不收录俺的网站,只收录首页,其它的比如360了,谷歌了,都收录过百了好吧,俺不用你了,反正俺这个网站木有人用搜索引擎的,基本上木有访问的。
所以。。。。所以。。。。禁止你了,不让你访问了
神马事
robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。Robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。 baiduspider是百度蜘蛛,googlebot谷歌机器人Disallow:后的内容是网站robots.txt文件里禁止搜索引擎抓取的目录
页:
[1]