共计 595 个字符,预计需要花费 2 分钟才能阅读完成。
robots.txt 的写法是做 seo 的人员必须知道的(什么是 robots.txt),但该如何写,禁止哪些、允许哪些,这就要我们自己设定了。
百度蜘蛛是一机器,它只认识数字、字母和汉字,而其中 robots.txt 就是最重要也是最开始和百度“对话”的内容。
当我们的网站在没有建好的时候,我们不希望百度来抓取我们的网站,往往有人会禁止百度来抓取。但是,这种做法是非常不好的,这样会让百度蜘蛛很难再来到你的网站了。所以,我们必须现在本地搭建网站,等一切都搞好以后,再去买域名、空间,要不,一个网站的反复修改,会对你的网站有一定的不利影响。
我们的网站起初的 robots.txt 写法如下:
user-agent: *
disallow: /wp-admin/
disallow: /wp-includes/
user-agent: * 的意思是,允许所以引擎抓取。
而 disallow: /wp-admin/ 和 disallow: /wp-includes/,则是禁止百度抓取我们的隐私,包括用户密码、数据库等。这样的写法既保护了我们的隐私,也让百度蜘蛛的抓取最大化。
如果,你想禁止百度蜘蛛抓取某一个页面,比如 123.html,那就加一句代码“disallow: /123.html/”即可。
robots.txt 写好后,只需要上传到网站的根目录下即可。
以上就是 robots.txt 的写法的详细内容,更多请关注王尘宇博客其它相关文章!
正文完