robots对seo重要吗?格式是怎么写的?

2019/03/27 22:44 · SEO教程 ·  · 0评论

设置好robots文件对SEO优化非常重要,一般情况下不建议robots全部为空不写的,关于robots的写法具体如下:

例1:禁止所有搜索引擎访问网站的任何部分

User-agent: *

Disallow: /

例2:允许所有的蜘蛛访问网站任何部分你也可以建立一个空文件robots.txt

User-agent: *

Allow: /

例3:只禁止某一个蜘蛛访问您的网站

User-agent: Baiduspider

Disallow: /

例4:只允许某一个蜘蛛访问您的网站

User-agent: Baiduspider

Allow: /

User-agent: *

Disallow: /

例6:禁止蜘蛛抓取特定的路径

User-agent: *

Disallow: /aaa/ 禁止所有蜘蛛访问"aaa"路径下的文件

Disallow: /aaa/ccc/ 禁止所有蜘蛛访问"aaa"下面的ccc路径

Disallow: /aaa/*.html 禁止访问aaa路径下的所有带.html为后缀的路径

Disallow: /*?* 禁止访问网站中所有的带问号路径即动态页面

Disallow: /*?$ 禁止访问网站以问号结尾的任何路径

Disallow: /*.php$ 禁止访问以.php为结尾的任何路径

例7:仅允许访问某个特定的路径

User-agent: *

Disallow: /

Allow: /*.html 只允许访问网站以 .html 为后缀的路径

例8:禁止抓取某种格式图片

User-agent: *

Disallow: /*.jpg$

Disallow: /*.gif$

Disallow: /*.png$

本文地址:https://www.foxizhanzhang.com/1501.html
文章标签:
版权声明:本文为原创文章,版权归 佛系站长 所有,欢迎分享本文,转载请保留出处!

文件下载

上一篇:
下一篇:

 发表评论


表情