2019-12-13 14:02:49
Robots文件是用以告诉百度蜘蛛网站的哪些页面可以被抓取,哪些页面不可以被抓取。
一般使用robots.txt文件是为了禁止搜索引擎蜘蛛抓取无效页面,集中权值到主要页面和设置访问权限保护网站安全。
robots.txt文件规范写法格式:
1、禁止抓取写法
User-agent :* (*表示所有类型蜘蛛,也可以自行定义搜索引擎蜘蛛,如User-agent : Baiduspider)
Disallow : / (禁止抓取文件或目录)
2、允许抓取写法
User-agent : *(定义搜索引擎蜘蛛)
Allow : / (允许抓取)
注:
1、使用*和$:Baiduspider支持使用通配符*和$来模糊匹配url。
2、*匹配0或多个任意字符
3、$匹配行结束符。
如果不知道怎么写robots.txt,可以参照图片中的详细举例说明自行修改。
robots.txt文件需要放在网站根目录生效,一般写好Robots.txt文件后,建议用校验工具查看您网站robots.txt文件在百度生效的情况。
下一篇:网站域名备案密码怎么找回