Robots文件规范写法

2019-12-13 14:02:49网站建设

Robots文件是用以告诉百度蜘蛛网站的哪些页面可以被抓取,哪些页面不可以被抓取。

一般使用robots.txt文件是为了禁止搜索引擎蜘蛛抓取无效页面,集中权值到主要页面和设置访问权限保护网站安全。

robots.txt文件规范写法格式:

1、禁止抓取写法

User-agent :* (*表示所有类型蜘蛛,也可以自行定义搜索引擎蜘蛛,如User-agent : Baiduspider)

Disallow : / (禁止抓取文件或目录)

2、允许抓取写法

User-agent : *(定义搜索引擎蜘蛛)

Allow : / (允许抓取)

注:

1、使用*和$:Baiduspider支持使用通配符*和$来模糊匹配url。

2、*匹配0或多个任意字符

3、$匹配行结束符。

如果不知道怎么写robots.txt,可以参照图片中的详细举例说明自行修改。

Robots

robots.txt文件需要放在网站根目录生效,一般写好Robots.txt文件后,建议用校验工具查看您网站robots.txt文件在百度生效的情况。

Robots文件规范写法相关