robots

Robots文件规范写法

Robots文件规范写法

Robots文件是用以告诉百度蜘蛛网站的哪些页面可以被抓取,哪些页面不可以被抓取。一般使用robots.txt文件是为了禁止搜索引擎蜘蛛抓取无效页面,集中权值到主要页面和设置访问权限保护网站安全。

2019-12-13