robots.txt 文件是网站与搜索引擎爬虫沟通的第一道协议。把它放在站点根目录,就能告诉爬虫哪些页面可以抓取、哪些应当避开。虽然它并非强制权限,但正确配置能减少无效抓取、保护后台目录,并辅助 SEO 管理。
一个标准 robots.txt 由若干条记录组成,每条记录以 User-agent 开头,后跟一条或多条规则。
示例:
User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml
第一,路径区分大小写,写错目录等于没写。第二,Disallow: / 会屏蔽整站,上线前务必检查。第三,robots.txt 不能阻止页面被索引,只能限制抓取;需要彻底屏蔽请用 noindex。第四,不要用它隐藏敏感信息,文件本身是公开可访问的。
最后,robots.txt 应保持简洁、及时更新。站点改版或新增目录后,同步调整规则,才能让爬虫高效工作,避免资源浪费。