robots txt文件怎么写?robots txt完整写法与避坑指南

📍 WDQWDWQD987AAAAA:216.73.217.46
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /5af1ee0c2445.html
📄

robots.txt 文件是网站与搜索引擎爬虫沟通的第一道协议。把它放在站点根目录,就能告诉爬虫哪些页面可以抓取、哪些应当避开。虽然它并非强制权限,但正确配置能减少无效抓取、保护后台目录,并辅助 SEO 管理。

robots.txt 的基本语法

一个标准 robots.txt 由若干条记录组成,每条记录以 User-agent 开头,后跟一条或多条规则。

示例:

User-agent: *
Disallow: /admin/
Allow: /admin/public/
Sitemap: https://example.com/sitemap.xml

常见写法与注意事项

第一,路径区分大小写,写错目录等于没写。第二,Disallow: / 会屏蔽整站,上线前务必检查。第三,robots.txt 不能阻止页面被索引,只能限制抓取;需要彻底屏蔽请用 noindex。第四,不要用它隐藏敏感信息,文件本身是公开可访问的。

配置后的检查步骤

  1. 浏览器访问 /robots.txt,确认返回 200 状态。
  2. 用搜索引擎站长工具的 robots 测试功能验证规则。
  3. 观察服务器日志,确认爬虫抓取频率是否合理。

最后,robots.txt 应保持简洁、及时更新。站点改版或新增目录后,同步调整规则,才能让爬虫高效工作,避免资源浪费。

图1 图2

nginx