robots.txt 详解:如何正确配置与优化网站抓取

📍 WDQWDWQD987AAAAA:216.73.216.206
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /7b0a866ff524.html
📄

什么是 robots.txt

robots.txt 是放置在网站根目录下的纯文本文件,用于告诉搜索引擎爬虫哪些页面可以抓取、哪些不能。它遵循 Robots 排除协议,是 SEO 中最基础的抓取控制手段。正确配置 robots.txt 能引导爬虫高效索引,避免浪费服务器资源。

robots.txt 的基本语法

文件由若干条记录组成,每条记录包含 User-agent 和规则指令。常见指令:

常见配置示例

禁止所有爬虫抓取整个网站:

User-agent: * Disallow: /

仅允许 Googlebot 抓取,其他全部禁止:

User-agent: Googlebot Allow: / User-agent: * Disallow: /

屏蔽后台和动态参数:

User-agent: * Disallow: /admin/ Disallow: /*?sessionid= Allow: /

配置 robots.txt 的注意事项

  1. 不要屏蔽 CSS 和 JS:Google 需要渲染页面,屏蔽会导致索引异常。
  2. Disallow 不等于 noindex:被禁止抓取的 URL 仍可能被索引,需用 meta noindex 或 HTTP 头控制。
  3. 路径区分大小写:/Admin/ 和 /admin/ 不同,务必核对。
  4. 使用绝对路径:Sitemap 必须写完整 URL,如 https://example.com/sitemap.xml。
  5. 定期测试:利用 Google Search Console 的 robots.txt 测试工具验证。

robots.txt 与 SEO 的关系

合理使用 robots.txt 可以集中抓取预算,提升重要页面的收录效率。但错误配置可能造成大量页面无法被抓取,流量大幅下滑。建议修改前备份,并在测试环境验证。对于电商、新闻等内容频繁更新的网站,robots.txt 应保持简洁,仅屏蔽确实无需索引的路径。

总之,robots.txt 是爬虫与网站沟通的第一道门,掌握其语法与最佳实践,是每个 SEO 从业者的必修课。

图1 图2

nginx