robots.txt编写指南：从零开始正确配置爬虫规则

📍 WDQWDWQD987AAAAA:216.73.216.206
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2a1ae015bc89.html
📄

robots.txt 是网站与搜索引擎爬虫沟通的第一道桥梁。正确编写 robots.txt，既能保护敏感目录，又能引导爬虫高效抓取。本文将从基础语法到实战技巧，帮你掌握 robots.txt 编写的核心要点。

一、robots.txt 基本结构

robots.txt 是一个纯文本文件，必须放在网站根目录下，例如 https://example.com/robots.txt。它由若干条记录组成，每条记录以 User-agent 开头，后跟 Allow 或 Disallow 规则。

• User-agent：指定规则针对的爬虫，如 Googlebot、Baiduspider，* 代表所有爬虫。
• Disallow：禁止抓取的路径，留空表示允许全部。
• Allow：允许抓取的路径，通常用于覆盖 Disallow 的例外。

二、编写 robots.txt 的常见示例

以下是一个基础示例，禁止所有爬虫访问 /admin/ 和 /private/ 目录，但允许访问 /public/：

User-agent: * Disallow: /admin/ Disallow: /private/ Allow: /public/

如果想针对特定爬虫设置不同规则，可以分别编写：

User-agent: Googlebot Disallow: /no-google/ User-agent: Baiduspider Disallow: /no-baidu/

三、编写时的注意事项

1. 路径大小写敏感：/Admin/ 与 /admin/ 是不同的路径，务必区分。
2. 通配符支持：部分爬虫支持 * 和 $，如 Disallow: /*.pdf$ 可禁止所有 PDF 文件。
3. 不要屏蔽 CSS 和 JS：否则搜索引擎无法正确渲染页面，影响排名。
4. 使用 Sitemap 指令：在文件末尾添加 Sitemap: https://example.com/sitemap.xml，帮助爬虫发现内容。

四、测试与验证

编写完成后，务必使用搜索引擎的 robots.txt 测试工具验证规则是否生效。例如 Google Search Console 提供了实时测试功能，可以模拟 Googlebot 抓取指定 URL，检查是否被屏蔽。

总之，robots.txt 编写并不复杂，但需要细心。遵循以上指南，你就能写出既安全又高效的 robots.txt 文件，让网站与爬虫和谐共处。