如何编写有效的robots.txt ？

1. 了解robots.txt 的作用

robots.txt 是一个纯文本文件，通常放置在网站的根目录下，用于告诉搜索引擎爬虫哪些页面可以访问，哪些页面不能访问。通过遵循robots.txt 文件中的规则，搜索引擎爬虫能够更加智能地抓取网站内容，从而提高网站在搜索引擎中的排名和曝光度。此外，robots.txt 文件还可以用来保护网站的隐私和安全，控制搜索引擎爬虫的抓取频率，以及指导爬虫爬取网站的特定部分。

2. 确保文件的命名和位置正确

文件命名 必须为“robots.txt ”，且必须放置在网站的根目录下。当搜索引擎爬虫访问网站时，它会首先查找robots.txt 文件，然后根据文件中的指示来决定是否访问某个页面或抓取某个目录。

3. 编写基本的robots.txt 规则

User-agent 指定了蜘蛛的名称或标识符，而Disallow 则指定了不允许访问的页面或目录。默认情况下是整个网站全部允许被任何搜索引擎抓取收录的，robots.txt 只用于禁止搜索引擎收录，所以只需要添加搜索引擎蜘蛛的名称(User-agent)和disallow(禁止收录的内容)即可。

4. 使用Disallow指令

如果你想阻止所有搜索引擎访问你的博客及其所有帖子，则robots.txt 文件应该像下方这样: User-agent:* Disallow:/blog/。这将阻止搜索引擎爬虫访问指定的目录及其所有子目录。

5. 使用Allow指令

如果你想允许搜索引擎爬虫访问某个目录下的特定页面，则可以在Disallow指令之后添加Allow指令，指定允许访问的路径。例如，如果你想允许访问/blog/allowed-post，但不允许访问/blog/another-post，可以这样做: Disallow:/blog/ Allow:/blog/allowed-post。