Robots.txt 生成器
一键生成标准的 Robots.txt 文件，配置爬虫访问权限和 Sitemap，提升 SEO。
站点地图 (Sitemap)
爬虫设置 (User Agents)
常用爬虫:
秒
预览
User-agent: * Disallow: /admin/
关于此工具
Robots.txt 生成器是一款专为站长和 SEO 优化师设计的在线工具。通过直观的图形化界面，您可以轻松添加和管理各种搜索引擎爬虫（如 Googlebot, Baiduspider 等）的访问规则。工具支持多组 User-agent 配置，允许您精确控制网站中哪些目录或文件可以被抓取（Allow），哪些需要禁止访问（Disallow）。此外，您还可以指定 Sitemap 站点地图的路径，帮助搜索引擎更高效地发现和索引您的网站内容。生成的内容符合 Robots Exclusion Protocol 标准，支持一键复制或下载。
功能特点
- 🤖 多爬虫支持：支持为不同爬虫（如 Googlebot, Baiduspider）设置单独规则
- 🚫 灵活权限：精确配置 Allow 和 Disallow 路径，控制抓取范围
- 🗺️ Sitemap 集成：支持添加 Sitemap 地址，加速内容收录
- ⚡ 实时预览：所见即所得，实时查看生成的 robots.txt 代码
- 📥 一键导出：支持一键复制或下载 .txt 文件到本地
- 📝 常用预设：内置常用搜索引擎爬虫名称，快速选择