SEO Robots Inspector

检查页面是否可抓取、可索引、可跟随机器人，以确保 SEO 性能

SEO Robots Inspector 是一款功能强大的 Chrome 扩展程序，旨在帮助 SEO 专业人士和网站管理员确保他们的网页针对搜索引擎抓取、索引和关注进行了正确配置。该工具评估关键的 SEO 因素，并提供详细的见解，以优化您的网站在搜索引擎上的性能。

主要特点：

- 元机器人标签分析：检查页面是否具有元机器人标签并确定其指令（index、noindex、follow、nofollow）。
- 规范 URL 检测：识别规范 URL 并验证其是否与当前页面 URL 匹配，以防止重复内容问题。
- 本地Robots.txt解析：在本地获取并分析robots.txt文件，确保在不依赖外部API的情况下不阻止重要URL的抓取。
- 视觉指示器：使用颜色编码指示器直接在浏览器的扩展图标中提供清晰的视觉反馈，以实现可索引性、可跟踪性、可爬行性和规范状态。
- 阻止的 URL 荧光笔：直接在网页上突出显示被 robots.txt 文件阻止的 URL，以便于识别。
- HTTP 标头检查：获取并显示 X-Robots-Tag 标头，以检查其他索引以及遵循在服务器级别设置的规则。
- 按需分析：对任何活动选项卡执行按需分析，以获取有关页面 SEO 状态的最新信息。

运作原理：

- 活动选项卡分析：页面加载时、用户激活扩展程序或选项卡/窗口焦点更改时自动分析活动选项卡。
- 数据收集：收集元机器人内容、规范 URL、X-Robots-Tag 标头和 robots.txt 信息。
- 本地 Robots.txt 处理：在本地获取并解析 robots.txt 文件，为包括 Googlebot 在内的不同用户代理应用规则。
- 状态显示：在弹出窗口中显示 SEO 状态，并提供易于理解的指标和详细信息。
- 突出显示阻止的 URL：允许用户突出显示页面上被 robots.txt 阻止的所有 URL，以便立即查看。

用户界面：

- 结果部分：显示可索引、可跟踪、可爬行状态、元机器人内容、X-Robots-Tag 内容、robots.txt 信息和规范 URL。
- 操作部分：包括一个按钮，用于突出显示页面上被阻止的 URL。
- 说明部分：为扩展图标和分析结果中使用的视觉指示器提供图例。

权限：

- 活动选项卡：需要分析当前活动选项卡的内容。
- 脚本和存储：用于注入脚本并在本地存储选项卡状态。
- 主机权限：需要从所有网站获取和分析 robots.txt 文件和 X-Robots-Tag 标头。

安装与使用：

- 安装扩展：从 Chrome 网上应用店添加 SEO Robots Inspector。
- 分析页面：导航到任何网页并单击扩展图标以分析其 SEO 状态。
- 查看结果：在弹出窗口中查看详细结果。
- 突出显示阻止的 URL：单击“突出显示阻止的 URL”按钮可查看 robots.txt 阻止的链接。

高级功能：

- 实时更新：当您在选项卡或页面之间导航时，扩展图标会实时更新。
- 高效的 Robots.txt 处理：实现缓存和超时机制，以实现高效的 robots.txt 获取和解析。
- 详细规则匹配：提供与当前 URL 匹配的 robots.txt 规则的具体信息。

使用 SEO 机器人检查器增强您的 SEO 工作流程并确保您的网站页面针对搜索引擎进行优化！无需离开浏览器即可即时了解爬行、索引和规范问题。