跳到主要内容
Toolars
探索
报告问题

开发 · 本地工具

Robots 规则实验室

Robots Lab

本地测试 robots.txt 的爬虫与路径规则、最长匹配优先级及策略变化。

任务路径 / 从输入到结果

准备输入

本地运行 · 不做任何上传

了解Robots 规则实验室的使用方法、隐私说明与相关工具

任务路径 / 从输入到结果

使用方法

  1. 01

    准备输入

    粘贴内容或导入 UTF-8 文本文件,选择操作并核对示例。

  2. 02

    核对结果

    主动运行,对照原始输入检查输出与每条诊断后再使用。

  3. 03

    导出结果

    复制或下载当前结果;逐行诊断可另行导出。

工具速览

处理方式
在浏览器本地完成
输入是否离开设备
从不
数据保留
不保存任何内容
价格
免费

你的输入留在浏览器里。

Robots 规则实验室 使用经过验证的本地执行路径,不会创建隐藏的输入或输出历史记录。

本地执行

在当前浏览器标签页内运行。

无隐藏处理

使用中的工具数据绝不会成为 Toolars 的文档记录。

无需账户

无需创建账户即可使用核心工作流。登录后收藏才会同步到你的账户。

立即重置

关闭标签页,当前的工作数据即刻消失。

Robots 规则实验室 究竟做什么

本地测试 robots.txt 的爬虫与路径规则、最长匹配优先级及策略变化。

常见问题

Robots 规则实验室支持什么?
按 RFC 9309 匹配特定爬虫组、通配符及结束锚点,最长规则优先,同长时 Allow 优先,空规则忽略。结果表示抓取权限,不代表索引;不会请求 URL。
Robots 规则实验室会上传内容吗?
内容仅保存在页面内存,本地处理;离开或刷新页面会清除。
Robots 规则实验室有哪些限制?
合计输入 256 KiB;输入 5,000 行;深度 40;10,000 节点;输出 2 MiB。处理限时 3 秒,工作线程启动限时 15 秒。

继续探索开发者工具

相关任务,而非死胡同。

无需返回完整索引,直接进入另一个专注的工作区。

URL 工作台

URL Workbench

清理 URL 列表并保护签名链接,逐行说明改动;比较地址组成并导出 Sitemap。

创建

JSON 查询与展开

JSON Explorer

用 JSONPath 查询、提取字段及往返展开 JSON Pointer,保留大整数精度。

创建

JSON Schema 校验器

JSON Schema Validator

本地校验 Draft 7 或 2020-12,定位实例与规则错误;从多份样本推断 Schema。

创建

HTML 发布整理

HTML Publishing

整理粘贴的 HTML,保留列表、链接与表格语义,安全预览改动。

创建