跳到主要内容
Toolars
探索

Robots 规则实验室

Robots Lab

本地测试 robots.txt 的爬虫与路径规则、最长匹配优先级及策略变化。

本地处理

处理说明

工具输入在这台设备上处理。

运行工具可能需要下载资源,账号服务独立运行。

隐私说明
报告问题

任务路径 / 从输入到结果

使用方法

  1. 01

    准备输入

    粘贴内容或导入 UTF-8 文本文件,选择操作并核对示例。

  2. 02

    核对结果

    主动运行,对照原始输入检查输出与每条诊断后再使用。

  3. 03

    导出结果

    复制或下载当前结果;逐行诊断可另行导出。

工具速览

处理方式
在浏览器本地完成
输入是否离开设备
从不
数据保留
不保存任何内容
价格
免费

你的输入留在浏览器里。

Robots 规则实验室 使用经过验证的本地执行路径,不会创建隐藏的输入或输出历史记录。

本地执行

在当前浏览器标签页内运行。

无隐藏处理

使用中的工具数据绝不会成为 Toolars 的文档记录。

无需账户

无需创建账户即可使用核心工作流。登录后收藏才会同步到你的账户。

立即重置

关闭标签页,当前的工作数据即刻消失。

Robots 规则实验室 究竟做什么

一份关于转换方式、边界与预期结果的简明指南。

常见问题

Robots 规则实验室支持什么?
按 RFC 9309 匹配特定爬虫组、通配符及结束锚点,最长规则优先,同长时 Allow 优先,空规则忽略。结果表示抓取权限,不代表索引;不会请求 URL。
Robots 规则实验室会上传内容吗?
内容仅保存在页面内存,本地处理;离开或刷新页面会清除。
Robots 规则实验室有哪些限制?
合计输入 256 KiB;输入 5,000 行;深度 40;10,000 节点;输出 2 MiB。处理限时 3 秒,工作线程启动限时 15 秒。

相关任务,而非死胡同。

无需返回完整索引,直接进入另一个专注的工作区。

URL 工作台

URL Workbench

清理 URL 列表并保护签名链接,逐行说明改动;比较地址组成并导出 Sitemap。

编辑

JSON 查询与展开

JSON Explorer

用 JSONPath 查询、提取字段及往返展开 JSON Pointer,保留大整数精度。

检查

JSON Schema 校验器

JSON Schema Validator

本地校验 Draft 7 或 2020-12,定位实例与规则错误;从多份样本推断 Schema。

检查

HTML 发布整理

HTML Publishing

整理粘贴的 HTML,保留列表、链接与表格语义,安全预览改动。

发布