跳到主要內容
Toolars
探索
回報問題

開發 · 本機工具

Robots 規則實驗室

Robots Lab

本機測試 robots.txt 的爬蟲與路徑規則、最長匹配優先級及策略變化。

任務路徑 / 從輸入到結果

準備輸入

本機執行 · 不做任何上傳

瞭解Robots 規則實驗室的使用方法、隱私說明與相關工具

任務路徑 / 從輸入到結果

使用方法

  1. 01

    準備輸入

    貼上內容或匯入 UTF-8 文字檔,選擇操作並核對範例。

  2. 02

    核對結果

    主動執行,對照原始輸入檢查輸出與每條診斷後再使用。

  3. 03

    匯出結果

    複製或下載目前結果;逐行診斷可另行匯出。

工具速覽

處理方式
在瀏覽器本機完成
輸入是否離開裝置
從不
資料保留
不儲存任何內容
價格
免費

你的輸入留在瀏覽器裡。

Robots 規則實驗室 使用經過驗證的本機執行路徑,不會建立隱藏的輸入或輸出歷史記錄。

本機執行

在目前瀏覽器分頁內執行。

無隱藏處理

使用中的工具資料絕不會成為 Toolars 的文件記錄。

無需帳戶

無需建立帳戶即可使用核心工作流程。登入後收藏才會同步至你的帳戶。

立即重設

關閉分頁,目前的工作資料即刻消失。

Robots 規則實驗室 究竟做什麼

本機測試 robots.txt 的爬蟲與路徑規則、最長匹配優先級及策略變化。

常見問題

Robots 規則實驗室支援什麼?
按 RFC 9309 匹配特定爬蟲群組、萬用字元及結束錨點,最長規則優先,同長時 Allow 優先,忽略空規則。結果表示擷取權限,不代表索引;不會請求 URL。
Robots 規則實驗室會上傳內容嗎?
內容僅保存在頁面記憶體,本機處理;離開或重新整理頁面會清除。
Robots 規則實驗室有哪些限制?
合計輸入 256 KiB;輸入 5,000 行;深度 40;10,000 節點;輸出 2 MiB。處理限時 3 秒,工作執行緒啟動限時 15 秒。

繼續探索開發者工具

相關任務,而非死胡同。

無需返回完整索引,直接進入另一個專注的工作區。

URL 工作臺

URL Workbench

清理 URL 清單並保護簽名連結,逐行說明改動;比較網址組成並匯出 Sitemap。

建立

JSON 查詢與展開

JSON Explorer

用 JSONPath 查詢、擷取欄位及往返展開 JSON Pointer,保留大整數精度。

建立

JSON Schema 驗證器

JSON Schema Validator

本機驗證 Draft 7 或 2020-12,定位實例與規則錯誤;從多份樣本推斷 Schema。

建立

HTML 發布整理

HTML Publishing

整理貼上的 HTML,保留清單、連結與表格語意,安全預覽改動。

建立