Delete Duplicate LinesONLINE

Robots.txt生成

根据禁止访问的路径和可选站点地图网址生成爬虫指令。

选项

已就绪。处理在你的设备上完成。

每个文本文件最大 2 MB。CSV 上限为 20,000 行、200 列。可将一个支持的文件拖入输入框。

使用方法

  1. 粘贴内容、打开支持的文件，或试用示例。
  2. 选择选项并运行工具。
  3. 检查结果，然后复制或下载。

处理方式与限制

Robots.txt 不能保护私密内容，也不保证从索引中删除页面。

常见问题

输入会发送到服务器吗？

不会。工具在此设备上处理输入。文件内容和结果不会上传，也不会包含在分析数据中。

结果为什么为空或无效？

请检查格式、大小和选项。筛选或提取可能没有匹配项，这也是有效结果。请保留原始数据。

相关工具

分析偏好设置

Google Analytics 是可选功能，用于了解页面使用情况。工具内容不会包含在内。只有你主动启用后才会运行分析。