Generator robots.txt
Buat arahan crawler dari jalur yang diblokir dan sitemap opsional.
Siap. Pemrosesan dilakukan di perangkat Anda.
Maksimum 2 MB per file teks. CSV: 20.000 baris dan 200 kolom. Seret satu file yang didukung ke area input.
Cara menggunakan alat ini
- Tempel input, buka file yang didukung, atau coba contoh.
- Pilih opsi dan jalankan alat.
- Periksa hasil, lalu salin atau unduh.
Hal yang perlu diketahui
Robots.txt tidak melindungi konten pribadi atau menjamin penghapusan dari indeks.
Pertanyaan umum
Apakah input saya dikirim ke server?
Tidak. Alat memproses input di perangkat ini. Isi file dan hasil tidak diunggah atau dimasukkan ke analitik.
Mengapa hasil kosong atau tidak valid?
Periksa format, ukuran, dan opsi. Filter atau ekstraksi bisa saja tidak menemukan kecocokan. Simpan data asli Anda.