Robots.txt erzeugen
Erstelle Crawler-Anweisungen aus gesperrten Pfaden und einer optionalen Sitemap.
Bereit. Die Verarbeitung erfolgt auf deinem Gerät.
Maximal 2 MB je Textdatei. CSV: 20.000 Zeilen und 200 Spalten. Ziehe eine unterstützte Datei in das Eingabefeld.
So verwendest du dieses Werkzeug
- Füge Text ein, öffne eine unterstützte Datei oder teste das Beispiel.
- Wähle die Optionen und starte das Werkzeug.
- Prüfe das Ergebnis und kopiere es oder lade es herunter.
Wichtige Hinweise
Robots.txt schützt keine privaten Inhalte und garantiert keine Entfernung aus dem Index.
Häufige Fragen
Wird meine Eingabe an einen Server gesendet?
Nein. Das Werkzeug verarbeitet die Eingabe auf diesem Gerät. Dateiinhalte und Ergebnisse werden weder hochgeladen noch an die Nutzungsanalyse übermittelt.
Warum ist das Ergebnis leer oder ungültig?
Prüfe Format, Größe und Optionen. Filter oder Extraktionen können ohne Treffer enden. Bewahre deine Originaldaten auf.