TXT robots.txt Generator – Crawl-Steuerung für Suchmaschinen sauber aufgesetzt
Grund-Template
Zusätzliche Optionen
Format & Ausgabe

robots.txt Best Practices

  • Keine sensiblen Inhalte „verstecken“ – robots.txt ist öffentlich abrufbar.
  • Disallow steuert Crawling, nicht Indexierung (dafür noindex nutzen).
  • Starke Sperren (Disallow: /) nur für Staging / Testumgebungen einsetzen.
  • Sitemap-URL immer mit aufnehmen, wenn du eine sitemap.xml verwendest.
  • Nach Änderungen: robots.txt und Sitemap in der Google Search Console prüfen.

robots.txt Vorschau

Zeilenanzahl 0
Länge (Zeichen) 0
Status Bereit