Lokale Engine

Robots.txt Generator

Ein valides robots.txt-Dokument erstellen, um Suchmaschinen-Bots richtig zu lenken.

XML-Sitemap-URL

Crawl-Verzögerung (Sekunden, Optional)

Zu sperrende Verzeichnisse (Eines pro Zeile)

Generierte robots.txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /tmp/

Sitemap: https://www.dgntool.com/sitemap.xml

Übersicht

Definieren Sie Verzeichnissperren und verweisen Sie auf Ihre XML-Sitemap.

100% Privat: Alle Operationen laufen lokal auf Ihrem Gerät.

Robots.txt Generator: Crawler Directives & Sitemap Mapping

The Robots.txt Generator builds standard crawler instructions (Allow/Disallow) and sitemap pointers for search engine bots.

How to Build a Robots.txt File

Schnell & Intuitiv

Specify User-Agents

Set rules for all bots (*) or individual crawlers.

Add Disallow Paths

Exclude private admin folders and internal search paths.

Export robots.txt

Upload file directly to your website root directory.

Wichtigste Funktionen & Vorteile

100% Datenschutz im Browser

Keine Server-Uploads. Alle Daten bleiben sicher in Ihrem lokalen Speicher.

Sofortige Ausführung ohne Wartezeit

Verzögerungsfreie Echtzeitergebnisse ohne Download-Warteschlangen.

Unbegrenzt & Kostenlos

Keine Registrierung, keine versteckten Kosten und kein Abonnement.

Vollständig Mobil-Optimiert

Reibungslose Bedienung auf Smartphones, Tablets und Laptops.

Lokale Browser-Architektur

Sichere W3C-konforme Client-Verarbeitung mit Hardware-Beschleunigung.

Expertentipps & Best Practices

Never use robots.txt to hide sensitive data; it is publicly readable by anyone.

Häufig gestellte Fragen

1 Fragen & Antworten

Where must the robots.txt file be hosted?

Strictly at the root level of your domain (e.g. `domain.com/robots.txt`).