Erzeuge eine saubere robots.txt: WordPress-Standard, Sitemap-Zeile, KI-Crawler erlauben oder blockieren und eigene Disallow-Pfade. Für Staging gibt es den Ein-Klick-Blocker. Alles wird in deinem Browser erzeugt.
# robots.txt — erzeugt mit forge12.com/robots-txt-generator
User-agent: *
Disallow: /wp-admin/
Disallow: /?s=
Disallow: /search/
Disallow: /readme.html
Disallow: /license.txt
Allow: /wp-admin/admin-ajax.php
Sitemap: https://deine-domain.de/sitemap.xml
In das Hauptverzeichnis der Domain legen (erreichbar unter deine-domain.de/robots.txt). WordPress erzeugt sonst eine virtuelle robots.txt — eine echte Datei hat Vorrang.
Wähle den Modus und die Regeln. Trag deine Sitemap-URL ein (meist deine-domain.de/sitemap.xml). Der Code rechts aktualisiert sich live.
Speichere den Inhalt als Datei „robots.txt“ im Hauptverzeichnis deiner Domain (per FTP/SFTP). Eine echte Datei hat Vorrang vor der virtuellen robots.txt von WordPress.
Ruf deine-domain.de/robots.txt auf und teste sie im robots.txt-Bericht der Google Search Console.
Eine Textdatei im Wurzelverzeichnis der Domain, die Suchmaschinen-Crawlern sagt, welche Bereiche sie crawlen dürfen und welche nicht. Sie steuert das Crawlen — nicht direkt die Indexierung.
Nein, nicht zuverlässig. Ein per robots.txt gesperrter Pfad kann trotzdem im Index landen (ohne Snippet), wenn er verlinkt ist. Um eine Seite sicher aus dem Index zu halten, nutze das Meta-Tag „noindex“ oder Schutz per Passwort — nicht die robots.txt.
Im Hauptverzeichnis (dort, wo wp-config.php liegt), erreichbar unter deine-domain.de/robots.txt. Ohne echte Datei liefert WordPress eine virtuelle robots.txt aus; sobald eine echte Datei existiert, hat sie Vorrang.
Ja — aber admin-ajax.php erlauben, weil viele Themes/Plugins es im Frontend brauchen. Genau das macht der WordPress-Standard-Preset hier.
Das ist eine Abwägung. Blockierst du GPTBot, ClaudeBot & Co., verhinderst du Training auf deinen Inhalten — verlierst aber auch Sichtbarkeit in ChatGPT, Perplexity und AI-Overviews. Für die meisten Unternehmensseiten ist Sichtbarkeit der größere Hebel.
Nein. Das Tool läuft komplett in deinem Browser — kein Server-Endpoint, nichts wird übertragen oder gespeichert.