Was das Meta-Robots-Tag ist
Das Meta-Robots-Tag ist eine Anweisung im Kopfbereich einer HTML-Seite, die Suchmaschinen sagt, wie sie mit der Seite umgehen sollen:
<meta name="robots" content="noindex, follow">
Statt robots für alle Suchmaschinen lässt sich auch ein bestimmter Crawler ansprechen, etwa googlebot oder bingbot.
Ohne Angabe gilt der Standard index, follow: Die Seite darf indexiert werden, Links dürfen verfolgt werden. Ein Tag mit diesem Wert ist deshalb überflüssig, schadet aber auch nicht.
Die wichtigsten Anweisungen
| Anweisung | Bedeutung |
|---|---|
noindex |
Seite nicht in den Index aufnehmen |
nofollow |
Links auf dieser Seite nicht folgen und nicht bewerten |
none |
entspricht noindex, nofollow |
noarchive |
keine Cache-Version anzeigen (die öffentliche Cache-Anzeige hat Google inzwischen ohnehin eingestellt) |
nosnippet |
keinen Textausschnitt und kein Video-Vorschau anzeigen, auch nicht für KI-Übersichten |
max-snippet:[Zahl] |
Textausschnitt auf eine Anzahl von Zeichen begrenzen, -1 für unbegrenzt |
max-image-preview:[none/standard/large] |
Größe der Bildvorschau festlegen |
max-video-preview:[Zahl] |
Länge der Videovorschau in Sekunden |
notranslate |
keine Übersetzungsfunktion in den Suchergebnissen anbieten |
noimageindex |
Bilder dieser Seite nicht indexieren |
unavailable_after:[Datum] |
Seite nach einem bestimmten Zeitpunkt nicht mehr anzeigen |
Für die meisten Websites sind vor allem noindex, gelegentlich nofollow und die Snippet-Angaben relevant. Eine empfehlenswerte Standardangabe für normale Seiten lautet:
<meta name="robots" content="index, follow, max-image-preview:large, max-snippet:-1">
Sie erlaubt große Bildvorschauen, die etwa in Discover und in manchen Suchbereichen mehr Aufmerksamkeit bringen.
Das X-Robots-Tag
Für Dateien ohne HTML-Kopf, etwa PDFs, Bilder oder Videos, lassen sich dieselben Anweisungen im HTTP-Header übermitteln:
X-Robots-Tag: noindex
In Apache lässt sich das in der .htaccess einrichten, zum Beispiel für alle PDF-Dateien:
<FilesMatch "\.pdf$">
Header set X-Robots-Tag "noindex, follow"
</FilesMatch>
Das X-Robots-Tag ist auch nützlich, um Anweisungen für viele Seiten zentral auf Serverebene zu setzen.
Wann noindex sinnvoll ist
| Seitentyp | Begründung |
|---|---|
| Interne Suchergebnisse | minderwertige, endlose Varianten |
| Filter- und Sortierseiten ohne Suchwert | Duplikate von Kategorien |
| Tag- und Autorenarchive mit wenigen Beiträgen | Thin Content |
| Danke-Seiten nach Formularen | kein Suchwert, verfälschen die Messung |
| Warenkorb, Kasse, Kundenkonto | privat und ohne Suchwert |
| Landingpages nur für Anzeigen | würden mit organischen Seiten konkurrieren |
| Testseiten, Entwürfe | nicht für die Öffentlichkeit gedacht |
| Druckversionen | Duplikate |
Nicht mit noindex versehen sollten Sie dagegen Seiten, die ranken sollen, paginierte Übersichten mit wichtigen Inhalten und Seiten, auf die viele externe Links zeigen, ohne vorher zu prüfen, ob eine Weiterleitung sinnvoller ist.
noindex und robots.txt: ein gefährlicher Irrtum
Ein häufiger Fehler: Eine Seite wird in der robots.txt gesperrt und zusätzlich mit noindex versehen. Das funktioniert nicht. Durch die Sperre in der robots.txt darf Google die Seite nicht abrufen und kann die noindex-Anweisung deshalb nie lesen. Ist die Seite von außen verlinkt, kann sie trotzdem im Index erscheinen, dann ohne Beschreibung.
Die richtige Reihenfolge, um Seiten aus dem Index zu entfernen:
noindexsetzen- Crawling erlauben, damit Google die Anweisung sieht
- Warten, bis Google die Seiten aus dem Index entfernt hat
- Erst danach, falls gewünscht, das Crawling in der robots.txt einschränken
nofollow auf Seitenebene
Die Anweisung nofollow im Meta-Robots-Tag gilt für alle Links einer Seite. Das ist nur in Ausnahmefällen sinnvoll, etwa bei Seiten mit nutzergenerierten Links, die nicht kontrolliert werden können. Für einzelne Links gibt es das Attribut rel="nofollow" direkt am Link. Für interne Links sollte nofollow grundsätzlich nicht verwendet werden. Mehr zu den Linkattributen im Beitrag Nofollow und Dofollow.
Snippet-Anweisungen und KI-Übersichten
Die Anweisungen nosnippet und max-snippet wirken sich nach Aussage von Google auch darauf aus, ob und in welchem Umfang Inhalte in KI-Übersichten verwendet werden. Wer seine Inhalte dort nicht sehen möchte, kann sie einschränken, verzichtet damit aber auch auf ausführliche Beschreibungen in den normalen Suchergebnissen. Einzelne Textbereiche lassen sich mit dem HTML-Attribut data-nosnippet ausschließen.
Häufige Fehler
- noindex aus der Entwicklungsphase bleibt nach dem Livegang aktiv
- WordPress-Einstellung „Suchmaschinen davon abhalten, diese Website zu indexieren“ versehentlich aktiviert
- noindex per Plugin für ganze Beitragstypen oder Kategorien, ohne es zu bemerken
- Widersprüchliche Angaben im Meta-Tag und im HTTP-Header oder durch mehrere Plugins
- noindex auf Seiten, die in der Sitemap stehen – widersprüchliches Signal
- noindex per JavaScript, das erst nach dem Rendering greift – unzuverlässig
Prüfen, was gilt
- URL-Prüfung in der Search Console: zeigt, ob eine Seite indexiert werden darf und ob
noindexerkannt wurde. - Seitenindexierungsbericht: listet unter „Durch noindex-Tag ausgeschlossen“ alle betroffenen Seiten. Ein Blick hier nach jedem Update lohnt sich.
- Crawler: zeigen Meta Robots und X-Robots-Tag für alle Seiten.
- Browser-Erweiterungen: zeigen die Angaben der gerade geöffneten Seite.
Fragen aus der Praxis
Wie lange dauert es, bis eine Seite mit noindex aus dem Index verschwindet?
Sobald Google die Seite erneut gecrawlt hat. Bei wichtigen Seiten geht das schnell, bei selten besuchten Seiten kann es Wochen dauern. Für dringende Fälle gibt es in der Search Console das Tool zum vorübergehenden Entfernen von URLs.
Werden Links auf noindex-Seiten weiterhin verfolgt?
Mit noindex, follow ja, zumindest vorübergehend. Google hat erklärt, dass Seiten, die lange auf noindex stehen, mit der Zeit seltener gecrawlt werden und ihre Links dann weniger berücksichtigt werden.
Sollte ich Kategorieseiten auf noindex setzen?
Nur wenn sie keinen Suchwert haben. In Shops sind Kategorien oft die wichtigsten Seiten überhaupt und sollten indexiert werden. Tag-Archive mit wenigen Beiträgen dagegen können auf noindex stehen.