robots.txt: Google Webmaster Tools helfen noch mehr beim Testen

17. Juli 2014 | Von in SEO

Wer für seine Website eine robots.txt-Datei hochgeladen hat, um für (bestimmte) Suchmaschinen das Crawling zu reglementieren, der ist das eine oder andere Mal sicherlich schon auf Schwierigkeiten gestoßen. Google hat daher aktuell eine Änderung in den Webmaster Tools bekannt gegeben, die künftig beim Testen oder vielmehr der Fehlersuche helfen soll.

Insbesondere bei umfangreichen robots.txt-Dateien verliert man zuweilen die Übersicht, welche Regel welchen Effekt hat. Daher hat das neue Feature durchaus seine Berechtigung. Es ist unter folgendem Menüpunkt zu finden:

Menüpunkt robots.txt-Tester in den Webmaster Tools

 

… wahlweise unter https://www.google.com/webmasters/tools/robots-testing-tool

Dort ist zunächst die aktuelle robots.txt Datei zu sehen, darunter eine Eingabemaske für eine zu testende URL:

Eingabemaske für zu testende URL

Außerdem lässt sich der passende Googlebot zum Testen der URL auswählen:

googlebot-wahl

Das ist beispielsweise dann wichtig, wenn etwa “Googlebot Mobile” keinen Zugriff auf die Website-Daten der Desktop-Version bekommen soll oder der “normale” Googlebot nicht die auf die mobile Seite darf.

Soweit, so bekannt. Wenn beim Test einer URL die robots.txt das Crawling verhindert, meldet das das Tool zum einen über ein “Blockiert” neben der URL, zum anderen – und das ist das Neue – durch eine rote Markierung innerhalb der darüber stehenden Zeilen der robots.txt:

test2

Wer jetzt sichergehen möchte, dass die URL nicht zusätzlich von einer anderen Regel in der Datei gesperrt wird, kann zum Beispiel die markierte Zeile in dem Feld löschen, sie bearbeiten, eine Zeile ergänzen, … und erneut testen.

zugelassen

Die Änderung in den Zeilen der Eingabemaske wirkt sich allerdings nicht auf die hochgeladene robots.txt aus, sondern ist nur für den Test innerhalb der Webmaster Tools wirksam. Wer tatsächlich persistente Änderungen durchführen möchte, kommt nicht drum herum eine neue robots.txt-Datei hochzuladen. Dennoch: Besonders die neue Markierung ist sehr hilfreich bei der Fehlersuche.

Was außerdem neu ist, beschreibt Google im Blogpost so:

Additionally, you’ll be able to review older versions of your robots.txt file, and see when access issues block us from crawling. For example, if Googlebot sees a 500 server error for the robots.txt file, we’ll generally pause further crawling of the website.

Die Webmaster Tools zeigen oberhalb des Fensters mit den robots.txt-Zeilen daher folgendes an:

not-found

Beziehungsweise bei Klick auf die Zeile die Historie:

not-found2

Dort ließe sich dann eine ältere Version der robots.txt-Datei zum Testen wählen, sofern verfügbar.

Alles in allem eine sinnvolle Erweiterung in den Webmaster Tools. Insbesondere wenn die robots.txt versehentlich die falschen Inhalte oder die falschen Googlebots aussperrt, kann dieses Tool Gold wert sein – speziell bei weniger erfahrenen Webmastern.

Nächste Events

Nächste Webinare

Alle kommenden Webinare

Nächste Seminare

Alle kommenden Seminare

The following two tabs change content below.
Avatar-Foto

Maik Bruns

Maik Bruns war bis 2017 Berater für SEO und Webanalyse in der Online-Marketing-Agentur Bloofusion. Als Online-Marketing-Enthusiast schrieb er zu diesen Themen im Bloofusion-Blog (damals: Die Internetkapitäne), im SEO-, SEA- und E-Commerce-Magazin suchradar und natürlich bei Twitter und Google+.

Maik Bruns ist unter anderem in den folgenden sozialen Netzwerken zu finden:

Kommentieren