Google hat seine Webmaster Tools um eine neue Funktion erweitert, die nicht nur eine HTML-Seite abruft, sondern wie ein „echter“ Browser versucht, diese Seite komplett darzustellen. Warum macht Google das? Und ist es schlimm, wenn diese Funktion meldet, dass man Inhalte für Suchmaschinen gesperrt hat?

Die Funktion „Abruf wie durch Google“ gibt es schon länger in den Google Webmaster Tools, aber jetzt gibt es dort eine neue Funktion, mit der man nicht nur die Seite selber, sondern alle dort referenzierten externen Dateien herunterladen und rendern lassen kann (deutsch: „wird so wie im Browser angezeigt“, also mit allen Bildern und so).

Hierzu muss man sich zunächst für eine Geräteklasse wie „Desktop“ oder „Mobile: Smartphone“ entscheiden und dann auf „Abrufen und Rendern“ klicken:

Bild

Dann wird durch Google eine Vorschau generiert. Diese sieht beim „Desktop“ so aus:

Bild

Und bei „Mobile: Smartphone“ so:

Bild

Damit Google diese Vorschau erzeugen kann, benötigt Google natürlich Zugang zu CSS- und evtl. anderen Dateien. Google empfiehlt daher in einem Blog-Beitrag von gestern:

Wir empfehlen euch daher, dafür zu sorgen, dass der Googlebot auf alle eingebetteten Ressourcen zugreifen kann, die für die sichtbaren Inhalte oder das Layout eurer Website wichtig sind.

Aber warum sollte man das eigentlich machen? Und schadet es, wenn man bestimmte Ressourcen trotzdem sperrt? Was passiert, wenn ich meine CSS-Dateien sperre? Ist das nachteilig für mich? Auf diese Frage will Google keine eindeutige Antwort geben.

Einen Hinweis gibt Google in diesem Blog-Post aus der letzten Woche:

Das ist insbesondere bei mobilen Websites wichtig, bei denen externe Ressourcen wie CSS und JavaScript unseren Algorithmen anzeigen, dass die Seiten für Mobilgeräte optimiert sind.

Google selber sagt ja, dass man durchaus bestimmte Ressourcen sperren darf:

Einige Inhaltstypen – z. B. Schaltflächen sozialer Medien, Schriftarten oder Skripts zur Websiteanalyse – sind für die sichtbaren Inhalte oder das Layout oft weniger bedeutsam und ihr Crawling kann daher weiterhin untersagt bleiben.

Gesperrte Elemente zeigt das neue Tool ja auch direkt an:

Bild

Warum macht Google das?

Grundsätzlich sehe ich vier Gründe, warum Google möglichst viele Dateien crawlen möchte:

  1. Wie bereits oben durch Google angedeutet, versucht Google natürlich zu verstehen, ob eine Website z. B. responsiv ist oder ob z. B. per JavaScript auf eine mobile Version umgeleitet wird. Je nach Endgerät schickt Google die Besucher dann nämlich direkt auf die mobile Version oder setzt andere Maßnahmen um, damit Nutzer die Website optimal sehen können.
  2. Google versucht ja auch zu bewerten, an welcher Stelle auf dem Bildschirm eine bestimmte Information angezeigt wird (bzw. ob sie überhaupt angezeigt wird). Es gibt ja z. B. Möglichkeiten, Texte über CSS aus dem sichtbaren Bereich herauszuschieben. So kann ein bestimmter Textteil im HTML-Code ganz vorne stehen, aber durch CSS im Layout ganz nach unten verschoben werden.
  3. Auch mit JavaScript kann ja viel getrickst werden. So können z. B. dynamisch störende Werbungen eingeblendet werden. Seiten mit viel viel viel zu viel Werbungen sollen aber von Google abgewertet werden.
  4. Google versucht ja auch immer fleißig, AJAX-Inhalte herunterzuladen und zu verstehen, was damit geschieht. Das macht eigentlich auch Sinn, denn einige Websites laden per AJAX ja wirklich relevante Inhalte nach, die Google grundsätzlich kennen sollte.

Und?

Die eigentliche Frage bleibt für mich aber unbeantwortet: Ist es für mich nachteilig, wenn ich z. B. eine CSS-Datei sperre?

Ich möchte das gar nicht erst ausprobieren, so dass meine grundsätzliche Empfehlung an Kunden lauten wird: Es sollte das gesperrt werden, was Google wirklich nicht braucht, um die Seite rendern zu könen (vor allem: Web-Fonts, Tracking-Skripte). Alles andere sollte zugänglich sein, damit Google hier eine möglichst positive Entscheidung über meine Website fällen kann.

About Markus Hövener

Markus Hövener ist Gründer und Head of SEO der auf SEO und SEA spezialisierten Online-Marketing-Agentur Bloofusion. Als geschäftsführender Gesellschafter von Bloofusion Germany ist er verantwortlich für alle Aktivitäten in Deutschland, Österreich und der Schweiz. Markus Hövener ist Buchautor (SEO - Die neuen Regeln), Autor vieler Artikel und Studien rund um SEO und SEA und Chefredakteur des Magazins suchradar.

In seiner Freizeit hat Markus vier Kinder, spielt gerne Klavier (vor allem Jazz) und hört auf langen Autofahrten „Die Drei Fragezeichen“.