Ich liebe ja die SEOmoz Site Intelligence API. Ein sehr guter Weg, um sehr effizient hervorragende Informationen bzgl. Links zu bekommen.

Leider ist die API nicht immer besonders gut darin, Duplicate Content zu erkennen. Yahoo! übrigens auch nicht. Deswegen haben wir in unsere Links jetzt noch einen Dubletten-Filter eingebaut, der anhand bestimmter Heuristiken doppelte Sites erkennt und die Dubletten herausnimmt. Ansonsten wären die errechneten Werte für Domain-Popularität und so vielleicht falsch.

Dabei habe ich ein sehr gutes Beispiel für Duplicate Content gefunden. Die Zahlen neben den Domains geben die Domain-Popularität laut SEOmoz an (Parameter “uipl”: The number of root domains with any pages linking to the url). Die Websites haben alle den exakt selben Content:

• www.allberlintour.de -> 21
• www.allberlintours.de -> 38
• www.berlin-sightseeing-tour.de -> 27
• www.berlin-sightseeing-tours.de -> 86
• www.berlin-stadtfuehrung.de -> 351
• www.berlin-stadtfuehrungen.de -> 61
• www.berlin-stadtrundfahrt-net.de -> 22
• www.berlin-stadtrundfahrt-online.de -> 40
• www.berlin-stadtrundfahrt-web.de -> 0
• www.berlin-stadtrundfahrt.com -> 59
• www.berlin-stadtrundgang.de -> 23
• www.berlin-tourist-guide.de -> 26
• www.berlin-touristen-information.de -> 35
• www.reise-leitung.de -> 0
• www.tourist-planet.de -> 22
• www.touristworld.de -> 23
• www.toursberlin.de -> 22

Unsere Software wählt dann einfach die Domain mit dem höchsten Wert als Stellvertreter; die anderen wandern in die virtuelle Tonne. Nicht immer 100%, aber in der Praxis funktioniert’s.

Ich würde mir wirklich wünschen, wenn zumindest SEOmoz Dubletten besser erkennen würde. Das würde uns einiges ersparen.

Interessant ist hier aber auch zu sehen, wie Google mit den Dubletten umgeht. Verräterisch ist eigentlich immer das site-Kommando für eine Dubletten-Domain:

Oder eine andere Dubletten-Domain aus der Liste:

In beiden Fällen fehlt die Startseite. Bei der “Haupt-Domain” gibt’s die aber:

Das Ganze ist leider kein hundertprozentiges Indiz, funktioniert aber recht oft.

Das beste Indiz liefert dann aber die info-Abfrage:

Also: Hier ist sich Google sicher, dass www.allberlintour.de == www.berlin-stadtfuehrung.de. Auch wenn unsere Kunden meist keine so krassen Domain-Ansammlungen haben, ist das hier mit ein Grund, warum unser Tool SEO Safeguard regelmäßig beides checkt:

1. Zeigt das site-Kommando als erstes die Startseite an?
2. Zeigt das info-Kommando auch dieselbe Domain an?

In diesem Sinne. Immer sauber bleiben