Google, Yahoo und Microsoft haben dem Problem der doppelten Inhalten (DC) den Kampf angesagt und Webmastern dafür einen neuen Meta-Tag an die Hand gegeben mit dem man die URL einer Seite eindeutig definieren kann.

Über die sogenannte kanonische URL (canocial url) kann ein Tag hinterlegt werden, der auf den jeweiligen Ursprungsbeitrag verlinkt:

<link rel="canonical" href="http://www.blogs-optimieren.de">

Allerdings löst auch dieser Tag nur einen Bruchteil der Probleme, die durch DC entstehen können, insbesondere den Bereich DC auf fremden Seiten kann man dadurch nicht kontrollieren. Wenn Webmaster, die fremde Inhalte nutzen diesen Tag nicht angeben, werden die Suchmaschinen den Content natürlich auch nicht zuordnen können. Und es ist relativ unwahrscheinlich, dass Leute, die fremden Inhalt nutzen dann so nett sind und diesen noch korrekt kennzeichnen.

Dazu ist eine solche Nutzung bei fremden Domains auch gar nicht vorgesehen:

Kann dieser Link-Tag dazu verwendet werden, um eine kanonische URL auf einer vollkommen verschiedenen Domain zu benennen?
Nein, um auf eine vollkommen verschiedene Domain zu verweisen, solltet ihr permanente Weiterleitungen (301) verwenden. Wir berücksichtigen momentan Angaben zur kanonischen URL auf Subdomains (also innerhalb einer Domain), aber nicht über verschiedene Domains hinweg. Ihr könnt also z. B. www.example.com vs. example.com vs. help.example.com verwenden, nicht jedoch example.com vs. example-widgets.com.

Nützlich ist es dagegen auf der eigenen Seite. Bisher klassifizieren Google und Co. die Inhalte automatisch und ermitteln heuristisch (also per Algorithmus) welche URl bei verschiedenen Contentvarianten die ursprüngliche URL ist. Diese bekommt dann die Linkpower und den PR aller anderen Seiten die als DC dieser Seite ermittelt hat.

Als Webmaster mußte man sich bisher auf die Bewertung von Google verlassen, nun kann man über den caonical Tag den Suchmaschinen einen Hinweis geben, welche URL aus Original genommen werden soll. Wie gesagt – nur einen Hinweis, die Suchmaschinen müssen sich nicht an die Bewertung halten. So ist es derzeit zum Beispiel noch offen was passiert, wenn hier Seiten miteinander verknüpft werden, die nur wenig Übereinstimmung haben. Theoretisch könnte man so bestimmte Unterseiten unsichtbar für den Nutzer mit Linkpower versorgen.

Google schreibt dazu im Webmasterblog zwar:

Wir tolerieren gewisse geringe Unterschiede – wenn z. B. die Sortierreihenfolge in einer Tabelle mit Produkten verschieden ist. Ebenso wissen wir, dass wir die kanonische URL und die Duplikate möglicherweise zu verschiedenen Zeitpunkten crawlen, so dass sich der Inhalt gegebenenfalls geringfügig unterscheidet. Dies ist vollkommen in Ordnung.

Was mir Seiten geschieht die zu sehr unterschiedlich sind wird allerdings nicht erwähnt.

Zur Funktionsweise gibt es bei Seomoz noch einen interessanten Vergleich: Der neue Tag ähnelt in der Funktionsweise einem verdeckten 301 redirect, denn die Power der Seite wird auf eine andere Seite weiter geleitet. Allerdings ist ein normaler redirect eine eindeutige Anweisung an die Suchmaschinen, die keine Toleranz zulässt. Das kanonische Tag dagegen ist nur ein Hinweis für die Suchmaschinen. Dazu kann mit einem 301 redirect jede beliebige Seite umgelenkt werden während es zumindest bei Google so zu sein scheint, dass hier nur ähnliche Seiten akzeptiert werden.

Mehr dazu bei Golem.