Leistungsschutzrecht, Christoph Keese und falsche Infos zur robots.txt

Die aktuelle Debatte um das Leistungsschutzrecht scheint einen neuen Höhepunkt erreicht zu haben. Sowohl auf Seiten von Google als auch bei den Verlagen laufen aktuell massive Kampagnen um die Deutungshoheit über den Sinn und Unsinn des neuen Gesetzes zu bekommen. Einen kleinen Einblick bekommt man bei Stfan Niggemeier, der die aktuellesten Artikel dazu häufig kommentiert (beispielsweise hier und hier)

Ein Interview bei horizont.net hat mich aber stutzig gemacht, denn im technischen Bereich scheint hier vieles noch nicht klar zu sein. Christoph Keese (laut horizont.net „oberster Lobbyist im Verlag Axel Springer“) erklärte dort allen Ernstes:

Für uns ist die Krux an der Diskussion um das Leistungsschutzrecht: Wieso sperren die Verlage die Snippets für Google nicht einfach schon jetzt?

Wie sollen wir die denn sperren? Jetzt sagen Sie: mit Robots.txt. Und was geschieht dann? Man wird bei jeder Suchmaschine und jedem Aggregator unsichtbar. An oder Aus für alle und alles – das ist die einzige Wahl, die einem Robots.txt lässt. Diese Technologie stammt aus der Steinzeit des Webs. Sie ist hoffnungslos veraltet und in keiner Weise mehr zukunftstauglich. Darauf haben die Verlage schon vor einem halben Jahrzehnt hingewiesen.

Die Speerspitze der Marketingmaschine für das Leistungsschutzrecht erklärt also die robots.txt Datei als Kontrollinstrument für untauglich, weil man damit entweder alles oder nichts sperren kann. Selbst wenn man nicht auf dem aktuellsten Stand ist – das man mit der robots.txt einzelen Crawler direkt ansprechen kann und so zumindest verschiedenen Suchmaschinen den Zugriff erlauben kann, war von Anfang an so und sollte mittlerweile als Basiswissen gelten.

Ein Blick in die Hilfetexte von Google offenbart aber, dass es sogar noch schlimmer ist:

Falls Sie Ihre Website lieber nicht in Google News aufnehmen lassen, aber in der Google Websuche bleiben möchten, folgt Google News einem Robots-Eintrag für den Googlebot-News, falls dieser restriktiver als der Robots-Eintrag für den Googlebot ist. Um es noch einmal ganz deutlich zu sagen:

Falls Sie den Zugriff für den Googlebot-News blockieren, indexieren wir Ihre Website nicht in Google News.
Falls Sie den Zugriff für den Googlebot blockieren, indexieren wir Ihre Website weder in Google News noch in der Google Websuche.

Wenn ein Verlag also nicht bei Google News gelistet werden möchte, kann er dies einfach per robots.txt tun, ohne das es Auswirkungen auf die Indexierung der Seiten für die normale Suche hätte. Dazu reicht es, dem Googlebot-News den Zugriff zu verbieten. Google nutzt diesen Bot zwar nicht mehr, der normale Googlebot hält sich aber genau so an die Regeln und indexiert Siten, die für den Googlebot-News verboten sind auch nicht mehr in den Google News.

Was die Verlage an dieser Stelle als veraltet brandmarken scheint lediglich auf das veraltete Wissen der Verlage hinzudeuten. Hat man dort in den letzten 5 Jahren nichts im Umgang mit den Crawlern gelernt? Ist das Leistungsschutzrecht, wie es aktuelle durchgeboxt wird, eventuell nur auf das mangelnde Fachwissen der Verlage zurück zu führen?

Update: Der Fehler mit der robots.txt ist nicht nur mir aufgefallen. Auf neunetz ist einen Tag später ein schöner Artikel erschienen, der die ganze Debatte darum nochmal aufzeigt.

Update II: der Fehler von Keese ist mittlerweile mehr oder weniger unkommentiert so auch auf heise.de abgedruckt worden. Das auch Heise den Fehler ungeprüft so übenrimmt enttäuscht mich doch ein wenig.

5 Kommentare zu "Leistungsschutzrecht, Christoph Keese und falsche Infos zur robots.txt"

  1. Was Herr Keese betreibt ist kein Journalismus, sondern Politik und somit Rhetorik. Da geht es nicht um die Wahrheit, sondern darum möglichst viele auf seine Seite zu ziehen, egal wie. Dummerweise werden ihm die meisten glauben.

  2. @Simon – da magst du durchaus recht haben, um so wichtiger ist es dann aber, auf die Fehler und Unwahrheiten hinzuweisen.

  3. Leider sind seine Geschütze größer als Deine.

  4. ja das lässt sich leider nicht abstreiten, aber ich hoffe ja, dass noch ein paar mehr Leute auf die Fehler hinweisen 🙂

  5. Christian | Januar 1, 2013 um 12:41 |

    Sehr interessant zu wissen. Habe erst vor kurzem ein neues Projekt gestartet und war gerade dran die robots.txt zu erstellen, da bin ich über diesen Artikel gestolpert. Jetzt weiß ich mehr.

Hinterlasse einen Kommentar

E-Mail Adresse wird nicht veröffentlicht.


*