Webnews wieder mit normaler robots.txt

Über Ostern wurden bei Webnews per robots.txt alle Bots ausgesperrt. Betroffen waren auch die Suchmaschinenbots, so dass keine News mehr indexiert wurden.

Mittlerweile hat sich das Problem wieder geklärt, die aktuelle robots.txt von Webnews erlaubt den Zugriff wieder (mit einigen Verzeichnissen mal abgesehen):

Sitemap: http://www.webnews.de/sitemap.xml.gz