Alle Artikel mit dem Tag ‘Webnews’

Webnews wieder mit normaler robots.txt

Über Ostern wurden bei Webnews per robots.txt alle Bots ausgesperrt. Betroffen waren auch die Suchmaschinenbots, so dass keine News mehr indexiert wurden. Mittlerweile hat sich das Problem wieder geklärt, die aktuelle robots.txt von Webnews erlaubt den Zugriff wieder (mit einigen Verzeichnissen mal abgesehen): Sitemap: http://www.webnews.de/sitemap.xml.gz

mehr Lesen »

Webnews aus dem Google-Index?

Wer derzeit bei Webnews Artikel veröffentlicht braucht sich nicht groß wundern, dass die neusten Meldungen nicht im Index bei Google auftauchen. Webnews sperrt derzeit alle Suchmaschinenbots generell aus: User-agent: * Disallow: / hinterlegt in der robots.txt Das Phänomen dürfte wohl temporärer Natur sein und scheint sich nur auf die Osterfeiertage

mehr Lesen »