Die robots.txt ist ein wichtiges Instrument wenn es darum geht, Suchmaschinen den Zugriff auf bestimmte Teile der Webseite zu erlauben oder zu verwehren. Fehler in diesem Bereich können allerdings verheerend sein, denn mit einem falschen…