# robots.txt fuer http://www.refill-express.net/ User-agent: wget User-agent: webzip User-agent: webmirror User-agent: webcopy Disallow: /admin/ # Die Dateien sind sehr kurzlebig Disallow: /cvs/ # Die ändern sich jeden Tag Disallow: /download/ # Bilder nicht downloaden Disallow: /images/ # CGI Ausgaben nicht indexieren Disallow: /pub/ # Die news.html ändert sich täglich