Een week geleden heb ik wat URL paden gewijzigd. Met de Webmaster tools van Google, kun je controleren webcrawler geen crawl fouten heeft: www.google.com/webmasters/tools/
De Google web crawler fouten lijst, bevatte enkele paden, die ik niet gebruik, maar gebruikt wordt door de hosting provider. Ook bevatte de index sommige paden, die niet geïndexeerd hoeven te worden. Om deze web crawler fouten op te lossen, heb ik deze paden aan de robots.txt toegevoegd. Deze robots.txt staat in de root van de domein directory.
De default Drupal installatie bevat een robots.txt. Aan deze file is de volgende tekst toegevoegd aan het ‘Directories’ gedeelte:
$ Directories
Disallow: /www/
Disallow: /drupal/
Disallow: /cgi-bin/
Disallow: /arjanwooning/
Disallow: /info4admins/
Disallow: /webstat/
Disallow: /wiki/