Robots.txt een tekst bestand die opgeladen moet worden in de hoofdmap van uw site. Crawlers lezen eerst deze bestand voordat ze beginnen te indexeren.

Zo kunt u toegang verbieden.

User-agent: *

Disallow: /faq/

Disallow: /cgi-bin/

Disallow: /images/

Disallow: /info/about/

Disallow: *.php *