Nein,
in die robots.txt schreibst Du rein, welche Dateien und Ordner in Deinem Webspace der bot durchsuchen darf, und welche nicht.
Beispiel: robots.txt von mood-indigo.org:
# robots.txt for
http://www.mood-indigo.org/User-agent: *
Disallow: /logs
Disallow: /cgi-bin
Disallow: /cgi-bin/YaBB/Members
Disallow: /cgi-bin/YaBB/Sources
Disallow: /cgi-bin/YaBB/Variables
Man kann mehr erlauben, man kann mehr verbieten... ich bin nicht 100% sicher, aber ich glaube in SelfHTML gibt's auch eine nette umfassende Abhandlung zur robots.txt.
Gruss
Jerry