Hvad betyder Robots.txt ?

Robots.txt er en de-facto standard, der bruges til at angive kataloger på din webserver, som du ikke ønsker at bestemte agenter får adgang til – herunder søgemaskinernes robotter.

Beskrivelse: Robots.txt er en almindelig textfil (f.eks. skrevet i Notepad) med navnet robots.txt. For at det virker, skal filen placeres i din webservers rod, således at den kan findes på: www.dit-domain.dk/robots.txt

Hvis du vil udelukke alle robotter fra hele dit website skrives det således:

User-agent: *
Disallow: /

Hvis det kun er katalogerne /privat/ og /admin/ du ikke vil have robotterne ind i, skrives det således:

User-agent: *
Disallow: /privat/
Disallow: /admin/

Du kan finde yderligere dokumentation af standarden her:
www.searchengineworld.com/robots/robots_tutorial.htm