Kan jeg være sikker på, at mine websider ikke bliver indekseret af søgemaskinerne, hvis jeg udelukker dem med robots.txt eller META-robots?

Nej, crawling og indeksering er to forskellige ting. Og det er crawling du forhindrer søgemaskinerne i med disse to standarder. Ikke nødvendigvis indeksering. Det kan godt lyde lidt forvirrende, så lad mig prøve at forklare lidt nærmere:

Crawling er den proces, hvor søgemaskinerne bevæger sig rundt på nettet og bl.a. læser alt indholdet og alle links.

Indeksering er den proces, hvor søgemaskinerne opbygger deres søgbare indeks med referencer (URL’er) til de sider, man kan finde.

Google vil naturligvis helst ud og besøge alle de sider, de har i deres indeks – altså crawle dem – men det er dog langt fra alle de URL’er de har i deres færdige indeks, hvor de faktisk har læst indholdet. Nogle gange vælger de at inkludere sider, som de, af den ene eller den anden grund, ikke har crawlet. Disse sider finder de normalt gennem links fra andre websites, som de har en god grund til at stole på.