Ordbog · Hjemmeside og teknik
robots.txt
En lille tekstfil, der fortæller robotter hvad de ikke må besøge.
Filen ligger i roden af domænet og læses af søgemaskiner, før de går i gang. Den bruges til at holde robotter væk fra søgeresultater, kurve og administrationssider.
Den er ikke sikkerhed. Alle kan læse den, og den forhindrer ikke indeksering af en side, andre linker til.
Hvad betyder det for dig?
Den klassiske katastrofe: en ny hjemmeside går live med "Disallow: /" fra udviklingsserveren. Så er hele siden usynlig i Google.
Mere om hjemmeside og teknik