Vad gör robots.txt?
Robots.txt är en textfil (därav .txt delen!) på en webbplats som berättar för sökmotorerna vilka sidor som ska eller inte ska indexeras! Filen kan begränsa åtkomsten för motorerna till vissa delar av webbplatsen, så det gäller att ha koll på vilka sidor du vill ska synas.
Har ni en fråga som inte står här?
Mejla oss, så svarar vi — och lägger upp den.