Robots.txt
Wat is een robots.txt-bestand?
Robots.txt is een tekstbestand dat webmasters maken om webrobots ( meestal robots van zoekmachines) hoe ze pagina’s op hun website kunnen crawlen. Het robots.txt-bestand maakt deel uit van het robots exclusion protocol (REP), een groep webstandaarden die regelen hoe robots het web crawlen, inhoud openen