Robots.txt (Svenska)
Vad är en robots.txt-fil?
Robots.txt är en textfil som webbansvariga skapar för att instruera webbrobotar ( vanligtvis sökmotorrobotar) hur man genomsöker sidor på deras webbplats. Robots.txt-filen är en del av protokollet för uteslutning av robotar (REP), en grupp webbstandarder som reglerar hur robotar genomsöker webben, får