Robots.txt (Español)
¿Qué es un archivo robots.txt?
Robots.txt es un archivo de texto que los webmasters crean para instruir a los robots web ( normalmente robots de motores de búsqueda) cómo rastrear páginas en su sitio web. El archivo robots.txt es parte del protocolo de exclusión de robots (REP), un grupo de estándares web que regulan la forma en que