SEOptimer’s Robots.txt Checker checks if your website has a robots.txt file configured, helping you manage search engine crawler access to your site.
Robots.txt es un archivo de texto que proporciona instrucciones a los rastreadores de los motores de búsqueda sobre cómo rastrear tu sitio, incluyendo los tipos de páginas a las que acceder o no. Frecuentemente es como el guardián de tu sitio y, normalmente, es lo primero a lo que accede un robot de motor de búsqueda.
Recomendamos tener siempre un archivo de robots en tu sitio. Se pueden crear automáticamente utilizando una utilidad en línea gratuita, un complemento de Wordpress o el proceso de creación de robots.txt de tu CMS.