SEOptimer’s Robots.txt Checker checks if your website has a robots.txt file configured, helping you manage search engine crawler access to your site.
Robots.txt est un fichier texte qui fournit des instructions aux crawlers des moteurs de recherche sur la façon d'explorer votre site, y compris les types de pages à accéder ou non. C'est souvent le gardien de votre site, et normalement la première chose à laquelle un robot de moteur de recherche accède.
Nous vous recommandons de toujours avoir un fichier robots en place pour votre site. Ce fichier peut être créé automatiquement à l'aide d'un utilitaire en ligne gratuit, d'un plugin Wordpress ou du processus de création de robots.txt de votre CMS.