Au programme de cet article :
C’est dans le but d’orienter les moteurs de recherche sur les pages à traiter ou à éviter, que le fichier robots.txt (robots d’indexation) a été créé. Autrement dit, il s’agit d’un fichier au format texte qui permet d’indiquer aux robots des moteurs de recherche sa zone de travail. Le SEO (Search Engine Optimization ) quant à lui fait référence au positionnement du site ou de la page web dans le moteur de recherche. Pour répondre à la question « Comment optimiser un fichier Robots.txt pour le SEO ? » Lisez la suite.
Historique du fichier Robots.txt
Crée par un employé de la boite Webcrawler du nom de Martin Koster, le robots.txt est une véritable révolution. En effet, dans les années 1954, les objectifs étaient tout autre puisqu’il s’agissait simplement d’inspecter les robots ce qui générait généralement beaucoup d’ennuis. Voilà pourquoi le fichier robots.txt est aussi apprécié, car celui-ci prévient de potentiels désagréments en orientant le webmaster exactement sur les pages web à traiter.
Le lien entre le robots.txt et SEO
Les termes robots.txt et SEO sont extrêmement liés. En effet, l’on ne peut pas faire allusion au référencement (SEO) sans toutefois parler au préalable d’un traitement d’informations par les robots. Ces derniers analysent les contenus et mettent en évidence les termes ou les éléments susceptibles d’influencer positivement ou négativement leur positionnement dans les moteurs de recherches suite aux résultats. En raison de la complémentarité qui existe entre ces deux termes, plusieurs interrogations en découlent :
- La création du robots.txt garantit-elle un meilleur référencement (SEO)?
Les effets des robots.txt sur le SEO ne sont pas automatiques. En effet, les robots.txt permettent de simplifier les contenus, mais cette fonction n’est pas assez pertinente pour influencer le SEO. Voilà pourquoi la réponse à cette question relève de la négation.
- Dans une optique de référencement, quels sont les contenus à proscrire ?
Par « contenu à proscrire », nous faisons allusion aux différents éléments qui peuvent influencer le référencement. Parmi eux, des pages contenants des informations classées confidentielles, des pages pouvant toucher la sensibilité des internautes, des contenus dupliqués et autres.
- Quelles sont les règles du référencement ?
Les voici :
- L’écriture : le nom du fichier doit impérativement s’écrire au pluriel sous la forme « robots.txt ».
- Les consignes données aux robots doivent être précises, claires et accessibles.
- Il ne peut y avoir qu’un seul robot et celui-ci doit impérativement être inférieur ou égal à 500 Ko.
- Chaque protocole ou domaine doit avoir un robot.txt en particulier.
Par ailleurs, en ce qui concerne le robot.txt, voici les choses à ne pas faire :
- un mauvais encodage du fichier ;
- un mauvais ordre des blocs de directives ;
- inscrire une URL d’un robot.txt qui renvoie à une erreur.
Le fichier Robot.txt : lecture, création, le placement et mise à jour
- En ce qui concerne la lecture et la création du fichier Robot.txt, il existe plusieurs applications qui vous simplifieront la tâche parmi lesquelles : Notepad, Atom ou Bloc-notes.
- Le robot.txt se place toujours à la racine du site web, il suffit donc de l’inscrire dans l’espace prévu par votre serveur.
- La mise à jour du Robot.txt est très simple, il suffit de suivre les instructions de Google et d’appuyer sur « Envoyer ».