Créer un fichier robots.txt pour WordPress

Peut-être avez-vous déjà rencontré sur votre serveur un petit fichier nommé robots.txt sur WordPress. Et peut-être aussi que vous vous êtes demandé « mais qu’est-ce que c’est que cette bête-là ? ». Afin de supprimer toutes vos questions à ce sujet, je vais vous expliquer l’utilité de ce fichier, comment créer un fichier robots.txt pour WordPress et si vous devez en créer un ou pas.

Qu’est-ce qu’un fichier robotos.txt ?

Le fichier robots.txt de WordPress est un fichier que l’on va insérer à la racine de son site afin d’indiquer aux robots d’exploration des moteurs de recherche quelle partie du site ils doivent venir explorer.

Il est complémentaire au sitemap. Il n’a pas pour but d’éviter l’indexation de certaines parties de votre site, mais plutôt d’optimiser l’exploration des robots au sein de votre site pour éviter l’indexation de certaines pages.

Cela permet d’optimiser le crawl (l’exploration) des moteurs de recherche sur votre site en évitant à celui-ci de perdre du temps sur du contenu qui n’a aucune utilité à être exploré. Le temps attribué par les moteurs de recherche sur votre site est ainsi optimisé pour donner un maximum de puissance aux pages importantes. Il joue le rôle d’aiguilleur pour faire simple.

L’accès au fichier

Si vous utilisez des CMS comme Wix ou Blogger par exemple vous n’aurez pas forcément la possibilité de régler ce fichier robots.txt.

Il faudra alors vous rendre dans la documentation pour savoir où vous pouvez régler les directives d’exploration des moteurs de recherche au sein de votre site web.

À quoi sert le fichier robots.txt sur WordPress ?

Le fichier robots.txt peut être utilisé pour gérer l’exploration de certaines parties de votre site. Notamment les fichiers audio, les fichiers vidéo, les fichiers PDF, etc.

Il permet aussi de cacher certaines parties de l’installation de WordPress qui ne doivent pas forcément être explorées.

Les limites du fichier

Le fichier robots.txt peut être interprété différemment selon le navigateur web utilisé. De même, c’est un fichier public lisible sur n’importe quel navigateur. Vous pouvez savoir si vous avez le fichier d’installé sur votre serveur en tapant le nom de domaine suivi du nom du fichier, comme ceci : https://nomdusite.com/robots.txt dans votre navigateur web.

Il gère l’exploration des moteurs de recherche et non l’indexation des pages.

Prenons un exemple de la vie courante pour illustrer le propos :

La mère de Pierre ne veut plus qu’il voie Paul.

Du coup Pierre ne peut pas explorer les rues pour rencontrer Paul (ça c’est le fichier robots.txt).

Par contre, Paul a un copain commun à Pierre. Il s’appelle Jacques. Jacques rencontre souvent Paul.

Du coup, Pierre garde contact avec Paul par l’intermédiaire de Jacques malgré les consignes de sa mère.

Ça c’est l’indexation.

Qu’est-ce que ça veut dire ?

Simplement que si quelqu’un à fait un lien vers une page exclue par le fichier robot.txt, celle-ci peut tout de même apparaître sur les moteurs de recherche.

La solution pour régler ce problème est de mettre la balise ‘noindex’ pour les pages dont vous ne voulez pas l’indexation.

Comment créer un fichier robots.txt pour WordPress ?

Le plus simple pour créer le fichier est d’utiliser le bloc-notes. Vous faites un clic droit sur votre bureau, puis choisissez ‘nouveau fichier texte’.

Les autorisations se passent toujours de la même manière. Vous devez autoriser l’accès puis retirer les accès des fichiers à ne pas explorer.

Pour autoriser les accès à l’exploration de tous les fichiers, tapez la ligne suivante :

User-agent: *
Allow: /

‘User-agent’ représente les moteurs de recherche. ‘Allow’ signifie autoriser.

La barre oblique représente la racine du site. L’astérisque signifie tout ce qui suit. Elle remplace les caractères ou les dossiers dont vous ne connaissez pas le nom ou la terminaison (.jpg, .mpg, .pdf, etc).

Une fois qu’on a autorisé l’accès, on va supprimer l’exploration de certains dossiers de WordPress. Ajoutez les lignes suivantes :

Disallow: /wp-admin/*
Disallow: /wp-includes/
Disallow: /wp-login.php
Disallow: /wp-register.php

Vous l’aurez compris, ‘Disallow’ signifie ne pas autoriser. On retrouve les dossiers courants de WordPress : wp-admin, wp-includes, wp-login et wp-register qui representent respectivement le dossier d’administration, les thèmes et extensions WordPress, la page de connexion et la page de création de comptes.

Ce sera le seul code basique à créer. Assurez-vous de le sauvegarder au format UTF-8. Nous allons voir maintenant comment l’intégrer.

Ajouter le fichier robots.txt à WordPress

Il faut maintenant placer le fichier sur le serveur. Pour cela on va se connecter en FTP avec Filezilla.

Une fois connecté, rendez-vous à la racine de votre site. C’est-à-dire là où est installé WordPress. Généralement dans le dossier public_html ou ‘www’.

Faites ensuite un glisser-déposé du fichier robots.txt vers votre serveur distant. Le fichier va apparaître à la racine de site comme le montre cette image :

Ensuite il n’y a plus rien à faire. Les moteurs de recherche liront ce fichier avant d’inspecter votre site web.

Faut-il installer un fichier robots.txt sur WordPress ?

Le fichier robots.txt n’est pas obligatoire. Il permet d’optimiser la découverte de votre site web par les moteurs de recherche. C’est un petit geste pour la planète qui évite d’utiliser des ressources inutilement pour les moteurs de recherche et il améliore la puissance générale du site en optimisant l’énergie accordée à l’exploration de votre contenu web. Ce n’est pas un fichier à utiliser pour la sécurité d’un site. Ce n’est pas son but. Pour résumer, c’est mieux d’en avoir un, mais ce n’est pas mauvais de ne pas en avoir.

Pour terminer

Le but d’un site Internet n’est pas simplement d’être joli, mais d’être visible et de convertir. Créer un fichier robots.txt fait partie des bonnes pratiques à appliquer.