Lorsque vous créez un blog ou un site Web dans WordPress, un fichier robots.txt est automatiquement créé pour chacune de vos pages de destination et articles. Il s’agit d’un aspect important du référencement de votre site Web, car il sera utilisé par les moteurs de recherche lors de l’exploration du contenu de votre site.
Si vous souhaitez faire passer le référencement de votre site Web au niveau supérieur, l’optimisation du fichier robots.txt sur votre site WordPress est importante mais malheureusement pas aussi simple que d’ajouter des mots-clés à votre contenu. C’est pourquoi nous avons élaboré ce guide WordPress robots.txt afin que vous puissiez commencer à le peaufiner et à améliorer votre classement dans les recherches.
Qu’est-ce qu’un fichier Robots.txt ?
En plaçant des sites Web sur les pages de résultats des moteurs de recherche (SERP), les moteurs de recherche tels que Google « explorent » les pages du site Web et analysent leur contenu. Le fichier robots.txt de n’importe quel site Web indique aux “bots” du robot d’exploration quelles pages explorer et lesquelles non, essentiellement une forme d’automatisation des processus robotiques (RPA).
Vous pouvez afficher le fichier robots.txt pour n’importe quel site Web en tapant /robots.txt après le nom de domaine. Cela ressemblera à quelque chose comme ceci :
Jetons un coup d’œil à chacun des éléments de l’image ci-dessus.
Agent utilisateur
L’agent utilisateur dans un fichier robots.txt est le moteur de recherche qui doit lire le fichier robots.txt. Dans l’exemple ci-dessus, l’agent utilisateur est marqué d’un astérisque, ce qui signifie qu’il s’applique à tous les moteurs de recherche.
La plupart des sites Web sont heureux que tous les moteurs de recherche explorent votre site, mais vous pouvez parfois vouloir empêcher tous les moteurs de recherche, à l’exception de Google, d’explorer votre site ou fournir des instructions spécifiques sur la façon dont les moteurs de recherche tels que Google News ou Google Images explorent votre site Web.
Si tel est le cas, vous devez trouver l’ID de l’agent utilisateur du moteur de recherche que vous souhaitez indiquer. C’est assez simple à trouver en ligne, mais voici quelques-uns des principaux :
- Google : robot Google
- Google Actualités : Googlebot-Actualités
- Google Images : Googlebot-Image
- Vidéo Google : Googlebot-Vidéo
- Bing : Bingbot
- Yahoo : Bot Slurp
Autoriser et refuser
Dans les fichiers robots.txt, autoriser et interdire indiquent aux robots les pages et le contenu qu’ils peuvent et ne peuvent pas explorer. Si, comme mentionné ci-dessus, vous souhaitez empêcher tous les moteurs de recherche, à l’exception de Google, d’explorer votre site Web, vous pouvez utiliser le fichier robots.txt suivant :
La barre oblique (/) après « Ne pas autoriser » et « Autoriser » indique au bot qu’il peut ou non explorer toutes les pages. Vous pouvez également placer des pages spécifiques entre les barres pour autoriser ou interdire au bot de les explorer.
Plan du site
Le « plan du site » dans un fichier robots.txt est un fichier XML qui contient une liste et des détails sur toutes les pages de votre site Web. Est-ce que ça ressemble à ça:
Le plan du site contient toutes les pages Web que vous souhaitez que le bot découvre. Le plan du site est particulièrement utile si vous avez des pages Web que vous souhaitez voir apparaître dans les résultats de recherche, mais qu’il ne s’agit pas de pages de destination typiques, telles que des articles de blog.
Les plans de site sont particulièrement importants pour les utilisateurs de WordPress qui espèrent revitaliser leur site Web avec des articles de blog et des pages de catégories. Beaucoup d’entre eux peuvent ne pas apparaître dans les SERP s’ils n’ont pas leur propre plan de site robots.txt.
Ce sont les aspects essentiels d’un fichier robots.txt. Cependant, il convient de noter que votre fichier robots.txt n’est pas un moyen sécurisé d’empêcher les robots des moteurs de recherche d’explorer certaines pages. Par exemple, si un autre site utilise des textes d’ancrage pour créer un lien vers une page que vous avez “rejetée” dans votre fichier robots.txt, les robots des moteurs de recherche pourront toujours explorer cette page.
Avez-vous besoin d’un fichier Robots.txt dans WordPress ?
Si vous avez un site Web ou un blog WordPress, vous aurez déjà un fichier robots.txt généré automatiquement. Voici quelques raisons pour lesquelles il est important de considérer votre fichier robots.txt si vous voulez vous assurer d’avoir un site WordPress convivial pour le référencement.
Vous pouvez optimiser votre budget de suivi
Un budget d’exploration, ou quota d’exploration, est le nombre de pages que les robots des moteurs de recherche exploreront sur votre site Web un jour donné. Si vous n’avez pas de fichier robots.txt optimisé, vous pourriez gaspiller votre budget d’exploration et empêcher les robots d’explorer les pages de votre site que vous souhaitez voir apparaître en premier dans les SERP.
Si vous vendez des produits ou des services via votre site WordPress, les robots d’exploration donneraient idéalement la priorité aux pages avec la meilleure conversion de vente.
Vous pouvez hiérarchiser vos pages de destination importantes
En optimisant votre fichier robots.txt, vous pouvez vous assurer que les pages de destination que vous souhaitez voir apparaître en premier dans les SERPs sont rapides et faciles à trouver pour les robots d’exploration. Diviser l’index de votre site en un index de « pages » et « articles » est particulièrement utile pour cela, car il peut garantir que les articles de blog apparaissent dans les SERP plutôt que dans vos pages de destination standard.
Par exemple, si votre site Web comporte de nombreuses pages et que vos données clients montrent que vos articles de blog génèrent beaucoup d’achats, vous pouvez utiliser des plans de site dans votre fichier robots.txt pour vous assurer que vos articles de blog apparaissent dans le SERP.
Cela peut améliorer la qualité globale du référencement de votre site Web
Les spécialistes du marketing sont bien conscients de l’excellent retour sur investissement de l’optimisation des moteurs de recherche. Diriger les recherches organiques vers votre site Web en vous concentrant sur votre référencement est moins cher et souvent plus efficace que les annonces payantes et les liens d’affiliation, bien que les deux soient toujours utiles. Consultez ces statistiques pour le retour sur investissement du canal marketing.
L’optimisation de votre fichier robots.txt n’est pas le seul moyen d’améliorer le classement de recherche de votre site Web ou de votre blog. Vous aurez toujours besoin d’avoir un contenu optimisé pour le référencement sur les pages elles-mêmes, vous aurez donc peut-être besoin d’un fournisseur de référencement SaaS pour vous aider. Cependant, la modification de votre fichier robots.txt est quelque chose que vous pouvez facilement faire vous-même.
Comment modifier un fichier Robots.txt dans WordPress
Si vous souhaitez modifier votre fichier robots.txt dans WordPress, il existe plusieurs façons de le faire. L’option la meilleure et la plus simple consiste à ajouter un plugin à votre système de gestion de contenu – votre tableau de bord WordPress.
Ajoutez un plugin SEO à votre WordPress
C’est le moyen le plus simple de modifier votre fichier robots.txt WordPress. Il existe de nombreux bons plugins de référencement qui vous permettront de modifier le fichier robots.txt. Certains des plus populaires sont Yoast, Rank Math et All In One SEO.
Ajoutez un plugin Robots.txt à votre WordPress
Il existe également des plugins WordPress spécialement conçus en éditant votre fichier robots.txt. Les plugins robots.txt populaires sont Virtual Robots.txt, WordPress Robots.txt Optimization et Robots.txt Editor.
Comment tester votre fichier WordPress Robots.txt
Si vous avez modifié votre fichier robots.txt, il est important de le tester pour vous assurer que vous n’avez commis aucune erreur. Des erreurs dans votre fichier robots.txt pourraient entraîner l’exclusion complète de votre site Web des SERP.
Google Webmaster dispose d’un outil de test robots.txt que vous pouvez utiliser gratuitement pour tester votre fichier. Pour l’utiliser, ajoutez simplement l’URL de votre page d’accueil. Le fichier robots.txt apparaîtra et vous verrez « avertissement de syntaxe » et « erreur de logique » sur toute ligne du fichier qui ne fonctionne pas.
Vous pouvez ensuite accéder à une page spécifique de votre site Web et sélectionner un agent utilisateur pour exécuter un test qui indiquera si cette page est « acceptée » ou « bloquée ». Vous pouvez modifier votre fichier robots.txt dans l’outil de test et relancer le test si nécessaire, mais notez que cela ne changera pas votre fichier réel, vous devrez copier et coller les informations modifiées dans votre éditeur robots.txt et les enregistrer .. là.
Comment optimiser votre fichier WordPress Robots.txt pour le référencement
Le moyen le plus simple d’optimiser votre fichier robots.txt consiste à sélectionner les pages que vous souhaitez rejeter. Dans WordPress, les pages typiques que vous pouvez rejeter sont / wp-admin /, / wp-content / plugins /, /readme.html, /Pister/.
Par exemple, un fournisseur de marketing SaaS a de nombreuses pages et publications différentes sur son site WordPress. Lorsque vous rejetez des pages comme / wp-admin / Oui / wp-content / plugins /, ils peuvent s’assurer que les robots d’exploration donnent la priorité aux pages qu’ils notent.
Créez des plans de site et ajoutez-les à votre fichier Robots.txt
WordPress crée son propre plan de site générique lorsque vous créez un blog ou un site Web avec. Il peut généralement être trouvé à example.wordpress.com/sitemap.xml. Si vous souhaitez personnaliser votre sitemap et créer des sitemaps supplémentaires, vous devez utiliser un fichier robots.txt ou un plugin WordPress SEO.
Vous pouvez accéder à votre plugin dans votre tableau de bord WordPress et il devrait avoir une section pour activer et modifier votre plan de site. De bons plugins vous permettront de créer et de personnaliser facilement des plans de site supplémentaires tels qu’un plan de site “page” et un plan de site “posts”.
Lorsque vous avez configuré vos sitemaps, ajoutez-les simplement à votre fichier robots.txt comme ceci :
Adoptez une approche minimaliste
Bien qu’il puisse être passionnant de modifier et d’optimiser votre fichier WordPress robots.txt, il est important d’avoir une approche minimaliste, moins c’est plus. En effet, si vous n’autorisez pas les pages sur votre site, cela empêchera les robots d’exploration de rechercher d’autres pages sur ces pages. Cela pourrait signifier que les pages clés ne sont pas découvertes et que l’intégrité structurelle de votre site est affaiblie du point de vue des robots des moteurs de recherche.
Il n’est pas non plus nécessaire d'”autoriser” l’accès à toutes les pages de votre site web dans le fichier robots.txt. Les robots rampants découvriront déjà ces pages ; Concentrez-vous plutôt sur vos sitemaps et les pages que vous devez rejeter afin que vos pages clés soient trouvées en premier.
Dans ce guide, nous vous avons fourni tout ce que vous devez savoir sur les fichiers robots.txt de WordPress. De l’explication de ce que sont les fichiers robots.txt à l’exploration de pourquoi et comment optimiser votre fichier robots.txt pour le référencement, cet article vous aidera si vous souhaitez trouver des moyens simples et efficaces d’améliorer le classement de recherche de votre site Web WordPress.
