Le guide ultime de l’optimisation WordPress Robots.txt

Lorsque vous crĂ©ez un blog ou un site Web dans WordPress, un fichier robots.txt est automatiquement crĂ©Ă© pour chacune de vos pages de destination et articles. Il s’agit d’un aspect important du rĂ©fĂ©rencement de votre site Web, car il sera utilisĂ© par les moteurs de recherche lors de l’exploration du contenu de votre site.

Si vous souhaitez faire passer le rĂ©fĂ©rencement de votre site Web au niveau supĂ©rieur, l’optimisation du fichier robots.txt sur votre site WordPress est importante mais malheureusement pas aussi simple que d’ajouter des mots-clĂ©s Ă  votre contenu. C’est pourquoi nous avons Ă©laborĂ© ce guide WordPress robots.txt afin que vous puissiez commencer Ă  le peaufiner et Ă  amĂ©liorer votre classement dans les recherches.

Qu’est-ce qu’un fichier Robots.txt ?

En plaçant des sites Web sur les pages de rĂ©sultats des moteurs de recherche (SERP), les moteurs de recherche tels que Google « explorent » les pages du site Web et analysent leur contenu. Le fichier robots.txt de n’importe quel site Web indique aux “bots” du robot d’exploration quelles pages explorer et lesquelles non, essentiellement une forme d’automatisation des processus robotiques (RPA).

Vous pouvez afficher le fichier robots.txt pour n’importe quel site Web en tapant /robots.txt aprĂšs le nom de domaine. Cela ressemblera Ă  quelque chose comme ceci :

Fichier robots.txt

Jetons un coup d’Ɠil Ă  chacun des Ă©lĂ©ments de l’image ci-dessus.

Agent utilisateur

L’agent utilisateur dans un fichier robots.txt est le moteur de recherche qui doit lire le fichier robots.txt. Dans l’exemple ci-dessus, l’agent utilisateur est marquĂ© d’un astĂ©risque, ce qui signifie qu’il s’applique Ă  tous les moteurs de recherche.

La plupart des sites Web sont heureux que tous les moteurs de recherche explorent votre site, mais vous pouvez parfois vouloir empĂȘcher tous les moteurs de recherche, Ă  l’exception de Google, d’explorer votre site ou fournir des instructions spĂ©cifiques sur la façon dont les moteurs de recherche tels que Google News ou Google Images explorent votre site Web.

Si tel est le cas, vous devez trouver l’ID de l’agent utilisateur du moteur de recherche que vous souhaitez indiquer. C’est assez simple Ă  trouver en ligne, mais voici quelques-uns des principaux :

  • Google : robot Google
  • Google ActualitĂ©s : Googlebot-ActualitĂ©s
  • Google Images : Googlebot-Image
  • VidĂ©o Google : Googlebot-VidĂ©o
  • Bing : Bingbot
  • Yahoo : Bot Slurp

Autoriser et refuser

Dans les fichiers robots.txt, autoriser et interdire indiquent aux robots les pages et le contenu qu’ils peuvent et ne peuvent pas explorer. Si, comme mentionnĂ© ci-dessus, vous souhaitez empĂȘcher tous les moteurs de recherche, Ă  l’exception de Google, d’explorer votre site Web, vous pouvez utiliser le fichier robots.txt suivant :

Robots.txt Autoriser/Ne pas autoriser

La barre oblique (/) aprĂšs « Ne pas autoriser » et « Autoriser » indique au bot qu’il peut ou non explorer toutes les pages. Vous pouvez Ă©galement placer des pages spĂ©cifiques entre les barres pour autoriser ou interdire au bot de les explorer.

Plan du site

Le « plan du site » dans un fichier robots.txt est un fichier XML qui contient une liste et des détails sur toutes les pages de votre site Web. Est-ce que ça ressemble à ça:

Ajouter le fichier Sitemap Robots.txt

Le plan du site contient toutes les pages Web que vous souhaitez que le bot dĂ©couvre. Le plan du site est particuliĂšrement utile si vous avez des pages Web que vous souhaitez voir apparaĂźtre dans les rĂ©sultats de recherche, mais qu’il ne s’agit pas de pages de destination typiques, telles que des articles de blog.

Les plans de site sont particuliĂšrement importants pour les utilisateurs de WordPress qui espĂšrent revitaliser leur site Web avec des articles de blog et des pages de catĂ©gories. Beaucoup d’entre eux peuvent ne pas apparaĂźtre dans les SERP s’ils n’ont pas leur propre plan de site robots.txt.

Ce sont les aspects essentiels d’un fichier robots.txt. Cependant, il convient de noter que votre fichier robots.txt n’est pas un moyen sĂ©curisĂ© d’empĂȘcher les robots des moteurs de recherche d’explorer certaines pages. Par exemple, si un autre site utilise des textes d’ancrage pour crĂ©er un lien vers une page que vous avez “rejetĂ©e” dans votre fichier robots.txt, les robots des moteurs de recherche pourront toujours explorer cette page.

Avez-vous besoin d’un fichier Robots.txt dans WordPress ?

Si vous avez un site Web ou un blog WordPress, vous aurez dĂ©jĂ  un fichier robots.txt gĂ©nĂ©rĂ© automatiquement. Voici quelques raisons pour lesquelles il est important de considĂ©rer votre fichier robots.txt si vous voulez vous assurer d’avoir un site WordPress convivial pour le rĂ©fĂ©rencement.

Vous pouvez optimiser votre budget de suivi

Un budget d’exploration, ou quota d’exploration, est le nombre de pages que les robots des moteurs de recherche exploreront sur votre site Web un jour donnĂ©. Si vous n’avez pas de fichier robots.txt optimisĂ©, vous pourriez gaspiller votre budget d’exploration et empĂȘcher les robots d’explorer les pages de votre site que vous souhaitez voir apparaĂźtre en premier dans les SERP.

Si vous vendez des produits ou des services via votre site WordPress, les robots d’exploration donneraient idĂ©alement la prioritĂ© aux pages avec la meilleure conversion de vente.

Vous pouvez hiérarchiser vos pages de destination importantes

En optimisant votre fichier robots.txt, vous pouvez vous assurer que les pages de destination que vous souhaitez voir apparaĂźtre en premier dans les SERPs sont rapides et faciles Ă  trouver pour les robots d’exploration. Diviser l’index de votre site en un index de « pages » et « articles » est particuliĂšrement utile pour cela, car il peut garantir que les articles de blog apparaissent dans les SERP plutĂŽt que dans vos pages de destination standard.

Par exemple, si votre site Web comporte de nombreuses pages et que vos donnĂ©es clients montrent que vos articles de blog gĂ©nĂšrent beaucoup d’achats, vous pouvez utiliser des plans de site dans votre fichier robots.txt pour vous assurer que vos articles de blog apparaissent dans le SERP.

Cela peut améliorer la qualité globale du référencement de votre site Web

Les spĂ©cialistes du marketing sont bien conscients de l’excellent retour sur investissement de l’optimisation des moteurs de recherche. Diriger les recherches organiques vers votre site Web en vous concentrant sur votre rĂ©fĂ©rencement est moins cher et souvent plus efficace que les annonces payantes et les liens d’affiliation, bien que les deux soient toujours utiles. Consultez ces statistiques pour le retour sur investissement du canal marketing.

ROI du canal de commercialisation

L’optimisation de votre fichier robots.txt n’est pas le seul moyen d’amĂ©liorer le classement de recherche de votre site Web ou de votre blog. Vous aurez toujours besoin d’avoir un contenu optimisĂ© pour le rĂ©fĂ©rencement sur les pages elles-mĂȘmes, vous aurez donc peut-ĂȘtre besoin d’un fournisseur de rĂ©fĂ©rencement SaaS pour vous aider. Cependant, la modification de votre fichier robots.txt est quelque chose que vous pouvez facilement faire vous-mĂȘme.

Comment modifier un fichier Robots.txt dans WordPress

Si vous souhaitez modifier votre fichier robots.txt dans WordPress, il existe plusieurs façons de le faire. L’option la meilleure et la plus simple consiste Ă  ajouter un plugin Ă  votre systĂšme de gestion de contenu – votre tableau de bord WordPress.

Ajoutez un plugin SEO Ă  votre WordPress

C’est le moyen le plus simple de modifier votre fichier robots.txt WordPress. Il existe de nombreux bons plugins de rĂ©fĂ©rencement qui vous permettront de modifier le fichier robots.txt. Certains des plus populaires sont Yoast, Rank Math et All In One SEO.

Ajoutez un plugin Robots.txt Ă  votre WordPress

Il existe également des plugins WordPress spécialement conçus en éditant votre fichier robots.txt. Les plugins robots.txt populaires sont Virtual Robots.txt, WordPress Robots.txt Optimization et Robots.txt Editor.

Comment tester votre fichier WordPress Robots.txt

Si vous avez modifiĂ© votre fichier robots.txt, il est important de le tester pour vous assurer que vous n’avez commis aucune erreur. Des erreurs dans votre fichier robots.txt pourraient entraĂźner l’exclusion complĂšte de votre site Web des SERP.

Google Webmaster dispose d’un outil de test robots.txt que vous pouvez utiliser gratuitement pour tester votre fichier. Pour l’utiliser, ajoutez simplement l’URL de votre page d’accueil. Le fichier robots.txt apparaĂźtra et vous verrez « avertissement de syntaxe » et « erreur de logique » sur toute ligne du fichier qui ne fonctionne pas.

Outil de test Google Webmaster Robots.txt

Vous pouvez ensuite accĂ©der Ă  une page spĂ©cifique de votre site Web et sĂ©lectionner un agent utilisateur pour exĂ©cuter un test qui indiquera si cette page est « acceptĂ©e » ou « bloquĂ©e ». Vous pouvez modifier votre fichier robots.txt dans l’outil de test et relancer le test si nĂ©cessaire, mais notez que cela ne changera pas votre fichier rĂ©el, vous devrez copier et coller les informations modifiĂ©es dans votre Ă©diteur robots.txt et les enregistrer .. lĂ .

Comment optimiser votre fichier WordPress Robots.txt pour le référencement

Le moyen le plus simple d’optimiser votre fichier robots.txt consiste Ă  sĂ©lectionner les pages que vous souhaitez rejeter. Dans WordPress, les pages typiques que vous pouvez rejeter sont / wp-admin /, / wp-content / plugins /, /readme.html, /Pister/.

Par exemple, un fournisseur de marketing SaaS a de nombreuses pages et publications diffĂ©rentes sur son site WordPress. Lorsque vous rejetez des pages comme / wp-admin / Oui / wp-content / plugins /, ils peuvent s’assurer que les robots d’exploration donnent la prioritĂ© aux pages qu’ils notent.

Créez des plans de site et ajoutez-les à votre fichier Robots.txt

WordPress crĂ©e son propre plan de site gĂ©nĂ©rique lorsque vous crĂ©ez un blog ou un site Web avec. Il peut gĂ©nĂ©ralement ĂȘtre trouvĂ© Ă  example.wordpress.com/sitemap.xml. Si vous souhaitez personnaliser votre sitemap et crĂ©er des sitemaps supplĂ©mentaires, vous devez utiliser un fichier robots.txt ou un plugin WordPress SEO.

Vous pouvez accĂ©der Ă  votre plugin dans votre tableau de bord WordPress et il devrait avoir une section pour activer et modifier votre plan de site. De bons plugins vous permettront de crĂ©er et de personnaliser facilement des plans de site supplĂ©mentaires tels qu’un plan de site “page” et un plan de site “posts”.

Lorsque vous avez configuré vos sitemaps, ajoutez-les simplement à votre fichier robots.txt comme ceci :

Robots.txt Ajouter un plan du site

Adoptez une approche minimaliste

Bien qu’il puisse ĂȘtre passionnant de modifier et d’optimiser votre fichier WordPress robots.txt, il est important d’avoir une approche minimaliste, moins c’est plus. En effet, si vous n’autorisez pas les pages sur votre site, cela empĂȘchera les robots d’exploration de rechercher d’autres pages sur ces pages. Cela pourrait signifier que les pages clĂ©s ne sont pas dĂ©couvertes et que l’intĂ©gritĂ© structurelle de votre site est affaiblie du point de vue des robots des moteurs de recherche.

Il n’est pas non plus nĂ©cessaire d'”autoriser” l’accĂšs Ă  toutes les pages de votre site web dans le fichier robots.txt. Les robots rampants dĂ©couvriront dĂ©jĂ  ces pages ; Concentrez-vous plutĂŽt sur vos sitemaps et les pages que vous devez rejeter afin que vos pages clĂ©s soient trouvĂ©es en premier.

Dans ce guide, nous vous avons fourni tout ce que vous devez savoir sur les fichiers robots.txt de WordPress. De l’explication de ce que sont les fichiers robots.txt Ă  l’exploration de pourquoi et comment optimiser votre fichier robots.txt pour le rĂ©fĂ©rencement, cet article vous aidera si vous souhaitez trouver des moyens simples et efficaces d’amĂ©liorer le classement de recherche de votre site Web WordPress.