Comment identifier et résoudre les problèmes de gonflement d’indexation

Le gonflement de l’indexation se produit lorsqu’un site Web contient des pages dans un “index” de moteur de recherche qui ne doivent pas être indexées et peuvent causer des problèmes si elles ne sont pas correctement surveillées et contrôlées.

Il s’agit d’un problème de référencement extrêmement courant qui affecte tous les sites Web, des petits blogs WordPress aux grands sites Web de commerce électronique Hybris et Magento.

Les cas les plus graves de gonflement des index se produisent généralement sur les sites Web de commerce électronique, car ils ont tendance à utiliser des navigations à facettes et des listes de filtres faciles à utiliser, permettant aux utilisateurs d’identifier rapidement les produits qu’ils souhaitent.

J’ai vu des exemples de première main de sites Web Demandware et Open Cart simples avec seulement quelques centaines de produits qui ont des millions d’URL apparaissant dans l’index de Google en raison de filtres de produits générant des URL.

Pourquoi l’indexation est-elle un problème ?

C’est un fait connu que lorsque Google et les autres moteurs de recherche explorent votre site Web, ils n’explorent pas votre site Web dans son intégralité. Autoriser et leur demander d’explorer des URL inutiles gaspille cette ressource.

Si les moteurs de recherche n’explorent pas régulièrement vos pages « argent » et restent bloqués dans d’autres terriers sans recevoir de mises à jour, cela pourrait affecter vos performances organiques.

Les ballonnements peuvent également entraîner des problèmes de contenu en double. Bien que la duplication du contenu d’un site Web interne ne soit pas un problème aussi grave que la duplication externe, elle pourrait diluer l’importance et la pertinence d’une page individuelle pour les termes de recherche si la page elle-même, comme les moteurs de recherche, est manquante. termes.

Identifier les problèmes de gonflement de l’index

Un indicateur précoce de gonflement des index est le nombre de pages qui apparaissent dans les résultats des moteurs de recherche.

Il est important de noter ici que le nombre de pages qui sont généralement identifiées par le site: L’opérateur dans la recherche Google et Bing affiche souvent des nombres différents de ceux que vous voyez dans la console de recherche Google et les outils pour les webmasters de Bing ; ce n’est pas quelque chose à s’inquiéter.

Surveillance du site Web

Bien qu’il existe des moyens de résoudre le gonflement de l’index, le meilleur moyen, d’après mon expérience, de le gérer est de l’empêcher de se produire.

En vérifiant mensuellement la console de recherche Google et les outils pour les webmasters de Bing, en particulier sur les données d’exploration, vous pouvez enregistrer ce qui est et ce qui n’est pas le comportement habituel de votre site Web.

Des augmentations anormales ou des pics de “Pages explorées par jour” et “Kilooctets téléchargés par jour” peuvent indiquer que Google accède à plus d’URL qu’auparavant.

De même, diriger un site : la recherche dans Google et Bing vous permettra de voir combien d’URL ils ont dans l’index, et vous saurez à peu près combien de pages votre site Web a.

Comment puis-je résoudre le problème de l’indexation ?

Identifier que vous avez un problème de gonflement de l’index n’est que la première étape, vous devez maintenant déterminer la cause du gonflement.

Ce sont quelques-unes des causes les plus courantes de ballonnement de l’index, mais il n’est pas rare non plus d’avoir plus d’une de ces causes.

• Les URL de domaine sont servies via les protocoles http et https
• Versions imprimables des pages provoquant une URL en double
• URL de paramètres déclenchées par la recherche interne
• URL de paramètres déclenchées par les filtres de produits
• Pagination
• Taxonomies de blogs
• ID de session dans l’URL
• Injecter des pages de spam après un piratage
• Les anciennes URL ne sont pas redirigées correctement après une migration
• Les barres obliques à la fin des URL provoquent des doublons
• police UTM

Correction avec des méta-robots

Une balise meta robots au niveau de la page est ma méthode préférée pour gérer le gonflement de l’index et est particulièrement utile si elle est implémentée à partir d’un niveau de serveur sur plusieurs pages à la fois.

Les méta-robots au niveau de la page ont également la priorité sur les directives de pagination et de canonisation, ainsi que sur le fichier robots.txt (à moins qu’ils ne soient verrouillés dans le fichier robots.txt).

Ceux-ci sont également efficaces pour supprimer les URL contenant des paramètres causés par les filtres de produits, les navigations à facettes et les fonctions de recherche internes. Les bloquer dans le fichier robots.txt n’est pas toujours le meilleur, car cela peut entraîner des problèmes entre ce que les différents agents utilisateurs de Google peuvent voir, ce qui peut affecter négativement les campagnes de recherche payante.

La meilleure pratique serait d’utiliser “noindex, suivre“- de cette façon, tous les backlinks pointant vers la page continueront de transférer des capitaux propres au domaine.

Fichier robots.txt

Verrouiller les paramètres d’URL dans le fichier robots.txt est une excellente mesure préventive et réactive, mais ce n’est pas une solution absolue.

Tout ce qu’un fichier Robots.txt fait est d’empêcher les moteurs de recherche d’explorer une page, mais Google peut toujours indexer la page si la page est liée en interne ou à partir de sites externes. Si vous savez où se trouvent ces liens internes, ajoutez un rel = “ne pas suivre” à eux.

Balises canoniques

La canonisation auto-référentielle est généralement la meilleure pratique, en plus des URL gonflées. Les plateformes de commerce électronique, comme Open Cart, peuvent créer plusieurs URL pour le même produit et la même catégorie.

L’ajout d’une balise canonique aux en-têtes d’URL de produits et de catégories inutiles pointant vers le « principal » aidera les moteurs de recherche à comprendre quelle version de la page doit être indexée.

Cependant, la directive canonique n’est qu’une directive et peut être ignorée par les moteurs de recherche.

Pagination

Des problèmes de pagination peuvent survenir à partir des articles de blog et des pages de catégorie de blog, des pages de catégorie de produit, des pages de résultats de recherche internes ; essentiellement tout élément d’un site Web comportant plusieurs pages.

Étant donné que ces pages contiendront les mêmes méta-informations, les moteurs de recherche peuvent confondre la relation entre elles et peuvent décider s’il s’agit de contenu en double.

Utilisant rel = “suivant” Oui rel = “préc” Le balisage de pagination aidera les moteurs de recherche à comprendre la relation entre ces pages et, avec les paramètres de la console de recherche Google, à décider lesquelles doivent être indexées.

Utilisation de l’outil de paramétrage d’URL de la console de recherche Google

L’outil de paramètres d’URL peut être utilisé pour indiquer à Google quels paramètres spécifiques ils font avec le contenu d’une page (c’est-à-dire trier, restreindre, filtrer). Comme les autres méthodes mentionnées ci-dessus, vous devez vous assurer que vous ne demandez pas accidentellement à Google de ne pas indexer les URL que vous souhaitez dans l’index et que vous ne spécifiez pas le comportement d’un paramètre de manière incorrecte.

Google classe ses paramètres en deux catégories ; actif et passif. Un paramètre actif est quelque chose qui affecte le contenu d’une page, donc un filtre de produit et un paramètre passif sont quelque chose comme un ID de session ou une source UTM.

Cela ne devrait vraiment être utilisé qu’en dernier recours et utilisé correctement en conjonction avec d’autres méthodes, sinon cela pourrait affecter négativement les performances de recherche organique du domaine.

Avant d’utiliser cet outil, assurez-vous de lire la documentation et le guide officiels de Google.

L’outil de suppression d’URL

Selon l’autorité de votre domaine, Google peut mettre un certain temps à reconnaître et à filtrer les URL que vous souhaitez supprimer. Après avoir mis en œuvre quelque chose pour dire à Google de ne pas réindexer l’URL (une balise meta robot au niveau de la page), vous pouvez demander à Google de supprimer l’URL de l’index via la console de recherche Google.

Il ne s’agit que d’une mesure temporaire, car elle ne masquera l’URL que pendant 90 jours dans les résultats de recherche Google, mais cela n’affectera pas l’exploration ou l’indexation de l’URL par Google.

C’est bon à utiliser si vous ne voulez pas que les utilisateurs puissent trouver certaines pages, mais chaque URL doit être soumise individuellement, ce n’est donc pas une bonne solution si vous avez un index sévère.

Gonflement de l’index résultant d’un hack

Maintenant, évidemment, si votre site Web a été piraté, le gonflement de l’index ne sera certainement pas une préoccupation majeure. Mais le gonflement d’un piratage peut causer des problèmes pour le domaine.

La capture d’écran suivante provient d’un domaine suisse (.ch) opérant en Europe, des semaines après une attaque :

Le site Web lui-même ne compte qu’une cinquantaine de pages, mais comme vous pouvez le constater, Google en indexe actuellement 112 000.

Cela signifie qu’entre autres choses, ces 50 pages de produits et pages d’informations sur les produits sont désormais perdues parmi des milliers d’URL piratées, de sorte que toute mise à jour de ces pages peut prendre des semaines avant d’être remarquée, surtout si votre site Web n’a pas un bon crawl. devis.

Un autre indicateur de cela peut être une augmentation soudaine de la visibilité de la recherche (pour les termes non pertinents) :

J’ai déjà travaillé sur des sites Web où cela a été le premier indicateur. Lors d’une vérification mensuelle de routine sur la console de recherche Google, un site Web traitant des robes de baptême avait commencé à se classer pour les “maillots NFL bon marché” et d’autres termes de vêtements de sport américains.

Ces pics de visibilité sont généralement de courte durée, mais ils peuvent détruire la confiance entre Google et votre domaine pendant une longue période, on peut donc en dire beaucoup sur l’investissement dans la cybersécurité au-delà de https.

conclusion

La réduction du gonflement de l’indice ne se produit pas du jour au lendemain, il est donc important d’être patient.

Il est également important de mettre en place un processus ou un cadre et de confier la responsabilité de ce processus à quelqu’un pour qu’il l’exécute régulièrement.