SEO technique : tout est question de crawling

Pendant le temps que j’ai été dans le référencement (plus de 12 ans), j’ai vu beaucoup, beaucoup de gens prétendre qu’ils “font du référencement”. Des concepteurs aux spécialistes du marketing de contenu, en passant par les personnes PPC, les personnes chargées des relations publiques et les personnes des médias sociaux. Tout le monde veut être dans le jeu.

C’est super… ces gens ont leur place.

Mais, avec le référencement, tout commence par “le crawl”.

Si les moteurs de recherche ne peuvent pas explorer votre site Web ou indexer vos pages, tout le contenu du monde ne fera pas beaucoup bouger l’aiguille. Vous pouvez même générer beaucoup de bons backlinks et rester coincé dans la boue.

Certains sites Web sont assez faciles à suivre. Je veux dire, si votre site Web est généralement “statique” et construit de manière simple (WordPress avec quelques plugins ?), Il est peu probable que vous rencontriez des problèmes. Cependant, il existe encore de nombreux cas où les sites Web ont du mal à obtenir une indexation optimale.

Cas d’étude

Mon entreprise a récemment embauché un nouveau client qui, selon toutes les apparences et selon nos premières analyses, a été affecté par Google Panda WAY BACK en février 2011/. Les preuves semblaient assez claires :

Pendant des années, mon client a décidé d’aller de l’avant avec le “business as usual” sans trop réfléchir ou considérer le référencement. Ils gagnaient encore de l’argent grâce au marketing via PPC, e-mail et autres moyens plus traditionnels.

Ils ont ensuite déterminé qu’il était temps d’essayer de rattraper tout le monde et de mettre du temps, de l’argent et, oui, de la patience dans le processus de regagner leur présence de recherche organique.

Ce site Web particulier est un site Web de commerce électronique et ressemble à beaucoup d’autres qui revendent des produits. toutes leurs descriptions de produits sont partagées entre de nombreuses autres personnes qui revendent également ces produits identiques. « Assez facile », avons-nous pensé… nous allons réécrire un tas de descriptions de produits, puis continuer le travail d’optimisation des résultats.

Pas si vite.

Comme beaucoup d’entre vous, j’en suis sûr, nous avons lancé l’initiative par une « vérification ». Nous voulions avoir une vision holistique de tout, pour assurer une approche stratégique de l’effort. C’était jusqu’à ce que nous commencions à découvrir une liste apparemment interminable de problèmes techniques, de faux pas et de redirections (littéralement) qui nous ont amenés à renoncer au « processus typique » et à creuser beaucoup plus profondément dans l’exploration/l’indexabilité.

“Mettre les premières choses d’abord”, comme on dit.

À l’aide de la Wayback Machine, nous avons pu revenir sur le site Web, de décembre 2010 à février 2011 (le profil d’analyse avait été perdu à partir de cette période ; les développeurs qui avaient travaillé sur le site Web à ce moment-là n’étaient plus là). disponible pour référence). C’est ce qui a commencé notre processus d’apprentissage de ce dans quoi nous nous étions embarqués. Certains “génies” ont décidé qu’ils devaient réécrire toutes leurs URL (insérer un dossier, sans raison apparente), cesser d’utiliser une structure d’URL conviviale pour les moteurs de recherche (c’est-à-dire nom de l’entreprise.com/category/product/name -del-product) puis rediriger 302 tout à ces nouvelles URL. C’était/est tout simplement mauvais. Puis vint une série de réactions instinctives aux pertes qui ont conduit à la mise en œuvre de presque toutes les mauvaises pratiques connues du référencement.

Nous avons rapidement réécrit la copie promise et abandonné le « plan de match », pour nous mettre au travail avec quelques éléments techniques de référencement.

Tout d’abord, nous devions voir si les robots pouvaient explorer correctement le site Web.

Outils Google pour les webmasters : Alors que Google Webmaster Tools était opérationnel, les sitemaps étaient obsolètes. Au lieu de simplement resoumettre les Sitemaps, nous avons généré de nouveaux Sitemaps, classés par section du site Web que nous voulions analyser (Accueil, Blog, Produits XYZ, Produits ABC, etc.). C’est peut-être la meilleure chose que nous ayons faite. Cela nous a aidés à isoler complètement les zones du site Web qui n’étaient pas indexées.

Analyse du fichier journal : Nous soupçonnions que les grattoirs ciblaient activement le site Web de notre client. Une analyse du fichier journal l’a confirmé. Nous avons pu isoler certaines adresses IP et les empêcher de suivre le site Web. Nous voulions également rechercher tout signe révélateur indiquant que les bots avaient des difficultés à explorer le site Web.

Analyse de contenu: Parce que nous pensions toujours que Panda pourrait être dans le jeu et que nous étions en mesure d’identifier de nombreux autres sites Web avec du contenu en double (volé), nous devions toujours rechercher des cas où nous aurions pu créer une duplication au sein de notre propre site Web. Bien qu’ils ne soient pas facilement visibles dans de nombreux outils/crawls, en affichant les versions en cache des pages que nous avions déterminées comme problématiques, nous avons pu voir que notre client avait indexé du contenu “pop-up”. Ce contenu contextuel était important pour l’utilisateur (il saurait si un produit était en rupture de stock, etc.) mais ce contenu existait également sur chaque page de produit, que le produit soit en rupture de stock ou non. C’était dans le cache de Google. En pourcentage, ce contenu « indésirable » représentait un grand nombre. Peut-être que la moitié du contenu textuel de leurs pages était liée à du contenu en rupture de stock ou « indisponible ». Pensez-vous que les moteurs de recherche aiment lire cela ? Pensez-vous qu’ils voudront indexer ces pages ? Nos pensées? “Probablement non”.

Problèmes DNS : Alors que nous nous penchions sur les problèmes techniques potentiels, nous voulions savoir s’il y avait des problèmes DNS pour le domaine. Nous voulions nous assurer qu’il n’y avait aucun problème avec la configuration du domaine, ainsi qu’avec les obstacles qui pourraient être présents lorsque le site est “appelé” et que le serveur doit démarrer la communication. Nous avons trouvé un petit problème au niveau DNSSEC où la délégation manquait de communication et n’a pas pu être validée. Cela a été corrigé.

Sécurité du site Web/Cross-Site Scripting (XSS)/ : En effectuant des requêtes sur les moteurs de recherche pour le site, nous sommes tombés sur un cas où nous avons cliqué sur le site Web du client et avons reçu un message indiquant que le site Web n’était « pas fiable ». Nous avons décidé que nous devions vérifier le site Web pour les logiciels malveillants. Pour cela, nous utilisons Zed Attack Proxy. Il s’est avéré que le site Web du client renvoyait en fait un résultat «positif» (ce qui signifie en fait «négatif») à notre test. Et il s’avère que ce n’était pas vraiment XSS mais plutôt un résultat “faux/positif” en raison de la façon dont leur logiciel multitâche sur le backend. Pourtant, si un outil montre des problèmes, pourquoi un moteur de recherche ne penserait-il pas qu’il y a des problèmes ?

Mobile: Il n’y avait pas de solution rapide ici car le client utilise une application mobile et n’exécute pas (encore) un site Web réactif. Cela arrive bientôt, mais nous travaillons avec votre application mobile pour obtenir au moins un mappage un à un pour toutes les pages (actuellement, toutes les pages sur mobile vous amèneront à la page d’accueil, car elles ont une application “d’aide”) . pour vous guider dans le processus de vente).

Javascript/CSS : Le client bloquait JS et CSS des bots. Comme Google l’a annoncé l’année dernière, ce n’est pas une bonne chose.

Structures d’URL : Ce client utilisait une méthode assez courante pour la génération d’URL, et qui a toujours bien fonctionné (peut-être). Autrement dit, placez toutes les pages de produits directement en dehors de la racine du domaine (nomentreprise.com/nom-produit). J’ai toujours cru que cela fonctionnait effectivement, mais cela ne devrait pas. Les moteurs de recherche devraient être plus intelligents que cela. Avec les récents changements apportés à l’algorithme mobile, je suis maintenant un ardent défenseur des structures d’URL qui suivent la structure du site Web (et le fil d’Ariane qui va avec). Nous avons maintenant réécrit toutes les URL dans un format approprié et ajouté des pages de catégories là où il n’y en avait pas auparavant.

Nous avons apporté tellement de changements (et les choses ne sont toujours pas là où elles devraient être) que nous pouvons maintenant prendre du recul et commencer à envisager l’approche plus stratégique qui avait été planifiée il y a longtemps. Nous pouvons maintenant envisager des éléments tels que l’analyse des écarts de contenu, les améliorations de l’architecture de l’information, la refonte du site Web, la stratégie des médias sociaux, les relations publiques et l’optimisation de la convivialité/du taux de conversion. Toutes ces choses sont certainement importantes, mais tout commence par le suivi.