Während meiner Tätigkeit im SEO-Bereich (über 12 Jahre) habe ich viele, viele Leute gesehen, die behaupteten, sie würden „SEO betreiben“. Von Designern bis hin zu Content-Vermarktern, PPC-Leuten, PR-Leuten und Social-Media-Leuten. Jeder möchte im Spiel sein.
Das ist großartig… diese Leute haben ihren Platz.
Aber bei SEO beginnt alles mit dem „Crawling“.
Wenn Suchmaschinen Ihre Website nicht crawlen oder Ihre Seiten nicht indizieren können, wird der gesamte Inhalt der Welt nicht viel bewegen. Sie können sogar viele tolle Backlinks generieren und bleiben trotzdem im Dreck stecken.
Einige Websites sind recht einfach zu crawlen. Ich meine, wenn Ihre Website im Allgemeinen „statisch“ und auf einfache Weise aufgebaut ist (WordPress mit einigen Plugins?), werden Sie wahrscheinlich keine Probleme haben. Allerdings gibt es immer noch viele Fälle, in denen Websites Schwierigkeiten haben, eine optimale Indexierung zu erreichen.
Fallstudie
Mein Unternehmen hat kürzlich einen neuen Kunden eingestellt, der allem Anschein nach und unserer ersten Analyse zufolge bereits im Februar 2011 von Google Panda betroffen war. Die Beweise schienen ziemlich klar:

Jahrelang entschied sich mein Kunde dafür, „wie bisher weiterzumachen“, ohne viel über SEO nachzudenken oder darüber nachzudenken. Sie verdienten immer noch Geld mit Marketing über PPC, E-Mail und andere traditionellere Mittel.
Dann beschlossen sie, dass es an der Zeit war, mit allen anderen gleichzuziehen und etwas Zeit, Geld und, ja, Geduld in den Prozess zu investieren, ihre organische Suchpräsenz wiederzugewinnen.
Diese spezielle Website ist eine E-Commerce-Website und ähnelt vielen anderen, die Produkte weiterverkaufen. Alle Produktbeschreibungen werden an viele andere weitergegeben, die diese identischen Produkte ebenfalls weiterverkaufen. „Einfach genug“, dachten wir uns … wir werden eine Reihe von Produktbeschreibungen neu schreiben und uns dann an die Optimierung der Ergebnisse machen.
Nicht so schnell.
Wie sicher viele von Ihnen haben wir die Initiative mit einem „Audit“ gestartet. Wir wollten alles ganzheitlich betrachten, um einen strategischen Ansatz für die Bemühungen sicherzustellen. Bis wir begannen, eine scheinbar endlose Liste technischer Probleme, Fehltritte und Weiterleitungen (im wahrsten Sinne des Wortes) zu entdecken, die uns dazu veranlassten, auf den „typischen Prozess“ zu verzichten und uns viel tiefer mit der Rückverfolgbarkeit/Indexierbarkeit zu befassen.
„Das Wichtigste zuerst“, heißt es.
Mithilfe der Wayback Machine konnten wir einen Rückblick auf die Website von Dezember 2010 bis Februar 2011 werfen (das Analyseprofil war aus diesem Zeitraum verloren gegangen; die Entwickler, die zu diesem Zeitpunkt an der Website gearbeitet hatten, standen nicht mehr als Referenz zur Verfügung). ). Damit begann unser Lernprozess darüber, worauf wir uns eingelassen hatten. Einige „Genies“ beschlossen, alle ihre URLs neu zu schreiben (ohne ersichtlichen Grund einen Ordner einzufügen), keine suchmaschinenfreundliche URL-Struktur mehr zu verwenden (z. B. firmenname.com/category/product/name-from-product) und dann eine 302-Weiterleitung vorzunehmen alles zu diesen neuen URLs. Das war/ist einfach schlecht. Dann kam es zu einer Reihe reflexartiger Reaktionen auf Verluste, die zur Umsetzung fast aller bekannten schlechten SEO-Praktiken führten.
Wir haben die versprochene Kopie schnell umgeschrieben und den „Spielplan“ verworfen, um an einigen SEO-technischen Details zu arbeiten.
Als Erstes mussten wir prüfen, ob die Bots die Website ordnungsgemäß crawlen konnten.
Google Webmaster Tools: Während die Google Webmaster-Tools liefen, waren Sitemaps veraltet. Anstatt Sitemaps einfach erneut einzureichen, haben wir neue Sitemaps generiert, kategorisiert nach Abschnitt der Website, den wir analysieren wollten (Startseite, Blog, XYZ-Produkte, ABC-Produkte usw.). Das ist vielleicht das Beste, was wir gemacht haben. Es hat uns geholfen, Bereiche der Website, die nicht indiziert wurden, vollständig zu isolieren.
Logfile-Analyse: Wir hatten den Verdacht, dass Scraper aktiv auf die Website unseres Kunden abzielten. Eine Logfile-Analyse bestätigte dies. Wir konnten einige IP-Adressen isolieren und sie am Crawlen der Website hindern. Wir wollten auch nach verräterischen Anzeichen dafür suchen, dass Bots Schwierigkeiten beim Crawlen der Website hatten.
Inhaltsanalyse: Da wir immer noch glaubten, dass Panda im Spiel sein könnte, und viele andere Websites mit doppelten (gestohlenen) Inhalten identifizieren konnten, mussten wir noch nach Fällen suchen, in denen wir möglicherweise Duplikate auf unserer eigenen Website erstellt hatten. Auch wenn dies in vielen Tools/Crawlings nicht leicht zu erkennen ist, konnten wir durch die Anzeige zwischengespeicherter Versionen von Seiten, von denen wir festgestellt hatten, dass sie problematisch sind, erkennen, dass bei unserem Kunden „Pop-up“-Inhalte indiziert waren. Dieser Popup-Inhalt war für den Benutzer wichtig (er wusste, ob ein Produkt nicht vorrätig war usw.), aber dieser Inhalt war auch auf jeder Produktseite vorhanden, unabhängig davon, ob das Produkt nicht vorrätig war oder nicht. Es war im Google-Cache. Prozentual gesehen machte dieser „Junk“-Inhalt eine große Zahl aus. Vielleicht die Hälfte des Textinhalts auf ihren Seiten bezog sich auf nicht vorrätige oder „nicht verfügbare“ Inhalte. Glauben Sie, dass Suchmaschinen das gerne lesen? Glauben Sie, dass sie diese Seiten indizieren wollen? Unsere Gedanken? “Wahrscheinlich nicht”.
DNS-Probleme: Während wir uns mit potenziellen technischen Problemen befassten, wollten wir wissen, ob es DNS-Probleme für die Domain gab. Wir wollten sicherstellen, dass es keine Probleme mit der Einrichtung der Domain gibt und auch keine Hindernisse auftreten, wenn die Site „aufgerufen“ wird und der Server mit der Kommunikation beginnen muss. Wir sind auf ein kleines Problem auf der DNSSEC-Ebene gestoßen, bei dem es der Delegation an Kommunikation mangelte und sie nicht validiert werden konnte. Dies wurde korrigiert.

Website-Sicherheit/Cross-Site Scripting (XSS)/: Als wir einige Seitenabfragen in Suchmaschinen durchführten, stießen wir auf einen Vorfall, bei dem wir auf die Website des Kunden klickten und die Meldung erhielten, dass die Website „nicht vertrauenswürdig“ sei. Wir beschlossen, die Website auf Malware zu überprüfen. Hierfür verwenden wir Zed Attack Proxy. Wie sich herausstellte, lieferte die Website des Kunden bei unserem Test tatsächlich ein „positives“ (was eigentlich „negatives“ bedeutet) Ergebnis. Und es stellte sich heraus, dass es sich nicht wirklich um XSS handelte, sondern eher um ein „falsches/positives“ Ergebnis aufgrund der Art und Weise, wie ihre Software verschiedene Aufgaben im Backend ausführte. Aber wenn ein Tool Probleme anzeigt, warum sollte eine Suchmaschine dann nicht denken, dass es Probleme gibt?
Handy, Mobiltelefon: Hier gab es keine schnelle Lösung, da der Kunde eine mobile App nutzt und (noch) keine responsive Website betreibt. Dies kommt bald, aber wir arbeiten mit ihrer mobilen App daran, mindestens eine Eins-zu-eins-Zuordnung für alle Seiten zu erhalten (derzeit leiten Sie alle Seiten auf Mobilgeräten zur Startseite weiter, da sie über eine „Assistenten“-App verfügen). um es durch den Verkaufsprozess zu schieben).
JavaScript/CSS: Der Client blockierte JS und CSS für Bots. Wie Google letztes Jahr bekannt gab, ist das keine gute Sache.

URL-Strukturen: Dieser Client verwendete eine recht gängige Methode zur URL-Generierung, die in der Vergangenheit (wahrscheinlich) gut funktioniert hat. Platzieren Sie also alle Produktseiten direkt außerhalb des Stammverzeichnisses der Domain (Firmenname.com/Produktname). Ich war immer davon überzeugt, dass das tatsächlich funktioniert, aber das sollte nicht der Fall sein. Suchmaschinen sollten intelligenter sein. Aufgrund der jüngsten Änderungen am mobilen Algorithmus bin ich jetzt ein starker Befürworter von URL-Strukturen, die der Website-Struktur (und den damit verbundenen Breadcrumbs) folgen. Wir haben jetzt alle URLs in ein korrektes Format umgeschrieben und Kategorieseiten hinzugefügt, wo es vorher keine gab.
Wir haben so viele Änderungen vorgenommen (und die Dinge sind immer noch nicht dort, wo sie letztendlich sein sollten), dass wir jetzt einen Schritt zurücktreten und über den strategischeren Ansatz nachdenken können, der seit langem geplant war. Wir können jetzt Dinge wie die Analyse von Inhaltslücken, Verbesserungen der Informationsarchitektur, ein Website-Redesign, eine Social-Media-Strategie, Öffentlichkeitsarbeit und die Optimierung der Benutzerfreundlichkeit/Konversionsrate in Betracht ziehen. All diese Dinge sind sicherlich wichtig, aber alles beginnt mit der Nachverfolgung.
