In einer kürzlich durchgeführten JavaScript-SEO-Bürozeit beantwortete Martin Splitt von Google eine Frage zum Blockieren externer JS- und CSS-Ressourcen. Die Frage war, ob das Blockieren von Ressourcen dazu führen würde, dass eine Site ihre Platzierungen verliert.
Es gab jedoch eine Falte in der Frage, die gestellt wurde …
Blockiertes JavaScript und CSS können das Ranking beeinflussen
Das Sperren von JavaScript- und CSS-Dateien kann in bestimmten Situationen zu Klassifizierungsproblemen führen. Einer der Gründe ist, dass Google einige dieser Dateien benötigt, um die Website anzuzeigen und festzustellen, ob sie mit Mobilgeräten kompatibel ist.
Eine offizielle Google-Entwicklerseite sagt Folgendes:
„Ermöglichen Sie Googlebot für ein optimales Rendern und Indizieren immer den Zugriff auf die von Ihrer Website verwendeten JavaScript-, CSS- und Bilddateien, damit Googlebot Ihre Website als durchschnittlicher Nutzer anzeigen kann.
Wenn die robots.txt-Datei Ihrer Site die Nachverfolgung dieser Assets nicht zulässt, schadet dies direkt, wie gut unsere Algorithmen ihren Inhalt verarbeiten und indizieren. Dies kann zu nicht optimalen Bewertungen führen. "
Externes JavaScript und CSS sperren
Die Person, die die Frage stellt, hat berechtigten Grund zur Sorge, wie Google auf das Blockieren externer Ressourcen reagieren könnte.
Die Frage:
"Wenn Sie robots.txt verwenden, um JS oder CSS in externen JS-Dateien / CSS-Dateien in einer anderen Domäne zu blockieren, oder wenn eine andere Domäne sie blockiert, sieht der Benutzer andere Dinge als Googlebot, richtig?
Wäre Google dieser Art von Seite gegenüber misstrauisch und würde sie reduzieren?
Googles Martin Splitt antwortete zuversichtlich:
"Nein, wir werden nichts herunterladen. Es ist keine Verschleierung. Verschleierung bedeutet ganz konkret, den Benutzer zu täuschen.
Nur weil wir den Inhalt nicht sehen können, heißt das nicht unbedingt, dass Sie den Benutzer irreführen. "
Cloaking ist ein Trick, mit dem Spammer eine Reihe von Inhalten für Google anzeigen, um Google dazu zu verleiten, diese zu klassifizieren und Nutzern eine völlig andere Webseite anzuzeigen, z. B. eine mit Viren oder Spam beladene Webseite.
Das Tarnen ist auch eine Möglichkeit, um zu verhindern, dass Google URLs crawlt, die Publisher nicht sehen sollen, z. B. Affiliate-Links.
Martins Antwort kommt aus der Richtung, ob die Blockierung externer Ressourcen als Vertuschung angesehen wird, und seine Antwort lautet Nein.
Das Blockieren externer Ressourcen kann problematisch sein
Martin beschreibt weiter, wie das Blockieren externer Ressourcen zu einem Problem werden kann:
"Es ist immer noch potenziell problematisch, wenn Ihr Inhalt nur angezeigt wird, wenn wir diese Ressourcen erhalten können, und wir den Inhalt nicht in gerendertem HTML sehen, da er von robots.txt blockiert wird.
Wir können es also nicht indizieren. Wenn Inhalt fehlt, können wir ihn nicht indizieren. "
Google-Testtools zeigen Probleme auf
Martin zeigt dann, wie ein Editor diagnostizieren kann, ob die Ressourcensperrung problematisch ist.
"Daher lohnt es sich auf jeden Fall, unsere Testtools auszuprobieren, um festzustellen, ob der Inhalt, den Sie auf der Seite sehen möchten, wirklich auf der Seite sichtbar ist, obwohl einige JavaScript- oder CSS-Ressourcen möglicherweise Roboter sind.
Im Allgemeinen ist die Robotisierung von JavaScript- oder CSS-Ressourcen selbst kein Problem. Es kann ein Problem sein, wenn wir den Inhalt nicht sehen können, aber unter dem Gesichtspunkt der Vertuschung ist es in Ordnung, es ist keine Vertuschung. "
Er stellte weiter klar:
"Wenn JavaScript den Inhalt lädt und wir dieses JavaScript nicht laden können, weil es ein Roboter ist, werden wir es nicht sehen und das ist möglicherweise problematisch." Aber wenn es sich um ein Upgrade wie eine Chatbox oder ein Kommentar-Widget handelt, ist das kein Problem. "
Der Herausgeber stellte eine Trickfrage
Das ist eine interessante Antwort, dass es in Ordnung ist, externe Ressourcen zu blockieren, die mit einer Chatbox oder einem Kommentar-Widget verknüpft sind. Das Blockieren dieser Ressourcen kann beispielsweise nützlich sein, wenn dies das Rendern von Websites für Google beschleunigt, aber …
Die gestellte Frage weist jedoch eine leichte Falte auf: Sie können externe Ressourcen (in einer anderen Domäne) nicht mit robots.txt blockieren.
Die ursprüngliche Frage war zweiteilig.
Dies ist der erste problematische Teil:
"Wenn Sie robots.txt verwenden, um JS oder CSS in externen JS-Dateien / CSS-Dateien in einer anderen Domäne zu blockieren …"
Dieser Teil der Frage ist mit Robots.txt nicht zu erreichen.
Auf der Google-Entwicklerseite wird dieses Thema zu einer robots.txt-Datei erwähnt:
"Es gilt für alle Dateien in allen Unterverzeichnissen auf demselben Host, Protokoll und derselben Portnummer."
Was bei dieser Frage übersehen wurde, ist, dass eine robots.txt nur relative URLs verwendet, keine absoluten URLs (außer dem Speicherort einer Sitemap).
Eine relative URL bedeutet, dass die URL "relativ" zur Seite mit dem Link ist.
In einer HTACCESS-Datei sehen alle URLs folgendermaßen aus:
/file-1/example
Und so sieht eine absolute URL aus:
https://www.example.com
Wenn Sie also keine absolute URL in der robots.txt-Datei verwenden können, können Sie eine externe Ressource nicht mit einer robots.txt-Datei blockieren.
Der zweite Teil der Frage ist technisch korrekt:
"… oder wenn eine andere Domain sie blockiert, sieht der Nutzer andere Dinge als Googlebot, oder? Würde Google dieser Art von Seite misstrauen und sie herabstufen?
Externe Ressourcen werden häufig von anderen Sites blockiert. Die Frage und die Antwort sind aus dieser Richtung also sinnvoller.
Martin Splitt sagte, dass das Blockieren dieser externen Ressourcen nicht vertuscht. Diese Aussage ist wahr, wenn Sie Robots.txt nicht verwenden.
Darauf bezog sich Martin wahrscheinlich, aber …
Die Frage betraf jedoch speziell robots.txt.
In der realen Welt greifen viele auf das Tarnen zurück, wenn Sie externe Ressourcen mit einer robots.txt-Datei blockieren möchten.
Vertuschung hat einen schlechten Ruf und das aus gutem Grund. Aber die Wahrheit ist, dass nicht jede Vertuschung schlecht ist. Zum Beispiel hat Yoast ein Tutorial zum Cloaking von Affiliate-Links.
Einige Formen des Tarnens können eine Möglichkeit sein, Ressourcen zu blockieren, die nichts mit der Darstellung der Seite zu tun haben und den Empfehlungen von Google entsprechen.
