Wenn Sie einen Blog oder eine Website in WordPress erstellen, wird automatisch eine robots.txt-Datei für jede Ihrer Landingpages und Beiträge erstellt. Dies ist ein wichtiger Aspekt der SEO Ihrer Website, da Suchmaschinen ihn beim Crawlen des Inhalts Ihrer Website verwenden.
Wenn Sie die SEO Ihrer Website auf die nächste Stufe heben möchten, ist die Optimierung der robots.txt-Datei auf Ihrer WordPress-Site wichtig, aber leider ist es nicht so einfach, Ihrem Inhalt Schlüsselwörter hinzuzufügen. Aus diesem Grund haben wir diesen WordPress-Robots.txt-Leitfaden zusammengestellt, damit Sie damit beginnen können, ihn zu perfektionieren und Ihr Suchranking zu verbessern.
Was ist eine Robots.txt-Datei?
Durch die Platzierung von Websites auf Suchmaschinen-Ergebnisseiten (SERPs) „crawlen“ Suchmaschinen wie Google die Seiten der Website und analysieren deren Inhalt. Die robots.txt-Datei auf jeder Website teilt Crawler-„Bots“ mit, welche Seiten gecrawlt werden sollen und welche nicht. Dies ist im Wesentlichen eine Form der Robotic Process Automation (RPA).
Sie können die robots.txt-Datei jeder Website anzeigen, indem Sie nach dem Domainnamen /robots.txt eingeben. Es wird ungefähr so aussehen:
Lassen Sie uns jedes der Elemente im Bild oben analysieren.
User-Agent
Der Benutzeragent in einer robots.txt-Datei ist die Suchmaschine, die die robots.txt-Datei lesen muss. Im obigen Beispiel ist der Benutzeragent mit einem Sternchen gekennzeichnet, was bedeutet, dass er für alle Suchmaschinen gilt.
Die meisten Websites sind damit einverstanden, dass alle Suchmaschinen Ihre Website crawlen, aber manchmal möchten Sie möglicherweise alle Suchmaschinen außer Google daran hindern, Ihre Website zu crawlen, oder spezifische Anweisungen dazu geben, wie Suchmaschinen wie Google News oder Google Bilder Ihre Website crawlen.
In diesem Fall müssen Sie die User-Agent-ID der Suchmaschinen ermitteln, die Sie beauftragen möchten. Dies ist online ziemlich einfach zu finden, aber hier sind einige der wichtigsten:
- Google: Googlebot
- Google News: Googlebot-News
- Google Bilder: Googlebot-Bild
- Google Video: Googlebot-Video
- Bing: Bingbot
- Yahoo: Slurp Bot
Erlauben und ablehnen
In robots.txt-Dateien teilen Sie Bots mit „Zulassen“ und „Nicht zulassen“ mit, welche Seiten und Inhalte sie crawlen können und welche nicht. Wenn Sie, wie oben erwähnt, alle Suchmaschinen außer Google daran hindern möchten, Ihre Website zu crawlen, können Sie die folgende robots.txt-Datei verwenden:
Der Schrägstrich (/) nach „Disallow“ und „Allow“ teilt dem Bot mit, dass er möglicherweise alle Seiten crawlt oder nicht. Sie können auch bestimmte Seiten zwischen Balken platzieren, um dem Bot das Crawlen zu erlauben oder zu verbieten.
Seitenverzeichnis
Die „Sitemap“ in einer robots.txt-Datei ist eine XML-Datei, die eine Liste und Details aller Seiten Ihrer Website enthält. Sieht es so aus:
Die Sitemap enthält alle Webseiten, die der Bot entdecken soll. Die Sitemap ist besonders nützlich, wenn Sie Webseiten haben, die in den Suchergebnissen angezeigt werden sollen, es sich dabei jedoch nicht um typische Landingpages wie Blogbeiträge handelt.
Sitemaps sind besonders wichtig für WordPress-Benutzer, die ihre Website mit Blogbeiträgen und Kategorieseiten neu beleben möchten. Viele davon erscheinen möglicherweise nicht in den SERPs, wenn sie nicht über eine eigene robots.txt-Sitemap verfügen.
Dies sind die Kernaspekte einer robots.txt-Datei. Beachten Sie jedoch, dass Ihre robots.txt-Datei keine sichere Möglichkeit darstellt, das Crawlen bestimmter Seiten durch Suchmaschinen-Robots zu verhindern. Wenn beispielsweise eine andere Website Ankertext verwendet, um auf eine Seite zu verlinken, die Sie in Ihrer robots.txt-Datei „entlarvt“ haben, können Suchmaschinen-Robots diese Seite weiterhin crawlen.
Benötigen Sie eine Robots.txt-Datei in WordPress?
Wenn Sie eine WordPress-Website oder ein WordPress-Blog haben, verfügen Sie bereits über eine automatisch generierte robots.txt-Datei. Hier sind einige Gründe, warum es wichtig ist, Ihre robots.txt-Datei zu berücksichtigen, wenn Sie sicherstellen möchten, dass Sie über eine SEO-freundliche WordPress-Site verfügen.
Sie können Ihr Tracking-Budget optimieren
Ein Crawl-Budget oder Crawl-Kontingent ist die Anzahl der Seiten, die Suchmaschinen-Robots an einem bestimmten Tag auf Ihrer Website crawlen. Wenn Sie nicht über eine optimierte robots.txt-Datei verfügen, verschwenden Sie möglicherweise Ihr Crawling-Budget und verhindern, dass Bots die Seiten Ihrer Website crawlen, die zuerst in den SERPs erscheinen sollen.
Wenn Sie Produkte oder Dienstleistungen über Ihre WordPress-Site verkaufen, sollten Crawling-Bots idealerweise die Seiten mit der besten Verkaufskonvertierung priorisieren.
Sie können Ihre wichtigen Zielseiten priorisieren
Durch die Optimierung Ihrer robots.txt-Datei können Sie sicherstellen, dass die Zielseiten, die in den SERPs zuerst erscheinen sollen, für Crawler-Roboter schnell und einfach zu finden sind. Die Aufteilung des Index Ihrer Website in einen „Seiten“- und einen „Beitrags“-Index ist hierfür besonders nützlich, da Sie so sicherstellen können, dass Blog-Beiträge in den SERPs und nicht nur auf Ihren Standard-Landingpages erscheinen.
Wenn Ihre Website beispielsweise viele Seiten hat und Ihre Kundendaten zeigen, dass Ihre Blogbeiträge viele Käufe generieren, können Sie Sitemaps in Ihrer robots.txt-Datei verwenden, um sicherzustellen, dass Ihre Blogbeiträge in den SERPs erscheinen.
Sie können die allgemeine SEO-Qualität Ihrer Website verbessern
Vermarkter sind sich des hervorragenden ROI der Suchmaschinenoptimierung bewusst. Organische Suchanfragen auf Ihre Website zu leiten, indem Sie sich auf Ihre SEO konzentrieren, ist kostengünstiger und oft effektiver als bezahlte Anzeigen und Affiliate-Links, obwohl beide immer noch nützlich sind. Sehen Sie sich diese Statistiken an, um den ROI Ihres Marketingkanals zu verstehen.
Die Optimierung Ihrer robots.txt-Datei ist nicht die einzige Möglichkeit, das Suchranking Ihrer Website oder Ihres Blogs zu verbessern. Sie benötigen weiterhin SEO-freundliche Inhalte auf den Seiten selbst, wofür Sie möglicherweise die Unterstützung eines SaaS-SEO-Anbieters benötigen. Sie können Ihre robots.txt-Datei jedoch ganz einfach selbst bearbeiten.
So bearbeiten Sie eine Robots.txt-Datei in WordPress
Wenn Sie Ihre robots.txt-Datei in WordPress bearbeiten möchten, gibt es mehrere Möglichkeiten, dies zu tun. Die beste und einfachste Möglichkeit besteht darin, ein Plugin zu Ihrem Content-Management-System hinzuzufügen: Ihrem WordPress-Dashboard.
Fügen Sie Ihrem WordPress ein SEO-Plugin hinzu
Dies ist der einfachste Weg, Ihre WordPress robots.txt-Datei zu bearbeiten. Es gibt viele gute SEO-Plugins, mit denen Sie die robots.txt-Datei bearbeiten können. Zu den beliebtesten gehören Yoast, Rank Math und All In One SEO.
Fügen Sie Ihrem WordPress ein Robots.txt-Plugin hinzu
Es gibt auch WordPress-Plugins, die speziell durch Bearbeiten Ihrer robots.txt-Datei entwickelt wurden. Beliebte robots.txt-Plugins sind Virtual Robots.txt, WordPress Robots.txt Optimization und Robots.txt Editor.
So testen Sie Ihre WordPress-Robots.txt-Datei
Wenn Sie Ihre robots.txt-Datei bearbeitet haben, ist es wichtig, dass Sie sie testen, um sicherzustellen, dass Sie keine Fehler gemacht haben. Fehler in Ihrer robots.txt-Datei können dazu führen, dass Ihre Website vollständig aus den SERPs ausgeschlossen wird.
Google Webmaster verfügt über ein robots.txt-Testtool, das Sie kostenlos zum Testen Ihrer Datei verwenden können. Um es zu verwenden, fügen Sie einfach Ihre Homepage-URL hinzu. Die robots.txt-Datei wird angezeigt und in jeder Zeile der Datei, die nicht funktioniert, werden „Syntaxwarnung“ und „logischer Fehler“ angezeigt.
Sie können dann zu einer bestimmten Seite Ihrer Website gehen und einen Benutzeragenten auswählen, um einen Test durchzuführen, der zeigt, ob diese Seite „akzeptiert“ oder „blockiert“ ist. Sie können Ihre robots.txt-Datei im Testtool bearbeiten und den Test bei Bedarf erneut ausführen. Beachten Sie jedoch, dass dadurch Ihre eigentliche Datei nicht geändert wird. Sie müssen die bearbeiteten Informationen kopieren, in Ihren robots.txt-Editor einfügen und speichern da drüben.
So optimieren Sie Ihre WordPress Robots.txt-Datei für SEO
Der einfachste Weg, Ihre robots.txt-Datei zu optimieren, besteht darin, auszuwählen, welche Seiten Sie ablehnen möchten. Typische Seiten, die Sie in WordPress ablehnen können, sind: /wp-admin/, /wp-content/plugins/, /readme.html, /Schiene/.
Ein SaaS-Marketinganbieter hat beispielsweise viele verschiedene Seiten und Beiträge auf seiner WordPress-Site. Durch die Ablehnung von Seiten wie /wp-admin/ Und /wp-content/plugins/So können sie sicherstellen, dass Crawler-Roboter die von ihnen geschätzten Seiten priorisieren.
Erstellen Sie Sitemaps und fügen Sie sie Ihrer Robots.txt-Datei hinzu
WordPress erstellt eine eigene generische Sitemap, wenn Sie damit einen Blog oder eine Website erstellen. Es ist normalerweise unter example.wordpress.com/sitemap.xml zu finden. Wenn Sie Ihre Sitemap anpassen und zusätzliche Sitemaps erstellen möchten, sollten Sie eine robots.txt-Datei oder ein WordPress-Plugin für SEO verwenden.
Sie können in Ihrem WordPress-Dashboard auf Ihr Plugin zugreifen und es sollte einen Abschnitt zum Aktivieren und Bearbeiten Ihrer Sitemap enthalten. Mit guten Plugins können Sie problemlos zusätzliche Sitemaps erstellen und anpassen, z. B. eine „Seiten“-Sitemap und eine „Beiträge“-Sitemap.
Wenn Sie die Sitemaps eingerichtet haben, fügen Sie sie einfach wie folgt zu Ihrer robots.txt-Datei hinzu:
Gehen Sie minimalistisch vor
Auch wenn es spannend sein kann, Ihre WordPress robots.txt-Datei zu bearbeiten und zu optimieren, ist es wichtig, einen minimalistischen Ansatz zu wählen, denn weniger ist mehr. Denn wenn Sie Seiten auf Ihrer Website nicht zulassen, verhindert dies, dass Crawler-Roboter auf diesen Seiten nach anderen Seiten suchen. Dies könnte dazu führen, dass wichtige Seiten nicht entdeckt werden und die strukturelle Integrität Ihrer Website aus Sicht von Suchmaschinen-Bots geschwächt wird.
Es ist auch nicht notwendig, in der robots.txt-Datei den Zugriff auf alle Seiten Ihrer Website zu „erlauben“. Crawling-Roboter werden diese Seiten bereits entdecken; Konzentrieren Sie sich stattdessen auf Ihre Sitemaps und die Seiten, die Sie ablehnen müssen, damit Ihre wichtigsten Seiten zuerst gefunden werden.
In diesem Leitfaden stellen wir Ihnen alles zur Verfügung, was Sie über WordPress robots.txt-Dateien wissen müssen. Von der Erklärung, was robots.txt-Dateien sind, bis hin zu der Frage, warum und wie Sie Ihre robots.txt-Datei für SEO optimieren sollten, hilft Ihnen dieser Artikel, wenn Sie einfache und effektive Möglichkeiten finden möchten, das Suchranking Ihrer WordPress-Website zu verbessern.
