![](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2021\/10\/La-guia-definitiva-para-la-optimizacion-de-WordPress-Robotstxt.jpg\")
<\/p>\n\n<\/p>\n
Wenn Sie einen Blog oder eine Website in WordPress erstellen, wird automatisch eine robots.txt-Datei f\u00fcr jede Ihrer Landingpages und Beitr\u00e4ge erstellt. Dies ist ein wichtiger Aspekt der SEO Ihrer Website, da Suchmaschinen ihn beim Crawlen des Inhalts Ihrer Website verwenden.<\/p>\n
Wenn Sie die SEO Ihrer Website auf die n\u00e4chste Stufe heben m\u00f6chten, ist die Optimierung der robots.txt-Datei auf Ihrer WordPress-Site wichtig, aber leider ist es nicht so einfach, Ihrem Inhalt Schl\u00fcsselw\u00f6rter hinzuzuf\u00fcgen. Aus diesem Grund haben wir diesen WordPress-Robots.txt-Leitfaden zusammengestellt, damit Sie damit beginnen k\u00f6nnen, ihn zu perfektionieren und Ihr Suchranking zu verbessern.<\/p>\n
Durch die Platzierung von Websites auf Suchmaschinen-Ergebnisseiten (SERPs) \u201ecrawlen\u201c Suchmaschinen wie Google die Seiten der Website und analysieren deren Inhalt. Die robots.txt-Datei auf jeder Website teilt Crawler-\u201eBots\u201c mit, welche Seiten gecrawlt werden sollen und welche nicht. Dies ist im Wesentlichen eine Form der Robotic Process Automation (RPA).<\/p>\n
Sie k\u00f6nnen die robots.txt-Datei jeder Website anzeigen, indem Sie nach dem Domainnamen \/robots.txt eingeben. Es wird ungef\u00e4hr so \u200b\u200baussehen:<\/p>\n
![\"Robots.txt-Datei\"](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2021\/10\/1635695769_185_La-guia-definitiva-para-la-optimizacion-de-WordPress-Robotstxt.jpg\")
<\/p>\n
Lassen Sie uns jedes der Elemente im Bild oben analysieren.<\/p>\n
Der Benutzeragent in einer robots.txt-Datei ist die Suchmaschine, die die robots.txt-Datei lesen muss. Im obigen Beispiel ist der Benutzeragent mit einem Sternchen gekennzeichnet, was bedeutet, dass er f\u00fcr alle Suchmaschinen gilt.<\/p>\n
Die meisten Websites sind damit einverstanden, dass alle Suchmaschinen Ihre Website crawlen, aber manchmal m\u00f6chten Sie m\u00f6glicherweise alle Suchmaschinen au\u00dfer Google daran hindern, Ihre Website zu crawlen, oder spezifische Anweisungen dazu geben, wie Suchmaschinen wie Google News oder Google Bilder Ihre Website crawlen.<\/p>\n
In diesem Fall m\u00fcssen Sie die User-Agent-ID der Suchmaschinen ermitteln, die Sie beauftragen m\u00f6chten. Dies ist online ziemlich einfach zu finden, aber hier sind einige der wichtigsten:<\/p>\n
In robots.txt-Dateien teilen Sie Bots mit \u201eZulassen\u201c und \u201eNicht zulassen\u201c mit, welche Seiten und Inhalte sie crawlen k\u00f6nnen und welche nicht. Wenn Sie, wie oben erw\u00e4hnt, alle Suchmaschinen au\u00dfer Google daran hindern m\u00f6chten, Ihre Website zu crawlen, k\u00f6nnen Sie die folgende robots.txt-Datei verwenden:<\/p>\n
![\"Robots.txt](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2021\/10\/1635695769_595_La-guia-definitiva-para-la-optimizacion-de-WordPress-Robotstxt.jpg\")
<\/p>\n
Der Schr\u00e4gstrich (\/) nach \u201eDisallow\u201c und \u201eAllow\u201c teilt dem Bot mit, dass er m\u00f6glicherweise alle Seiten crawlt oder nicht. Sie k\u00f6nnen auch bestimmte Seiten zwischen Balken platzieren, um dem Bot das Crawlen zu erlauben oder zu verbieten.<\/p>\n
Die \u201eSitemap\u201c in einer robots.txt-Datei ist eine XML-Datei, die eine Liste und Details aller Seiten Ihrer Website enth\u00e4lt. Sieht es so aus:<\/p>\n
![\"F\u00fcgen](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2021\/10\/La-guia-definitiva-para-la-optimizacion-de-WordPress-Robotstxt.png\")
<\/p>\n
Die Sitemap enth\u00e4lt alle Webseiten, die der Bot entdecken soll. Die Sitemap ist besonders n\u00fctzlich, wenn Sie Webseiten haben, die in den Suchergebnissen angezeigt werden sollen, es sich dabei jedoch nicht um typische Landingpages wie Blogbeitr\u00e4ge handelt.<\/p>\n
Sitemaps sind besonders wichtig f\u00fcr WordPress-Benutzer, die ihre Website mit Blogbeitr\u00e4gen und Kategorieseiten neu beleben m\u00f6chten. Viele davon erscheinen m\u00f6glicherweise nicht in den SERPs, wenn sie nicht \u00fcber eine eigene robots.txt-Sitemap verf\u00fcgen.<\/p>\n
Dies sind die Kernaspekte einer robots.txt-Datei. Beachten Sie jedoch, dass Ihre robots.txt-Datei keine sichere M\u00f6glichkeit darstellt, das Crawlen bestimmter Seiten durch Suchmaschinen-Robots zu verhindern. Wenn beispielsweise eine andere Website Ankertext verwendet, um auf eine Seite zu verlinken, die Sie in Ihrer robots.txt-Datei \u201eentlarvt\u201c haben, k\u00f6nnen Suchmaschinen-Robots diese Seite weiterhin crawlen.<\/p>\n
Wenn Sie eine WordPress-Website oder ein WordPress-Blog haben, verf\u00fcgen Sie bereits \u00fcber eine automatisch generierte robots.txt-Datei. Hier sind einige Gr\u00fcnde, warum es wichtig ist, Ihre robots.txt-Datei zu ber\u00fccksichtigen, wenn Sie sicherstellen m\u00f6chten, dass Sie \u00fcber eine SEO-freundliche WordPress-Site verf\u00fcgen.<\/p>\n
Ein Crawl-Budget oder Crawl-Kontingent ist die Anzahl der Seiten, die Suchmaschinen-Robots an einem bestimmten Tag auf Ihrer Website crawlen. Wenn Sie nicht \u00fcber eine optimierte robots.txt-Datei verf\u00fcgen, verschwenden Sie m\u00f6glicherweise Ihr Crawling-Budget und verhindern, dass Bots die Seiten Ihrer Website crawlen, die zuerst in den SERPs erscheinen sollen.<\/p>\n
Wenn Sie Produkte oder Dienstleistungen \u00fcber Ihre WordPress-Site verkaufen, sollten Crawling-Bots idealerweise die Seiten mit der besten Verkaufskonvertierung priorisieren.<\/p>\n
Durch die Optimierung Ihrer robots.txt-Datei k\u00f6nnen Sie sicherstellen, dass die Zielseiten, die in den SERPs zuerst erscheinen sollen, f\u00fcr Crawler-Roboter schnell und einfach zu finden sind. Die Aufteilung des Index Ihrer Website in einen \u201eSeiten\u201c- und einen \u201eBeitrags\u201c-Index ist hierf\u00fcr besonders n\u00fctzlich, da Sie so sicherstellen k\u00f6nnen, dass Blog-Beitr\u00e4ge in den SERPs und nicht nur auf Ihren Standard-Landingpages erscheinen.<\/p>\n
Wenn Ihre Website beispielsweise viele Seiten hat und Ihre Kundendaten zeigen, dass Ihre Blogbeitr\u00e4ge viele K\u00e4ufe generieren, k\u00f6nnen Sie Sitemaps in Ihrer robots.txt-Datei verwenden, um sicherzustellen, dass Ihre Blogbeitr\u00e4ge in den SERPs erscheinen.<\/p>\n
Vermarkter sind sich des hervorragenden ROI der Suchmaschinenoptimierung bewusst. Organische Suchanfragen auf Ihre Website zu leiten, indem Sie sich auf Ihre SEO konzentrieren, ist kosteng\u00fcnstiger und oft effektiver als bezahlte Anzeigen und Affiliate-Links, obwohl beide immer noch n\u00fctzlich sind. Sehen Sie sich diese Statistiken an, um den ROI Ihres Marketingkanals zu verstehen.<\/p>\n
![\"ROI](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2021\/10\/1635695769_594_La-guia-definitiva-para-la-optimizacion-de-WordPress-Robotstxt.png\")
<\/p>\n
Die Optimierung Ihrer robots.txt-Datei ist nicht die einzige M\u00f6glichkeit, das Suchranking Ihrer Website oder Ihres Blogs zu verbessern. Sie ben\u00f6tigen weiterhin SEO-freundliche Inhalte auf den Seiten selbst, wof\u00fcr Sie m\u00f6glicherweise die Unterst\u00fctzung eines SaaS-SEO-Anbieters ben\u00f6tigen. Sie k\u00f6nnen Ihre robots.txt-Datei jedoch ganz einfach selbst bearbeiten.<\/p>\n
Wenn Sie Ihre robots.txt-Datei in WordPress bearbeiten m\u00f6chten, gibt es mehrere M\u00f6glichkeiten, dies zu tun. Die beste und einfachste M\u00f6glichkeit besteht darin, ein Plugin zu Ihrem Content-Management-System hinzuzuf\u00fcgen: Ihrem WordPress-Dashboard.<\/p>\n
Dies ist der einfachste Weg, Ihre WordPress robots.txt-Datei zu bearbeiten. Es gibt viele gute SEO-Plugins, mit denen Sie die robots.txt-Datei bearbeiten k\u00f6nnen. Zu den beliebtesten geh\u00f6ren Yoast, Rank Math und All In One SEO.<\/p>\n
Es gibt auch WordPress-Plugins, die speziell durch Bearbeiten Ihrer robots.txt-Datei entwickelt wurden. Beliebte robots.txt-Plugins sind Virtual Robots.txt, WordPress Robots.txt Optimization und Robots.txt Editor.<\/p>\n
Wenn Sie Ihre robots.txt-Datei bearbeitet haben, ist es wichtig, dass Sie sie testen, um sicherzustellen, dass Sie keine Fehler gemacht haben. Fehler in Ihrer robots.txt-Datei k\u00f6nnen dazu f\u00fchren, dass Ihre Website vollst\u00e4ndig aus den SERPs ausgeschlossen wird.<\/p>\n
Google Webmaster verf\u00fcgt \u00fcber ein robots.txt-Testtool, das Sie kostenlos zum Testen Ihrer Datei verwenden k\u00f6nnen. Um es zu verwenden, f\u00fcgen Sie einfach Ihre Homepage-URL hinzu. Die robots.txt-Datei wird angezeigt und in jeder Zeile der Datei, die nicht funktioniert, werden \u201eSyntaxwarnung\u201c und \u201elogischer Fehler\u201c angezeigt.<\/p>\n
![\"Google](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2021\/10\/1635695769_664_La-guia-definitiva-para-la-optimizacion-de-WordPress-Robotstxt.png\")
<\/p>\n
Sie k\u00f6nnen dann zu einer bestimmten Seite Ihrer Website gehen und einen Benutzeragenten ausw\u00e4hlen, um einen Test durchzuf\u00fchren, der zeigt, ob diese Seite \u201eakzeptiert\u201c oder \u201eblockiert\u201c ist. Sie k\u00f6nnen Ihre robots.txt-Datei im Testtool bearbeiten und den Test bei Bedarf erneut ausf\u00fchren. Beachten Sie jedoch, dass dadurch Ihre eigentliche Datei nicht ge\u00e4ndert wird. Sie m\u00fcssen die bearbeiteten Informationen kopieren, in Ihren robots.txt-Editor einf\u00fcgen und speichern da dr\u00fcben.<\/p>\n
Der einfachste Weg, Ihre robots.txt-Datei zu optimieren, besteht darin, auszuw\u00e4hlen, welche Seiten Sie ablehnen m\u00f6chten. Typische Seiten, die Sie in WordPress ablehnen k\u00f6nnen, sind: \/wp-admin\/<\/i>, \/wp-content\/plugins\/<\/i>, \/readme.html<\/i>, \/Schiene\/<\/i>.<\/p>\n
Ein SaaS-Marketinganbieter hat beispielsweise viele verschiedene Seiten und Beitr\u00e4ge auf seiner WordPress-Site. Durch die Ablehnung von Seiten wie \/wp-admin\/ <\/i>Und \/wp-content\/plugins\/<\/i>So k\u00f6nnen sie sicherstellen, dass Crawler-Roboter die von ihnen gesch\u00e4tzten Seiten priorisieren.<\/p>\nErstellen Sie Sitemaps und f\u00fcgen Sie sie Ihrer Robots.txt-Datei hinzu<\/h3>\n
WordPress erstellt eine eigene generische Sitemap, wenn Sie damit einen Blog oder eine Website erstellen. Es ist normalerweise unter example.wordpress.com\/sitemap.xml zu finden. Wenn Sie Ihre Sitemap anpassen und zus\u00e4tzliche Sitemaps erstellen m\u00f6chten, sollten Sie eine robots.txt-Datei oder ein WordPress-Plugin f\u00fcr SEO verwenden.<\/p>\n
Sie k\u00f6nnen in Ihrem WordPress-Dashboard auf Ihr Plugin zugreifen und es sollte einen Abschnitt zum Aktivieren und Bearbeiten Ihrer Sitemap enthalten. Mit guten Plugins k\u00f6nnen Sie problemlos zus\u00e4tzliche Sitemaps erstellen und anpassen, z. B. eine \u201eSeiten\u201c-Sitemap und eine \u201eBeitr\u00e4ge\u201c-Sitemap.<\/p>\n
Wenn Sie die Sitemaps eingerichtet haben, f\u00fcgen Sie sie einfach wie folgt zu Ihrer robots.txt-Datei hinzu:<\/p>\n
![\"Robots.txt](\"https:\/\/blogging-techies.com\/wp-content\/uploads\/2021\/10\/1635695770_21_La-guia-definitiva-para-la-optimizacion-de-WordPress-Robotstxt.png\")
<\/p>\n
Auch wenn es spannend sein kann, Ihre WordPress robots.txt-Datei zu bearbeiten und zu optimieren, ist es wichtig, einen minimalistischen Ansatz zu w\u00e4hlen, denn weniger ist mehr. Denn wenn Sie Seiten auf Ihrer Website nicht zulassen, verhindert dies, dass Crawler-Roboter auf diesen Seiten nach anderen Seiten suchen. Dies k\u00f6nnte dazu f\u00fchren, dass wichtige Seiten nicht entdeckt werden und die strukturelle Integrit\u00e4t Ihrer Website aus Sicht von Suchmaschinen-Bots geschw\u00e4cht wird.<\/p>\n
Es ist auch nicht notwendig, in der robots.txt-Datei den Zugriff auf alle Seiten Ihrer Website zu \u201eerlauben\u201c. Crawling-Roboter werden diese Seiten bereits entdecken; Konzentrieren Sie sich stattdessen auf Ihre Sitemaps und die Seiten, die Sie ablehnen m\u00fcssen, damit Ihre wichtigsten Seiten zuerst gefunden werden.<\/p>\n
In diesem Leitfaden stellen wir Ihnen alles zur Verf\u00fcgung, was Sie \u00fcber WordPress robots.txt-Dateien wissen m\u00fcssen. Von der Erkl\u00e4rung, was robots.txt-Dateien sind, bis hin zu der Frage, warum und wie Sie Ihre robots.txt-Datei f\u00fcr SEO optimieren sollten, hilft Ihnen dieser Artikel, wenn Sie einfache und effektive M\u00f6glichkeiten finden m\u00f6chten, das Suchranking Ihrer WordPress-Website zu verbessern.<\/p>\n ","protected":false},"excerpt":{"rendered":"
Wenn Sie einen Blog oder eine Website in WordPress erstellen, wird automatisch eine robots.txt-Datei f\u00fcr jede Ihrer Landingpages und Beitr\u00e4ge erstellt. Dies ist ein wichtiger Aspekt der SEO Ihrer Website, da Suchmaschinen ihn beim Crawlen des Inhalts Ihrer Website verwenden. Wenn Sie die SEO Ihrer Website auf die n\u00e4chste Stufe heben m\u00f6chten, ist die Optimierung […]<\/p>\n","protected":false},"author":1,"featured_media":857502,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","fifu_image_url":"https:\/\/blogging-techies.com\/wp-content\/uploads\/2023\/06\/1.jpg","fifu_image_alt":""},"categories":[7],"tags":[],"_links":{"self":[{"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/posts\/857501"}],"collection":[{"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/comments?post=857501"}],"version-history":[{"count":0,"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/posts\/857501\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/media\/857502"}],"wp:attachment":[{"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/media?parent=857501"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/categories?post=857501"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blogging-techies.com\/ge\/wp-json\/wp\/v2\/tags?post=857501"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}