So erstellen Sie eine Website oder ein Blog im Jahr 2020 - Kostenlose und einfache Anleitung zum Erstellen einer Website

So verhindern Sie, dass Suchmaschinen eine WordPress-Site crawlen

Kürzlich fragte uns einer unserer Benutzer, wie er verhindern kann, dass Suchmaschinen seine WordPress-Site crawlen und indizieren.

Es gibt mehrere Szenarien, in denen Sie verhindern möchten, dass Suchmaschinen Ihre Website crawlen und in die Suchergebnisse aufnehmen.

In diesem Artikel zeigen wir Ihnen, wie Sie verhindern, dass Suchmaschinen eine WordPress-Site crawlen.

Warum Suchmaschinen daran hindern, eine WordPress-Site zu crawlen?

Für die meisten WordPress-Websites sind Suchmaschinen die größte Traffic-Quelle. Sie fragen sich vielleicht, warum jemand Suchmaschinen blockieren möchte?

In folgenden Situationen möchten Sie nicht, dass Suchmaschinen Ihre Website indizieren:

  • Zu Beginn wissen Sie möglicherweise nicht, wie Sie eine lokale Entwicklungsumgebung oder Testseite erstellen und Ihre Website stattdessen entwickeln, während sie live ist. Sie möchten nicht, dass Google Ihre Website indiziert, wenn sie sich im Aufbau oder im Wartungsmodus befindet.
  • Es gibt auch viele Leute, die WordPress verwenden, um private Blogs zu erstellen. Sie möchten nicht, dass Suchmaschinen sie indizieren, weil sie privat sind.
  • Sie können WordPress für das Projektmanagement oder ein Intranet verwenden. In diesen Fällen möchten Sie nicht, dass Ihre internen Dokumente öffentlich zugänglich sind.

Ein weit verbreitetes Missverständnis ist, dass Suchmaschinen Ihre Website wahrscheinlich nie finden werden, wenn Sie keine Links haben, die auf Ihre Domain verweisen. Es ist nicht ganz wahr.

Es kann beispielsweise sein, dass Links auf Ihre Website verweisen, weil der Domainname zuvor einer anderen Person gehörte. Darüber hinaus gibt es im Internet Tausende von Seiten, auf denen lediglich Domainnamen aufgeführt sind. Ihre Website erscheint möglicherweise in einer davon.

Lassen Sie uns einen Blick darauf werfen, wie Sie verhindern können, dass Suchmaschinen Ihre Website crawlen. Wir werden vier Methoden behandeln:

Methode 1: Bitten Sie Suchmaschinen, Ihre WordPress-Site nicht zu crawlen

Dies ist die einfachste Methode, schützt Ihre Website jedoch nicht vollständig vor Tracking.

WordPress verfügt über eine integrierte Funktion, mit der Sie Suchmaschinen anweisen können, Ihre Website nicht zu indizieren. Alles, was Sie tun müssen, ist zu besuchen Einstellungen » Lesen und aktivieren Sie das Kontrollkästchen neben „Suchmaschinensichtbarkeit“.

Wenn dieses Kontrollkästchen aktiviert ist, fügt WordPress diese Zeile zum Header Ihrer Website hinzu:


WordPress ändert auch die robots.txt-Datei Ihrer Website und fügt ihr diese Zeilen hinzu:

User-agent: *
Disallow: /

Diese Zeilen fordern Robots (Webcrawler) auf, Ihre Seiten nicht zu indizieren. Es liegt jedoch ganz bei den Suchmaschinen, ob sie diese Anfrage annehmen oder ignorieren. Obwohl die meisten Suchmaschinen dieser Anfrage nachkommen, besteht dennoch die Möglichkeit, dass einige Seiten oder Bilder Ihrer Website indiziert werden.

Wenn Sie es Suchmaschinen unmöglich machen möchten, Ihre Website zu indizieren oder zu crawlen, müssen Sie Ihre WordPress-Site mit den Methoden 3 oder 4 mit einem Passwort schützen.

Methode 2: Fordern Sie Suchmaschinen auf, einzelne Seiten nicht zu crawlen

Möglicherweise möchten Sie, dass Suchmaschinen Ihre Website crawlen und indizieren, bestimmte Beiträge oder Seiten jedoch nicht in die Suchergebnisseiten aufnehmen.

Der einfachste Weg, dies zu tun, ist die Verwendung von All-in-One-SEO (AIOSEO) Stecker. Es ist das beste SEO-Tool für WordPress und wird von über 3 Millionen Unternehmen als vertrauenswürdig eingestuft.

Für dieses Tutorial verwenden wir die Kostenlose AIOSEO-Version da es das SEO-Analysetool enthält. Da ist auch ein Premium-Version von AIOSEO das weitere Funktionen wie Sitemap-Tools, Redirect-Manager, Schema-Markup, robots.txt-Editor und mehr bietet.

Als Erstes müssen Sie das AIOSEO-Plugin auf Ihrer Website installieren und aktivieren. Sie können lernen, wie Sie das Plugin installieren und konfigurieren, indem Sie unserer Schritt-für-Schritt-Anleitung zur Einrichtung von All in One SEO für WordPress folgen.

Sobald das Plugin konfiguriert ist, können Sie damit Suchmaschinen anweisen, bestimmte Beiträge und Seiten nicht zu indizieren. Auch hier liegt es ganz bei den Suchmaschinen, ob sie diese Anfrage annehmen oder ignorieren.

Bearbeiten Sie einfach den Beitrag oder die Seite, die nicht indiziert werden soll. Sie müssen unten im WordPress-Editor zu den AIOSEO-Einstellungen scrollen und dann auf die Registerkarte „Erweitert“ klicken.

Bitte beachten Sie, dass der Artikel die Standard-Robots-Konfiguration verwendet.

Um dies zu ändern, müssen Sie den Schalter „Standardeinstellungen verwenden“ in die Aus-Position schalten.

Sie können nun das Kontrollkästchen „Kein Index“ anklicken. Sobald der Beitrag veröffentlicht oder aktualisiert ist, werden Suchmaschinen aufgefordert, ihn nicht zu indizieren.

Methode 3: Schützen Sie eine gesamte Site mit einem Passwort mit cPanel

Wenn Ihr WordPress-Hosting-Anbieter cPanel-Zugriff zur Verwaltung Ihres Hosting-Kontos anbietet, können Sie Ihre gesamte Website mit cPanel schützen.

Sie müssen sich lediglich bei Ihrem cPanel anmelden und dann im Abschnitt „Dateien“ auf das Symbol „Verzeichnis-Datenschutz“ klicken.

Als nächstes müssen Sie den Ordner finden, in dem Sie WordPress installiert haben. Im Allgemeinen ist es der Ordner public_html.

Klicken Sie anschließend einfach auf die Schaltfläche „Bearbeiten“ neben diesem Ordner.

Notiz: Wenn Sie mehrere WordPress-Sites im Verzeichnis public_html installiert haben, müssen Sie auf den Link public_html klicken, um diese Sites zu durchsuchen und dann den Website-Ordner bearbeiten, den Sie mit einem Passwort schützen möchten.

Dadurch gelangen Sie zu einem Bildschirm, auf dem Sie den Passwortschutz aktivieren können.

Aktivieren Sie einfach das Kontrollkästchen „Dieses Verzeichnis mit einem Passwort schützen“ und klicken Sie auf die Schaltfläche „Speichern“. Wenn Sie möchten, können Sie auch den Namen des geschützten Verzeichnisses anpassen.

Sie sehen eine Bestätigungsmeldung, die besagt, dass die Verzeichniszugriffsberechtigungen geändert wurden.

Als nächstes müssen Sie auf die Schaltfläche „Zurück“ klicken.

Sie werden zu einem Bildschirm weitergeleitet, auf dem Sie einen Benutzernamen und ein Passwort erstellen können, die Sie beim Zugriff auf dieses Verzeichnis verwenden müssen.

Sie müssen einen Benutzernamen und ein Passwort eingeben und dann das Passwort bestätigen. Notieren Sie sich Ihren Benutzernamen und Ihr Passwort unbedingt an einem sicheren Ort, beispielsweise in einer Passwort-Manager-App.

Sobald Sie auf die Schaltfläche „Speichern“ klicken, haben Sie Ihrer WordPress-Site erfolgreich einen Passwortschutz hinzugefügt.

Jedes Mal, wenn ein Benutzer oder eine Suchmaschine Ihre Website besucht, wird er aufgefordert, den Benutzernamen und das Passwort einzugeben, die Sie zuvor erstellt haben, um die Website anzuzeigen.

Methode 4: WordPress mit einem Plugin mit einem Passwort schützen

Wenn Sie eine verwaltete WordPress-Hosting-Lösung verwenden, haben Sie möglicherweise keinen Zugriff auf cPanel. In diesem Fall können Sie ein WordPress-Plugin verwenden, um Ihre Website mit einem Passwort zu schützen.

Dies sind die beiden beliebtesten Lösungen:

  1. SemillaProd ist das demnächst führende Wartungsmodus-Plugin für WordPress und wird auf über 800.000 Websites verwendet. Es verfügt über umfassende Berechtigungen und Zugriffskontrollfunktionen, mit denen Sie Ihre Website vor allen, einschließlich Suchmaschinen, verbergen können. Wir haben eine Schritt-für-Schritt-Anleitung für SeedProd.
  2. Passwortgeschützt ist eine sehr einfache Möglichkeit, Ihre WordPress-Site mit einem einzigen Passwort zu schützen (keine Benutzererstellung erforderlich). Sehen Sie sich unsere Schritt-für-Schritt-Anleitung zum Passwortschutz einer WordPress-Site an.

Wir hoffen, dass dieser Artikel Ihnen dabei geholfen hat, zu verhindern, dass Suchmaschinen Ihre WordPress-Site crawlen oder indizieren. Vielleicht möchten Sie auch unseren Leitfaden zur Beschleunigung der Leistung Ihrer Website oder unsere Expertenauswahl für die besten WordPress-Landingpage-Plugins lesen.