Häufig gestellte Fragen • Zufällig

Was ist die robots.txt-Datei?

Die robots.txt-Datei steuert den Zugriff von Suchmaschinen auf die Website, indem sie das Indizieren von Inhalten erlaubt oder einschränkt. Erfahren Sie, wie Sie sie effektiv erstellen und konfigurieren können.

Ansichten 809Aktualisiert 1 anVeröffentlicht am 15/10/2018von Cătălin Adrian

Einführung

Die robots.txt-Datei ist eine einfache Textdatei, die Teil des Robots Exclusion Protocols (REP) ist. Sie enthält Anweisungen für Suchmaschinen, wie sie auf die Website zugreifen und sie indexieren sollen. Um wirksam zu sein, muss die robots.txt-Datei im Stammordner der Website platziert werden (z. B. https://domeniu.ro/robots.txt).

Die Wichtigkeit der robots.txt-Datei

Die Datei robots.txt ist entscheidend für die Verwaltung der Interaktion von Robotern mit der Website. Es gibt viele Roboter, die die Website aggressiv indexieren können, was die Leistung beeinträchtigen kann. Durch die Verwendung dieser Datei können Sie:

  • Steuern Sie den Zugriff von Suchmaschinen auf den Inhalt der Website.
  • Erlaubt die Indizierung nur durch gewünschte Bots (z. B. Google, Bing).
  • Beschränken Sie den Zugriff auf vertrauliche Ordner oder Dateien.

Verwendungsbeispiele

1. Sperren einer bestimmten Suchmaschine

Um den Zugriff des Suchmaschinen-Bots Bing (bingbot) zu blockieren, fügen Sie die folgenden Zeilen in die Datei robots.txt ein:


User-agent: bingbotDisallow: /

Erklärung:
User-agent: Gibt die Suchmaschine an, für die die Einstellungen gelten.
Disallow: Definiert die Bereiche der Website, auf die der Roboter keinen Zugriff hat. Das Symbol / blockiert den Zugriff auf die gesamte Website.

2. Blockierung aller Suchmaschinen

Um alle Suchmaschinen den Zugriff auf die Website zu verwehren, verwenden Sie:


User-agent: *Disallow: /

Erklärung: Das Symbol * (Wildcard) im Feld User-agent gilt für alle Suchmaschinen, während / den Zugriff auf die gesamte Website blockiert.

3. Denyden Zugriff nur auf bestimmte Ordner oder Dateien

Um den Zugriff auf einen Ordner und eine bestimmte Datei zu blockieren, konfigurieren Sie:


User-agent: *Disallow: /blog/Disallow: /newsletter.php

Erklärung: Alle Suchmaschinen werden blockiert, den Ordner /blog/ und die Datei newsletter.php zu indexieren.

Erstellung der Datei robots.txt

Um eine robots.txt-Datei zu erstellen, können Sie einen Online-Generator verwenden, der Ihnen hilft, die Regeln schnell und fehlerfrei anzupassen. Beispiele für Online-Generatoren finden Sie durch eine Suche: Generator robots.txt.

Nachdem Sie die Datei erstellt haben, laden Sie sie in das Stammverzeichnis der Website mit einem Dateimanager oder einem FTP-Client hoch.