Die Datei robots.txt wurde als Standard definiert, um den Suchmaschinen mitzuteilen, wenn eine Website oder Teile davon nicht indexiert werden sollen. Dies macht man sich zu Nutzen, um beispielsweise den Admin-Bereich einer Website von der Indexierung auszunehmen. Meist wird die Datei jedoch während dem Aufbau einer neuen Website benötigt, da man die Inhalte erst den Suchmaschinen mitteilen möchte, wenn die Website komplett fertiggestellt und veröffentlicht wurde.

Die Anweisungen in der robots.txt sind als «Empfehlungen» zu betrachten, welche jedoch freundlicherweise von den meisten Suchmaschinen auch entsprechend beachtet werden.

Wir beschreiben folgend, wie Sie die robots.txt-Datei erstellen und verhindern, dass Ihre Website indexiert wird.

1

Erstellen Sie im Zielordner Ihrer Domain eine Datei mit dem Namen robots.txt gemäss «Dateien auf dem Webhosting verwalten».

Beachten Sie, dass die Datei exakt so benannt sein muss und dass alles in Kleinbuchstaben geschrieben ist, damit die Datei korrekt interpretiert werden kann.
2

Bearbeiten Sie die Datei und fügen Sie nun folgende Zeile ein:

User-agent: *
Disallow: /

Mit diesen Zeilen teilen wir allen Suchmaschinen mit, dass keine Datei und kein Verzeichnis indexiert werden soll, somit die Indexierung nicht erlaubt ist.

Weitere Informationen zur Syntax der robots.txt finden Sie im entsprechenden Wikipedia-Artikel.

Alternative Methode

Es gibt neben der robots.txt auch noch die Möglichkeit Instruktionen über das Meta-Tag im HTML-Code pro Seite zu vergeben. Möchte man beispielsweise nur bei einer bestimmten Seite verhindern, dass deren Inhalt indexiert wird, so kann man im Header der Seite folgendes Meta-Tag erstellen:

<meta name="robots" content="noindex,nofollow">