Robot.txt

hallo!

In diesem Tutorial seht ihr wie man einfach seine Homepage davor schützen kann, dass sie von Suchmaschinen wie Google Indexiert wird, also das die Suchmaschine nicht
den Inhalt eines Verzeichnises speichert so dass man später in der Suchmaschine Dateienaus diesem Ordner aufgelistet bekommt.

Um die jeweiligen Ordner oder Dateien zu schützen, legen wir im Stammverzeichnis eine Datei mit dem Namen "robots.txt" an und öffnen sie mit einem einfachem Texteditor.
Also müsste die URL zu den Files dann so lauten: http://www.myurl.com/robots.txt


Die Syntax der robots.txt ist ganz einfach: Um Verzeichnise vor den Suchmaschinen zu schützen, gibt man folgenden
Code in die Datei ein:

# Beispiel robots.txt
User-agent: *
Disallow: /ordnername/
Disallow: nixtoindex.html


"User-agent" bezeichnet, für welche Suchmaschinen Indexdienste die Befehle gelten, am besten ihr nehmt *, das bedeutet das
die Befehle für alle Suchmaschinen gelten.

Mit diesem Code werden der Ordner "/ordnername/" und die Datei "nixtoindex.html"geschützt. Um meherere Ordner zu schützen gibt man einfach in einer neuen
Zeile wieder "Disallow: /ordner/" ein.
Anmerkung: Zeilen in denen vor dem Text ein "#" steht gelten als Kommentare und werden ignoriert.

Wenn man seine ganze Website mit einem Befehl schützen will gibt man "Disallow: /" ein, dies sperrt alle Ordner der Website
für Suchmaschinen.

Will man seine ganze Website freigeben gibt man "Disallow: " ein, dies ist eigentlich nicht nötig, weil man im Gegensatz auch
gleich die ganze Datei weglassen könnte.

Wann wird robots.txt angewandt?

Man sollte die Indexierung für Ordner in denen Hauptsächlich PHP Skripte mit sich ständig veränderden Ausgaben und Temporäre Dateien vorhanden sind sperren, weil
die Ausgaben von PHP Skripten sich meist öfters verändern und Temporäre Dateien schnell wieder entfernt werden und so "Death Links" entstehen.
Wenn man verhindern will, das Bilder die man in z.B. Google Bilder findet von seiner Website heruntergeladen werden, sollte man die jeweiligen Bildordner / Dateien ebenfalls
sperren.

Schlusswort

Die Suchmaschinen sind nicht gesetzlich verpflichtet, den Anweisungen in den robots.txt Dateien zu folgen, aber die meisten tun die angegebenen Dateien ausschließen.