robots.txt

Was hat es mit der robots.txt auf sich?
Wir wissen inzwischen, dass einige grosse Suchmaschinen ungeachtet aller Verbote gerade im Bereich der Bildsuche alles ausgeben, was sie finden. Fast alle Suchmaschinen suchen als erstes nach einer Datei namens robots.txt. In dieser Datei, die den Suchmaschinen als "Agent" dient sind Informationen hinterlegt, welche Bereiche und welche Informationen der Webseiten für die Suchmaschine zugänglich sind und welche nicht. Diese robots.txt kann vom User beliebig angelegt und definiert werden. Damit die Suchmaschinen diesen Anweisungen folgen können, muss die Datei im Root-Verzeichnis des Servers liegen. Die genaue Beschreibung und Definitionen der Robots findet Ihr hier. Eine ausführliche Seite, allerdings in Englisch findet ihr hier.

Die Datei 'robots.txt' enthält Anweisungen an die Such-Roboter der Suchmaschinen. Möchtest Du nicht, dass der Google Bilder-Bot Deine Bilder indiziert, trage folgende 2 Zeilen ein:

User-Agent: Googlebot-Image
Disallow: /

Damit werden Deine Bilder dann nicht länger bei der Google Bilder-Suche gefunden und angezeigt. Die Datei 'robots.txt' muss im ASCII-Mode auf die Oberfläche Deines Webspaces (Root) übertragen werden.