Bot erkennen

Webserver, die Ihre Seiten an reale Besucher und Suchmaschinencrawler ausliefern, schreiben so genannte Logfiles. In denen wird jeder Zugriff dokumentiert. Neben Daten zu der abgerufenen Webseite, dem Datum und dem Statuscode werden bei vielen Webservern wie beispielsweise dem Apache auch die IP und der Useragent des zugreifenden Clients festgehalten. Beispielhafte Zugriffsdaten für die drei großen Suchmaschinen von Google, Yahoo und Microsoft werden im ersten Teil dieser Suchmaschinenoptimierungseinführung gezeigt. Sie können jetzt also die Logfiles nach den jeweiligen Useragents oder auch Hostnamen durchsuchen und so genau sehen, wann welcher Suchmaschinencrawler welche Seiten Ihres Projektes eingelesen hat.