Crawler

Crawler Suchmaschinen sind auf hochleistung optimierte Programme die Laufend das Internet und andere Elemente des World Wide Web durchforsten.
Der unterschied zwischen Robot Suchmaschinen und Webkatalogen (diese werden im nächsten Unterkapitel genauer erklärt) besteht darin das die Aufnahme (sowie die Bewertung) von Dokumenten in den Datenbestand der Suchmaschinen im Gegensatz zu Webkatalogen voll automatisch erfolgt.

Suchmaschinen verfügen über einen Webrobot ( auch Crawler genannt, eine Softwarekomponente) der eigenständig das Internet durchsucht und aktiv neue Webseiten einliest.
Der Crawler einer Suchmaschine kann Links in einer Homepage finden und weitervefolgen. Auf diese weise sollte es einer Suchmaschine theoretisch möglich sein das gesamte Internet in Ihren Datenbestand aufzunehmen.

Bedenkt man wie schnell das Internet wächst und damit auch die Anzahl an Webseiten, wird deutlich das Suchmaschinen diesen Vorgang irgendwann abrechen müssen.
Der Hintergrund hierbei ist das Suchmaschinen mit Ihren Resourcen sparen bzw. auskommen müssen. Alle Links von den Angemeldeten und bereits erfassten Web Dokumenten in der Suchmaschine weiter verfolgen zu können ist nicht möglich. Wenn man bedenkt das jede Webseite wieder auf ein neue verlinken kann wäre diese Durchforstung des Web theoretisch unendlich lange.
Somit wird jeder Webrobot nach einer vorgegebenen Anzahl besuchter und verfolgter Links abrechen (wobei die Anzahl der besuchten Links je nach Suchmaschinen Crawler stark schwanken kann).

Robot Suchmaschinen setzen für die Bewertung eines Dokuments ein automatisches Softwaretool ein.
Die Bewertung des Inhalts einer Webseite erfolgt somit voll automatisch ohne das zutun von Menschen. Das Eingreifen von Menschen (also das löschen einer Webseite durch eine Person) erfolgt in der Regel nur bei groben Vertössen gegen die Regeln der jeweiligen Suchmaschine.

Die Verwaltung der aufgenommenen Webseiten und Dokumente in den Suchmaschinen wird ebenfalls automatisch (also durch eine Software) verwaltet.
Dies gilt ebenso für die Inhaltlich schwerpunktmässige Bewertung eines Dokuments. Eine Suchmaschine speichert ein Webseite in Ihrem Datenbestand ab.
Dies tun Suchmaschinen allerdings nicht in dem Format in dem die Dokumente im Internet vorliegen. Um Speicher und Rechenkapazität zu sparen benutzen Suchmaschinen Information Retrieval Systeme um Dokumente zu speichern und an Hand von Keywords entsprechende Suchergebnisse zu liefern.