Crawler

SEMBOX GmbHAllgemein

Der Crawler, auch Webcrawler oder Spider genannt, ist ein Computerprogramm, welches das Internet absucht, damit gefundene Seiten später in den Index aufgenommen werden können.