robots.txt

SEMBOX GmbHAllgemein

robots.txt ist eine einfache Textdatei, welche im Root-Bereich des Webservers gespeichert wird und welche festlegt, welche Inhalte durch die Crawler der Suchmaschinen ausgelesen werden dürfen.

robots.txt