robots.txt

robots.txt ist eine einfache Textdatei, welche im Root-Bereich des Webservers gespeichert wird und welche festlegt, welche Inhalte durch die Crawler der Suchmaschinen ausgelesen werden dürfen.