Robots.txt

Bezeichnet eine spezielle Textdatei, welche im Hauptverzeichnis eines Webauftritts liegt und die Zugriffsregelung für Suchmaschinen-Roboter (Crawler) enthält. Darin ist vermerkt, welche Seiten und Dateien einer Webseite vom Crawler indiziert werden darf.