Robots.txt

Die «robots.txt» ist eine Textdatei auf einer Website, die von Webcrawlern und Suchmaschinenrobotern genutzt wird, um Anweisungen darüber zu erhalten, welche Teile der Website indexiert werden dürfen und welche nicht. Diese Datei wird auf der Stammverzeichnisebene einer Website platziert und enthält Anweisungen für Webcrawler, wie sie sich auf der Website verhalten sollen.