robots.txt

Robots.txt ist eine Textdatei, die es einer Website ermöglicht, Web-Crawling-Bots Anweisungen zu geben.

Suchmaschinen wie Google verwenden diese Web-Crawler, die manchmal auch als Web-Roboter bezeichnet werden, um Websites zu archivieren und zu kategorisieren. Die meisten Bots sind so konfiguriert, dass sie auf dem Server nach einer robots.txt-Datei suchen, bevor sie eine andere Datei von der Website liest. Dies geschieht, um festzustellen, ob der Eigentümer einer Website spezielle Anweisungen zum Crawlen und Indexieren seiner Website hat.

Die Datei robots.txt enthält eine Reihe von Anweisungen, die den Bot auffordern, bestimmte Dateien oder Verzeichnisse zu ignorieren. Dies kann aus Datenschutzgründen geschehen oder weil der Websitebesitzer der Ansicht ist, dass der Inhalt dieser Dateien und Verzeichnisse für die Kategorisierung der Website in Suchmaschinen irrelevant ist.

Wenn eine Website mehr als eine Subdomain hat, muss jede Subdomain ihre eigene robots.txt-Datei haben. Es ist wichtig zu beachten, dass nicht alle Bots eine robots.txt-Datei berücksichtigen. Einige bösartige Bots lesen sogar die robots.txt-Datei, um herauszufinden, welche Dateien und Verzeichnisse sie zuerst angreifen sollten. Auch wenn eine robots.txt-Datei Bots anweist, bestimmte Seiten der Website zu ignorieren, können diese Seiten dennoch in den Suchergebnissen erscheinen, wenn sie von anderen gecrawlten Seiten verlinkt sind.