Robots.txt

Robots.txt ist eine Textdatei, die Suchmaschinen anweist, welche Bereiche einer Webseite sie crawlen dürfen.

Man kann die Robots.txt-Datei verwenden, um bestimmte Seiten von der Indexierung auszuschließen.