SEO-Tipp 19: robot.txt
| 
| 
Ebenfalls im Stammverzeichnis deiner Webseite solltest Du die robots.txt (Wikipedia) anlegen, sofern sie nicht bereits vorhanden ist.
In dieser Datei gibt man an, welche Suchmaschinen welche Verzeichnisse und Webseiten durchsucht werden dürfen und auch welche sie nicht indizieren sollen.
Um sicher zu gehen, dass Deine robots.txt keine Fehler enthält, kannst Du diese hinsichtlich ihrer Syntax überprüfen lassen (validieren).
