Die Robots.txt ist eine Datei die Auskunft darüber gibt, ob und welche Seiten einer Webseite von Suchmaschinen (es können an dieser Stelle auch Suchmaschinen ausgeschlossen werden) durchsucht und in den Suchergebnissen angezeigt werden dürfen.

Es ist also möglich in dieser übergreifend wirkenden Datei die Durchsuchung bestimmter Seiten zu unterbinden. Wenn keine Robots.txt Datei für die Webseite hinterlegt wurde, wird in den Suchmaschinen eine Fehlermeldung generiert.

SEO Tipp: 

• Prüfen Sie, ob für Ihre Webseite eine robots.txt hinterlegt worden ist. Geben Sie folgende URL in Ihrem Browser ein:
  ihredomain.de/robots.txt