Als Crawling wird der Prozess, mit dem Crawler, Bots oder Spider z. B. der Suchmaschinen das Internet nach neuen und aktualisierten Webseiten durchsuchen, bezeichnet. Dazu nutzen die Crawler Links, XML-Sitemaps und andere Möglichkeiten um URLs zu finden.

Als Crawler wird eine automatisierte Software bezeichnet, die Seiten von Websites im Web crawlt, d.h. abruft und indexiert. Der Name des Google-Crawlers ist Googlebot.

Wenn Sie die Google Search Console (ehem. Webmaster Tools) nutzen, erhalten Sie auf Ihre Website bezogen u. a. Informationen über:

• Crawling-Fehler und
• Crawling-Statistiken.