SEO: Deshalb ist die robots.txt-Datei wichtig für eure Website [Teil 2]
Stichwort Crawling-Budget: Google sollte sich beim Erfassen eurer Webseiten auf diejenigen Inhalte konzentrieren, die für die Suche relevant sind. Über die robots.txt-Datei könnt ihr Bereiche eurer Website, die für die Google-Suche unbedeutend sind, vom Crawling (Erfassen durch Google) ausschließen. Wie ihr das bewerkstelligt, sagt euch dieser zweite Teil meines Blog-Beitrags.