Wat is robots.txt en hoe kun je die handig gebruiken?

a team of robot toys Wat is robots.txt en hoe kun je die handig gebruiken?Elke website word door robots (ook wel crawlers, bots of spyders genoemd) doorzocht naar inhoud en links (indexeren)Deze gegevens worden bijvoorbeeld door google opgeslagen om op deze manier een soort bewegwijzering (index) van het internet te maken.Door gebruik te maken [...]