| Plesk Login :: Webmail :: Mijn Account |
 |
 Kennisbank |
U bent hier: Klantensysteem Home > Kennisbank > Publiceren website > robots.txt
Plaats Bestelling | Ticket opgeven | Domein registratie
robots.txt
|
WWW bots of spiders worden door zoekmachines ingezet om systematisch websites te doorzoeken en de aanwezige informatie voor eigen gebruik op te slaan (indexing). het is voor de webbeheerder wenselijk aan een spider aan te kunnen geven welke informatie toegankelijk is en welke informatie een spider niet mag doorzoeken. Een geschikt middel hiervoor is een zogenaamd robot.txt bestand waarin staat beschreven aan welke regels de robot zich moet houden. Dit bestand moet altijd in de root folder staan. Een voorbeeld van de inhoud ziet er als volgt uit: # geen enkele indexing mogelijk User-agent: * Disallow: / # robots.txt voor http://www.voorbeeld.com/ User-agent: * Disallow: /cyberworld/map/ Disallow: /foo.html zie voor meer informatie: www.robotstxt.org en www.searchengineworld.com |
Lees ook
Powered by WHMCompleteSolution