# robots.txt # Zugangserlaubnis fuer robots, WebCrawler, spiders und anderes Getier... User-agent: * # alle robots erlauben Disallow: # nicht erlaubte Verzeichnisse