# Alle Spider dürfen alle Verzeichnisse und Dateien spidern

User-Agent: msnbot
Crawl-Delay: 10

User-Agent: Slurp
Crawl-Delay: 10

User-Agent: gigabot
Disallow: /

User-agent: seekbot
Disallow: / 

# WayBack Maschine
User-agent: ia_archiver
Disallow: /

User-agent: *
Disallow: