# robots.txt zu http://www.BOIEs.de/ User-agent: * Disallow: /Library/ Disallow: /pics/ Disallow: /Secure/ Disallow: /Templates/ Disallow: /_menu/ # In einer Datei dieses Namens können Betreiber von Web-Projekten angeben, # welcher Suchrobot welche Projektverzeichnisse auslesen darf und welcher # was nicht lesen darf. Die Datei enthält also Anweisungen für Robots von # Suchmaschinen. Die überwiegende Mehrheit der Robots moderner Suchmaschinen # berücksichtigen das Vorhandensein einer robots.txt, lesen sie aus und # befolgen die Anweisungen. # # # Oben definiert sind Zugriffsverbote auf bestimmte Verzeichnisse für alle Robots.