Der Domaindatei-Spider

Vermutlich sind Sie hier gelandet, weil Sie im Zugriffsprotokoll Ihres Webservers gesehen haben, dass ein Client, der sich als User Agent "domaindatei.de (http://www.domaindatei.de/spider.html)" identifiziert hat, eine Seite abgerufen hat.

Die Domaindatei ist eine durchsuchbare Datenbank mit den Namen von mehreren Millionen de-Domains (siehe FAQ). Der Domaindatei-Spider ist ein automatisches Programm, das ständig das Web nach neuen de-Domains durchforstet, um diese Datenbank zu erweitern. Dazu liest er die Startseiten von Websites unter ihm bereits bekannten de-Domains und sucht in deren HTML-Code nach Links zu weiteren de-Domains.

Der Domaindatei-Spider lädt dabei nur die Startseite der Webseite unter der jeweiligen Domain herunter, keine Unterseiten. Diese Startseite durchsucht er ausschließlich nach Domainnamen. Andere Informationen interessieren ihn nicht. Er speichert keine Texte, Bilder oder sonstigen Inhalte und natürlich auch keine E-Mail-Adressen.

Da der Domaindatei-Spider aber ein höflicher Spider ist und Webmaster nicht belästigen will, respektiert er selbstverständlich den Robots Exclusion Standard (robots.txt). Wenn Sie als Webmaster nicht möchten, dass der Domaindatei-Spider Ihre Startseite liest, legen Sie im Stammverzeichnis Ihrer Website eine Textdatei namens robots.txt an mit folgendem Inhalt:

Wenn Sie auch anderen Spidern das Lesen Ihrer Website verbieten möchten, können Sie statt "domaindatei.de" auch einen Stern (*) als User Agent angeben. Dann wird die Anweisung von allen höflichen Spidern beachtet. Allerdings werden dann auch die Spider von Suchmaschinen wie Google, Yahoo u.ä. ausgeschlossen, was möglicherweise nicht gewünscht ist. Detaillierte Informationen zur Datei robots.txt finden Sie unter http://www.robotstxt.org/robotstxt.html.

©