robots.txt

robots.txt

Gemäss geltenden Standards liest ein Suchmaschinen-Roboter beim Auffinden einer Webseite zuerst die Datei robots.txt im Stammverzeichnis (Root) einer Domain. In dieser Datei kann festgelegt werden, ob und wie die Webseite von einem Webcrawler besucht werden darf. Website-Betreiber haben so die Möglichkeit, ausgesuchte Bereiche ihres Internetauftrittes für alle oder ausgewählte Suchmaschinen zu sperren. Eine durch robots.txt ausgeschlossene Seite kann von Suchmaschinen wie Google trotzdem im Index geführt werden. Dabei werden in der Regel aber nur Inhalte gezeigt, welche über Drittquellen öffentlich waren, da der Roboter die Seite selber nicht besuchen durfte. Es ist nicht zwingend, eine robots.txt einzusetzen. Die Roboter suche zwar danach, haben aber kein Problem wenn diese nicht vorhanden ist. Eine nicht vorhandene robots.txt bedeutet, es gibt keine Einschränkungen für die Erfassung der Inhalte des Auftrittes. Ausnahmslos alle Inhalte dürfen erfasst werden. Idealerweise wird der Auftritt so programmiert, dass die Roboter gar keine Seiten finden können, die nicht indexiert werden sollen. Eingesetzt werden kann robots.txt zum Beispiel für

• Testverzeichnisse mit unfertigen Seiten
• Private Dateien
• technische Bereiche
• Aussperren von unerwünschten Robotern (sofern sich diese an robots.txt halten).

In unserem Internet-Marketing Glossar finden Sie Erläuterungen zu weiteren Begriffen und weiterführende Informationen dazu.