Sorry, you need to enable JavaScript to visit this website.
Vielen Dank für Ihre Kontaktanfrage. Wir werden uns bei Ihnen schnellstmöglich zurückmelden.

SEO-Grundlagen IX: robot.txt-Dateien richtig erstellen

  |   Kalender     |   0 Kommentare
Wer erfolgreich Suchmaschinenoptimierung, kurz SEO, betreiben will, muss heutzutage weit mehr unternehmen, als nur die richtigen Keywords in ausreichender Zahl auf der Webseite unterzubringen. In unserer Reihe SEO-Grundlagen stellen wir daher die wesentlichen Stellschrauben im Bereich der Suchmaschinenoptimierung vor. Ein Aspekt, der häufig stiefmütterlich behandelt wird, aber durchaus nicht unterschätzt werden darf, ist die robot.txt-Datei. Mit dieser kleinen Text-Datei können Webseitenbetreiber den Crawlern und Spidern der Suchmaschinen Anweisungen für die Indexierung der eigenen Webseite geben.

Was bringt die robot.txt-Datei?

Mitunter liegen auf dem Server oder dem Webspace Dateien, die nicht zwingend jeder einsehen soll oder die nicht in den verschiedenen Suchmaschinen indexiert werden sollen. Dies betrifft beispielsweise Unterseiten, die noch nicht freigegeben sind. Oder auch Weiterentwicklungen, Programme und Skripte, die nur für einen bestimmten Nutzerkreis gedacht sind und nicht im Google-Cache auftauchen sollen. Darüber hinaus kann es sinnvoll sein, bestimmte Bereiche aus Datenschutzgründen von einer Indexierung auszuschließen, beispielsweise Profilinformationen aus einem Forum. Mit der robot.txt-Datei können die Spider und Crawler nun entsprechend gesteuert werden.

Grundlegendes über die robot.txt

Grundlage für die robot.txt-Datei ist das Robots-Exclusion-Standard-Protokoll. Für die Suchmaschinenoptimierung sind vor allem folgende Aspekte relevant:

  • Die robot.txt-Datei befindet sich immer im Hauptverzeichnis der Domain, also auf der obersten Verzeichnisebene. Damit lautet die URL immer: http://www.webseite.de/robot.txt.
  • Die Angaben für Dateien und Verzeichnisse folgen immer direkt nach der Domain.
  • Es gibt die Anweisungen „allow“ und „disallow“. Da erstere die Regel ist, muss sie nicht explizit verwendet werden.
  • Groß- und Kleinschreibung muss berücksichtigt werden.
  • Der Stern (*) fungiert als Platzhalter. Soll etwa eine Regel für alle mit „privat“ beginnenden Verzeichnisse formuliert werden, sollte dies so aussehen: privat*.
  • Wenn mehrere Regeln formuliert werden, werden die einzelnen Regeln durch einen Leerzeile getrennt.

Wie eine robot.txt-Datei aufgebaut ist

Wie bereits erwähnt, muss die robot.txt-Datei im Hauptverzeichnis abgelegt werden. Dabei gilt, dass nur eine robot.txt pro Domain hinterlegt werden darf. Werden jedoch Inhalte sowohl über http als auch über https angeboten, ist für jedes dieser Protokolle eine eigene Datei-Version zu erstellen. Die Anweisungen in der robot.txt setzen sich immer aus zwei Teilen zusammen – der Definition des Spiders/Crawlers und der eigentlichen Regel. Um den Robot zu definieren, wird der Befehl „User-agent“ verwendet, gefolgt von einem Doppelpunkt und dem jeweiligen Crawler-Namen (zum Beispiel „User-agent: Googlebot“). Es müssen jedoch nicht immer alle Crawler und Spider einzeln definiert werden. Wer eine globale Regel anlegen will, die für alle Robots gelten soll, muss dem „User-agent:“ einfach einen Stern folgen lassen. Nachdem die Robots-Namen festgelegt sind, folgt die eigentliche Anweisung. Es werden also die Dateien und Ordner angegeben, die aufgenommen beziehungsweise nicht indexiert werden sollen. Dabei ist für jede Datei und jeden Ordner eine eigenen Zeile anzulegen, die entweder mit „allow“ oder mit „disallow“ beginnt und nach einem Doppelpunkt mit dem Datei- oder Ordnernamen abgeschlossen wird. Wichtig ist in diesem Zusammenhang noch, dass der Pfad immer ohne die Domain anzugeben ist und mit einem „Slash“ (/) beginnt. Soll beispielsweise eine einzelne Seite nicht vom Googlebot gecrawlt werden, würde die entsprechende Anweisung in der robot.txt-Datei so aussehen:

User-agent: Googlebot

Disallow: /name-der-datei.html

 

SEO-Grundlagen I: Mit Title-Tags den Seiteninhalt beschreiben

SEO-Grundlagen II: Meta-Description als Zusammenfassung der Webseiteninhalte

SEO-Grundlagen III: Warum „sprechende“ URLs so wichtig sind

SEO-Grundlagen IV: Webseiten-Navigation einfacher gestalten

SEO-Grundlagen V: Content-Optimierung

SEO-Grundlagen VI: Ankertexte sollten zum verlinkten Inhalt passen

SEO-Grundlagen VII: Worauf beim Bilder-SEO zu achten ist

SEO-Grundlagen VIII: Die richtige Verwendung von Überschriften-Tags

SEO-Grundlagen IX: robot.txt-Dateien richtig erstellen

Über den Autor Marek Henschke

Marek Henschke ist seit dem Jahr 2006 im Online Marketing tätig und ist der Online Marketing Manager von der Novalnet AG.

facebook twitter google plus xing linkedin