Robots-Erziehung in Joomla

Aus Unachtsamkeit lernt man. Sollte man zumindest, wie in meinem Beispiel zu sehen sein wird.

Ich musste feststellen, dass die Bilder eines Projekts nicht von Google indexiert wurden. Es kann eine Weile dauern, bis dies geschieht, aber in diesem Fall habe ich schlichtweg geschlafen und etwas in der robots.text Datei im Joomla übersehen.

Aus irgendeinem Grund fand ich dort die Zeile Disallow: /images/. Kein Wunder, dass die Bilder nicht indexiert worden. Einzig aufgefallen war mir zu einem früheren Zeitpunkt, dass in der robots.txt automatisch die Sitemap ausgeschlossen war. Die Angelegenheit war schnell mit sitemap: Pfad der Sitemap bereinigt.

Ob man eine generelle Indexierung des Bildverzeichnis erlaubt, muss man sich gut überlegen. Möchte man nicht, dass die Bilder der letzten Betriebsfeier von Google indexiert werden, bietet es sich an ein Disallow: /images/betriebsfeier/ in die robots.txt einzufügen.

Grundsätzlich sollte man bei der Strukturierung eines Projekts überlegen, welche Verzeichnisse zur Indexierung durch Google freigegeben werden sollen. Ansonsten werden Inhalte indexiert, die man nicht indexiert haben möchte. Gibt man alles frei, dann ist man selber Schuld. Zwar gibt es die Möglichkeit, nicht gewünschten indexierten Inhalt über Google Webmaster Tools entfernen zu lassen, aber dazu muss man es von vorneherein durch gute Planung nicht kommen lassen.

Google besitzt für Seiten ein limitiertes Crawling Budget, unter anderem abhängig vom Rankingwert der Seite. Seiten wie Kontaktformulare und Anmeldeformulare können grundsätzlich von der Indexierung ausgeschlossen werden. Der Ausschluss weiterer Inhalte sollte man stets nach eigenen Vorstellungen vornehmen.

Alternativ können Inhalte auch über die Metadaten von der Indexierung ausgeschlossen werden. Mit noindex schliesst man eine Seite und mit nofollow die Links einer Seite von der Indexierung aus. Identische Inhalte durch robots.txt und zusätzlich durch die Verwendung von Metadaten zu sperren sollte man vermeiden, da ansonsten die noindex Anweisung der Meta Daten nicht gelesen werden kann.

Die Botschaft des Tages lautet: robots.txt Datei gründlich überprüfen, ansonsten geht es Euch wie mir.

Folge mir

Uwe Schug

Mediengestalter bei Pixelprimus
Von Beruf Mediengestalter, blogge ich über die Themen Content Management, Suchmaschinenoptimierung und Social Media
Folge mir
FacebookTwitterGoogle+BufferDeliciousPinterestEmpfehlen
Veröffentlicht unter SEO Getagged mit: , , , , , ,

Hinterlasse eine Antwort

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *

*

Du kannst folgende HTML-Tags benutzen: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>

Blog via E-Mail abonnieren

Gib Deine E-Mail-Adresse an, um diesen Blog zu abonnieren und Benachrichtigungen über neue Beiträge via E-Mail zu erhalten.

Kategorien