Typo3 robots.txt Muster / Vorlage

Gerne führe ich einmal hier unsere aktuelle robots.txt für Typo3 an. Eher zur Eigendokumentation, aber sie darf natürlich auch gerne weiterverwendet und auch optimiert werden. Download der Textdatei

Typo3 robots.txt Vorlage

User-Agent: *

Disallow: /*cHash
Disallow: /*?id=* # Deaktiviert non-realurl URLs
Disallow: /*&type=100 # Deaktiviert Print Seiten
Disallow: /*&type=98 # Deaktiviert Print Seiten
Disallow: /print/ # Deaktiviert Print Seiten

Sitemap: http://www.url.de/sitemap.xml

Natürlich freue ich mich über Verbesserungsvorschläge in den Kommentaren, da ich denke da ist noch Potential. Bitte beachtet, dass man bei der Verwendung der robots.txt unterscheiden muss, ob die Webseite bereits seit längerem existiert oder ob es sich um eine komplett neue Webseite handelt. Wenn bereits Seiten indiziert sind, welche in der robots.txt vom Crawlen ausgeschlossen ist, so sollte die Deindexierung über die Meta Robots Angabe noindex erfolgen.

Christian
Christian
Nachdem Christian Hörner erste berufliche Erfahrungen im Online Marketing bei der 004 GmbH in Aschaffenburg gesammelt hatte, war er während seines nachfolgenden Masterstudiums an der FH Würzburg bereits Werkstudent und Masterand bei der KIM Krick Interactive Media GmbH. Seit September 2012 wird er dort in den Bereichen Suchmaschinenwerbung und -optimierung Vollzeit eingesetzt und hat seit Sommer 2016 die Position des stellvertretenden Teamleiters inne.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.