Typo3 robots.txt Muster / Vorlage

Gerne führe ich einmal hier unsere aktuelle robots.txt für Typo3 an. Eher zur Eigendokumentation, aber sie darf natürlich auch gerne weiterverwendet und auch optimiert werden. Download der Textdatei

Typo3 robots.txt Vorlage

User-Agent: *

Disallow: /*cHash
Disallow: /*?id=* # Deaktiviert non-realurl URLs
Disallow: /*&type=100 # Deaktiviert Print Seiten
Disallow: /*&type=98 # Deaktiviert Print Seiten
Disallow: /print/ # Deaktiviert Print Seiten

Sitemap: http://www.url.de/sitemap.xml

Natürlich freue ich mich über Verbesserungsvorschläge in den Kommentaren, da ich denke da ist noch Potential. Bitte beachtet, dass man bei der Verwendung der robots.txt unterscheiden muss, ob die Webseite bereits seit längerem existiert oder ob es sich um eine komplett neue Webseite handelt. Wenn bereits Seiten indiziert sind, welche in der robots.txt vom Crawlen ausgeschlossen ist, so sollte die Deindexierung über die Meta Robots Angabe noindex erfolgen.

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.