Thread Interpretation von robots-metatags (4 answers)
Opened by kristian at 2010-06-21 08:17

GwenDragon
 2010-06-21 09:17
#138540 #138540
User since
2005-01-17
14563 Artikel
Admin1
[Homepage]
user image
Mit der robots.txt kann du ja nur sagen: Du darfst die Seite besuchen oder Du darfst nicht die Seite besuchen.

Die HTML-Meta-Elemente mit dem Namen robots dienen dazu, dem Bot zu sagen, ob er den Inhalt indizieren, archivieren, Links verfolgen darf oder nicht. Dazu dienen die Attribute content mit den folghenden Werten [no]archive,[no]index und [no]follow.
http://www.robotstxt.org/meta.html

So gesehen könnte mit noarchive ein noindex einhergehen. Muss aber nicht. Es kann sinnvoll sein, Suchbegriffe in der Webseite zu crawlen, aber sie nicht in den Cache oder Internetarchiv zu nehemen.
Für mich resultiert aus noarchive und noindex noch kein nofollow.

Kommt auf die Umstände an, was du der Sucvhmaschine erlauben willst.

Übrigens: Du wirst mit der Methode robots.txt udn Meta-Element robots nur die Bots zügeln können, die das auch wirklich beachten. Bots sollten sich daran halten, müssen aber nicht, manche tun es einfach nicht.
Die kannst du nur über die Abfrage des Useragents und URL-Rewrite-Regeln (mod_rewrite) stoppen.
die Drachin, Gwendolyn


Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel

View full thread Interpretation von robots-metatags