Hallo

Quote

Und warum sollten diese Spider nicht auch Seiten indexieren, die sich als text/xml ausweisen

Das bezieht sich auf eine Anwendung die als Proxy gedacht ist.
Es geht nicht ums indexieren es geht um Kontent-Klau, wenn diese Proxys missbraucht werden.
Bei text/xml denkt der Programmierer dieser Proxies, es sei etwas was per Ajax geladen wird und lässt die Finger davon.

Quote

Zumindest die "Großen" (Google, Yahoo, MSN) werden robots.txt beachten.

Mit wenigen Ausnahmen ist das richtig.
Allerdings ist niemand böse wenn sein Kontent direkt von den Grossen indexiert wird, da das Besucher und Umsatz bedeutet.
Böse sind alle, wenn der Kontent beim "Proxy" gefunden und indexiert wird, dann sind die Besucher weg, die eigenen Seiten aus dem Index und mit Verdienen sieht es dann eher schlecht aus.

Gruss
Kristian\n\n

<!--EDIT|kristian|1174244572-->