msn soll doch ruhig spidern. vielleicht schickt er dafür ja auch ein paar besucher.
und grafiken .. mh, das ist sowieso so ein problem. google images zb hält sich nicht an die robots.txt (hat sich da mittlerweile eigentlich was geändert?). ich persönlich geh da eher den weg, bots, die ich nicht haben will, mit einem freundlichen deny zu begrüßen. google images zählt dazu, wenn ich nicht gerade will, dass er meine bilder spidert (was manchmal interessant sein kann, es suchen doch einige leute mit google images - wenn auch primär nach "pokemon sex" u.a.). das kann man ja auch dateibasiert machen.

und urlmods lassen sich mit mod_rewrite ja wunderbar herstellen. hält sich auch in grenzen mit dem performance-verlust, wenn man nicht durchdreht.