Die robots.txt ist nützlich um z. B. den gefräßigen MSN-Bot am dauerspidern zu hindern und im Grafiken, Javascripte, Textdateien etc. aus zu schließen. Das reduziert den Traffic.

Ein URLmod ist schon schwieriger.
bla.cgi?id=blubb&hier=nochwas => bla.cgi/id=blubb;hier=nochwas wäre sinnvoll.
Das bedeutet aber, dass anstatt des REQUEST_STRING dann PATH_INFO genommen wird.
Alte ?...& könnten ja mit mod_rewrite umgebogen werden.

msn soll doch ruhig spidern. vielleicht schickt er dafür ja auch ein paar besucher.
und grafiken .. mh, das ist sowieso so ein problem. google images zb hält sich nicht an die robots.txt (hat sich da mittlerweile eigentlich was geändert?). ich persönlich geh da eher den weg, bots, die ich nicht haben will, mit einem freundlichen deny zu begrüßen. google images zählt dazu, wenn ich nicht gerade will, dass er meine bilder spidert (was manchmal interessant sein kann, es suchen doch einige leute mit google images - wenn auch primär nach "pokemon sex" u.a.). das kann man ja auch dateibasiert machen.

und urlmods lassen sich mit mod_rewrite ja wunderbar herstellen. hält sich auch in grenzen mit dem performance-verlust, wenn man nicht durchdreht.

[quote=GwenDragon,13.04.2006, 17:22]Dieses Forum für Suchmaschinen?
Für die Robots fehlt das Metatag robots
<meta name="robots" content="index, follow">
Ein paar andere wie Description u. ä. würde nicht schaden.
Eine robots.txt unter http://board.perl-community.de/robots.txt existiert nicht.

Wo sollen die Robots bitte die Infos holen ;)

Was soll da sonst noch optimiert werden? Vielleicht ein paar Keywords.[/quote]
Die robots.txt ist nicht wirklich notwendig. Meine Webseiten werden auch so ganz gut gefunden und aufgenommen.