bzgl. downloadmanagern: ok, aber die lassen meist auch einfach eine "wie soll ich mich identifizieren"-option zu... und dann kannst du nix dagegen machen.

spam-bots und harvester: entweder es ist ein bot von einem dümmlichen kind, das mit den gewonnenen daten nix wirklich nervendes tun kann oder er wird von einem einigermaßen intelligenten menschen gebaut - und der wird wohl, ganz simpel, seinen useragent ständig rotieren lassen, sodass du nur seine ip bannen kannst. tut er das von einem dialup, hast du so gut wie keine chance. tut er's über proxys, kannst du die zwar gerne bannen... aber, was hast du davon? nehmen wir an, er würde das ganze fröhlich über den t-online proxy betreiben ... und hups, du bannst den fix - und knüppelst damit eine recht ansehliche userzahl ins aus.
es ist ein jammer, aber es gibt einfach nicht viele wirkungsvolle methoden - man könnte natürlich eine trap aufbauen, die in der robots.txt verbieten und wer dennoch reingeht, bekommt einen temp-ban für ein paar stunden. aber auch das ist nur beschränkt wirksam.
tja - und damit kommen wir zum ende: wirksam ist nur rohe gewalt ;)
und bot-traps finde ich für meinen teil ohnehin nicht sonderlich sinnvoll - schickt man den nun also ein paar tausend mal zwischen generierten seiten hin und her - super. man hält ihn damit eventuell ein bisschen auf, treibt dafür aber seinen traffic in die höhe - ergebnis: negativ. aber nur für einen selbst.