Ich suche nach einer Möglichkkeit, bestimmte Suchmaschinen, die sich nicht an Disallow-Regeln in der robots.txt halten, sondern ca. 30 mal pro Sekunde immer den gleichen URL (mit gleicher Remote-IP) einer Website abholen zu blockieren.
Und zwar ohne den Apache mit viel Arbeit zu belasten.
Derzeit leitet der Apache ganz böse auf 127.0.0.1 (dort ist nix!) um.

Wie mache ich das am effektivsten?

Mit iptables ganz blockieren?
Mit einem Skript verzögern?
Mit /etc/hosts.deny sperren?

Was denkt ihr, was sinnvoll ist?