Bots blockieren/verhungern lassen (Allgemeine technische Fragen)

[thread]16890[/thread]

Bots blockieren/verhungern lassen

Tags: Bot Honeypot Falle Ähnliche Threads

Leser: 27

Articles: hide open all | hide show old branches

+21 replies
GwenDragon

2011-11-06 17:06

User since
2005-01-17
14533 Artikel
Admin1

Ich suche nach einer Möglichkkeit, bestimmte Suchmaschinen, die sich nicht an Disallow-Regeln in der robots.txt halten, sondern ca. 30 mal pro Sekunde immer den gleichen URL (mit gleicher Remote-IP) einer Website abholen zu blockieren.
Und zwar ohne den Apache mit viel Arbeit zu belasten.
Derzeit leitet der Apache ganz böse auf 127.0.0.1 (dort ist nix!) um.

Wie mache ich das am effektivsten?

Mit iptables ganz blockieren?
Mit einem Skript verzögern?
Mit /etc/hosts.deny sperren?

Was denkt ihr, was sinnvoll ist?
die Drachin, Gwendolyn

Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- +3 replies
- jan
  
  2011-11-06 17:59
  
  User since
  2003-08-04
  2536 Artikel
  ModeratorIn
  
  Ich blocke solche meistens mit iptables. Teergrubing ist zwar an sich ne nette Idee, aber andererseits will ich keine Resourcen dafür verbrauchen.
  - +2 replies
  - GwenDragon
    
    2011-11-06 18:01
    
    User since
    2005-01-17
    14533 Artikel
    Admin1
    
    2011-11-06T16:59:07 jan
    Ich blocke solche meistens mit iptables.
    manuell, nachdem du Logs gegreppt nach zu vielen Zugriffen hast oder wie?
    die Drachin, Gwendolyn
    
    Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
    - jan
      
      2011-11-06 18:55
      
      User since
      2003-08-04
      2536 Artikel
      ModeratorIn
      
      Unterschiedlich, früher habe ich das nur in Ausnahmefällen gemacht, wenn ein Bot wirklich viel Traffic machte, nicht auf 403 reagierte und allgemein nervte. Und dann manuell.
      Dann habe ich ne weile mit bot traps gearbeitet und dann auch automatisiert gesperrt, wenn die geolokalisierung sagt, dass der client aus dem nicht-nahen Ausland kommt.
      Aktuell mache ich so ziemlich gar nichts weil faul und lasse die log-analyse-software damit klarkommen.
- +6 replies
- GUIfreund
  
  2011-11-07 13:00
  
  User since
  2011-08-08
  559 Artikel
  BenutzerIn
  
  2011-11-06T16:06:15 GwenDragon
  Ich suche nach einer Möglichkkeit, bestimmte Suchmaschinen, die sich nicht an Disallow-Regeln in der robots.txt halten, sondern ca. 30 mal pro Sekunde immer den gleichen URL (mit gleicher Remote-IP) einer Website abholen zu blockieren.
  Und zwar ohne den Apache mit viel Arbeit zu belasten.
  Derzeit leitet der Apache ganz böse auf 127.0.0.1 (dort ist nix!) um.
  
  Wie mache ich das am effektivsten?
  
  Mit iptables ganz blockieren?
  Mit einem Skript verzögern?
  Mit /etc/hosts.deny sperren?
  
  Was denkt ihr, was sinnvoll ist?
  
  Mir scheint, das sind alles defensive Maßnahmen. Den Angreifer wird das wenig jucken. Die anständigen Netzbetreiber sollten sich zusammentun und sich wehren. Zum Beispiel sinnlose Seiten zurücksenden, vielleicht noch mit Malware drin. Cyberwar vom Feinsten. Um unseren Gröfaz zu zitieren: "Wir gehen herrlichen Zeiten entgegen".
  Gruß
  GUIfreund
  - +5 replies
  - GwenDragon
    
    2011-11-07 13:13
    
    User since
    2005-01-17
    14533 Artikel
    Admin1
    
    Quote
    Mir scheint, das sind alles defensive Maßnahmen. Den Angreifer wird das wenig jucken.
    Wieso Angreifer?
    Es handelt sich um einen Bot mit bekannter IP/-Range, keinen Angreifer.
    
    Und ja, das sind defensive Maßnahmen.
    Es ist mir von Rechts wegen nicht erlaubt, den Bot samt Server mit tausenden IP-Paketen zu bombardieren, um den zu stoppen.
    
    Du weißt, was ich meine mit (Ro)bot? Oder verwechselst du da was mit Bot-Netzen?
    die Drachin, Gwendolyn
    
    Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
    - +4 replies
    - GUIfreund
      
      2011-11-08 12:56
      
      User since
      2011-08-08
      559 Artikel
      BenutzerIn
      
      2011-11-07T12:13:08 GwenDragon
      Quote
      Mir scheint, das sind alles defensive Maßnahmen. Den Angreifer wird das wenig jucken.
      Wieso Angreifer?
      Es handelt sich um einen Bot mit bekannter IP/-Range, keinen Angreifer.
      
      Und ja, das sind defensive Maßnahmen.
      Es ist mir von Rechts wegen nicht erlaubt, den Bot samt Server mit tausenden IP-Paketen zu bombardieren, um den zu stoppen.
      
      Du weißt, was ich meine mit (Ro)bot? Oder verwechselst du da was mit Bot-Netzen?
      
      In groben Zügen weiß ich, was ein Robot ist, und ich weiß auch, dass Suchmaschinen mit Robots arbeiten. Wenn 30 mal pro Sekunde dieselbe Webseite abgerufen wird, halte ich das schon für einen Angriff. Und auch du scheinst dich ein wenig angegriffen zu fühlen, sonst würdest du nicht über Abwehrmaßnahmen nachdenken.
      
      Quote
      Es ist mir von Rechts wegen nicht erlaubt, den Bot samt Server mit tausenden IP-Paketen zu bombardieren, um den zu stoppen.
      ... aber dem Robot ist es erlaubt, deinen Server zu bombardieren.
      
      Dass du allein wenig ausrichten kannst, ist mir klar. Deshalb schrieb ich
      Quote
      Die anständigen Netzbetreiber sollten sich zusammentun und sich wehren.
      In meinem Beitrag ging es mir nicht um Technik, sondern um Ethik. Hast du das nicht gemerkt?
      Gruß
      GUIfreund
      - +3 replies
      - GwenDragon
        
        2011-11-08 13:14
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Quote
        Wenn 30 mal pro Sekunde dieselbe Webseite abgerufen wird, halte ich das schon für einen Angriff.
        Nein, das sind nur Bots, die alles absaugen wollen, als Angriff würde ich das noch nicht beteichnen, eher als unnötiger Resourcenverbrauch, denn ich oder auch Auftraggeber zahlen müssen.
        Angriffe blockiere ich anders. ;)
        
        Nun ja, ich bin nicht Anonymous, deswegen ist ein anderes Wehren kaum möglich.
        Und ich muss die von mir betreuten Server rechtskonform warten. Meien Auftraggeber würden mir was husten, wenn ich nicht deutschen Gesetzen entsprechen wollte.
        
        Cyberwar wäre ja schön auszudenken, ist das deiner Meinung nach ethisch vertretbar? Und ich kenne einige Herren, die würden meine betreuten Server so zuballern, dass nichts mehr geht, wenn ich für Cyberwar wäre.
        
        Was Ethik anbelangt, interessieren Angriffe/Überlastungen die Netzbetreiber und andere Gruppierungen auch nicht. Hacker- und IT-ethik ist heutzutage nur noch dazu da, mediales Aufgeschau und Anonymous-Abklatsch zu erzeugen.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +2 replies
        
        GUIfreund
        
        2011-11-10 17:30
        
        User since
        2011-08-08
        559 Artikel
        BenutzerIn
        
        2011-11-08T12:14:00 GwenDragon
        Cyberwar wäre ja schön auszudenken, ist das deiner Meinung nach ethisch vertretbar?
        
        Ich hatte erwartet, dass das Ende meines Beitrags deutlich macht, dass ich mir darüber klar bin, dass Cyberwar kein geeigneter Weg für Gegenmaßnahmen ist. Ich sollte endlich lernen, mich klarer auszudrücken. Und ich sollte die alte Weisheit beherzigen "Schuster, bleib' bei deinem Leisten".
        Gruß
        GUIfreund
        
        GwenDragon
        
        2011-11-10 17:58
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Och, Meinungen zu Problemen interessieren mich immer.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- +7 replies
- kristian
  
  2011-11-08 09:36
  
  User since
  2005-04-14
  684 Artikel
  BenutzerIn
  
  2011-11-06T16:06:15 GwenDragon
  Derzeit leitet der Apache ganz böse auf 127.0.0.1 (dort ist nix!) um.
  
  Bist du dir da ganz sicher?
  Wirklich?
  
  Gruß
  Kristian
  - +6 replies
  - GwenDragon
    
    2011-11-08 09:50
    
    User since
    2005-01-17
    14533 Artikel
    Admin1
    
    Erstaunlich, dass du meinen Server kennst und weißt, wie der Konfiguriert ist. Du hast dich wohl schon bei mir eingehackt?
    
    Oder warum glaubst du, dass ein Redirect des Clients auf 127.0.0.1 problematisch ist?
    Last edited: 2011-11-08 09:59:57 +0100 (CET)
    die Drachin, Gwendolyn
    
    Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
    - +5 replies
    - kristian
      
      2011-11-08 09:58
      
      User since
      2005-04-14
      684 Artikel
      BenutzerIn
      
      nicht doch
      127.0.0.1 steht für localhost bzw. ist eine lokale adresse.
      wenn du mich nach 127.0.0.1 weiterleitest lande ich wo?
      wenn du / dein server dich nach 127.0.0.1 schickt wo landest du?
      gemerkt?
      - +4 replies
      - GwenDragon
        
        2011-11-08 10:03
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Auf dem eigenen System, das die Anfrage gestellt hat. In dem Fall ruft der Bot den eigenen Rechner auf.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        +3 replies
        
        kristian
        
        2011-11-08 10:24
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        richtig.
        
        ev. sieht ein redirect nach $ENV{'REMOTE_ADDR'} an der Stelle professioneller aus.
        
        EDIT: schreib doch nicht immer synchron das gleiche....
        
        +2 replies
        
        GwenDragon
        
        2011-11-08 10:31
        
        User since
        2005-01-17
        14533 Artikel
        Admin1
        
        Für wen soll das professionell aussehen? Deinen Einwurf verstehe ich nicht.
        die Drachin, Gwendolyn
        
        Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
        
        kristian
        
        2011-11-08 10:40
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        die frage beantworte ich mal so:
        
        ein redirect auf localhost ist hier nur bedingt sinnvoll.
        auf dem bot selbst läuft eher kein webserver.
        es ist aber durchaus denkbar, dass zugriffe an port 80 der bot-ip zu einem webserver geleitet werden der auskunft erteilt.
- GwenDragon
  
  2011-11-08 10:23
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Sicherlich kann eine anstatt auf localhost auch ganz gehässig auf die REMOTE-IP des Clients weiter leiten.
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- +3 replies
- kristian
  
  2011-11-08 10:46
  
  User since
  2005-04-14
  684 Artikel
  BenutzerIn
  
  Hallo
  
  Am sinnvollsten ist /etc/hosts.deny alternativ in den IP-Tables was ja fast den gleichen Effekt hat.
  Damit ist das virtuelle Hausrecht auch schon ausgeschöpft, zumindest gehen die Meinungen dahin.
  (ja ja, da kann man Nächte lang drüber reden...)
  Teergrubing sollte man sehr gut begründen können.
  Redirects sind sowas wie "F*** d*** s*****" und somit nicht wirklich höflich.
  
  Gruß
  Kristian
  
  EDIT: der 403 ist sinnvoller, da man dem bot nicht böse sein darf, wenn er dank IP-Tables nicht mitbekommt, dass die Url für ihn tot ist und ewig fragt.
  Last edited: 2011-11-08 10:52:43 +0100 (CET)
  - GwenDragon
    
    2011-11-08 11:16
    
    User since
    2005-01-17
    14533 Artikel
    Admin1
    
    Quote
    Redirects sind sowas wie "F*** d*** s*****" und somit nicht wirklich höflich.
    Ja, a bin ich auch der Meinung.
    Das kriegen aber sowieso nur die Bots vor die Nase geknallt, denen eben Robots-Standards wurscht sind.
    
    Quote
    der 403 ist sinnvoller, da man dem bot nicht böse sein darf, wenn er dank IP-Tables nicht mitbekommt, dass die Url für ihn tot ist und ewig fragt.
    Ja, nur bekommt bei einem Forbidden auf manchen Domains dann der Bot jedesmal die kundenspezifische Fehlerseite geliefert.
    Dann gibt es wieder mehr Traffic und Resourcen, die unnötig belastet werden.
    die Drachin, Gwendolyn
    
    Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - jan
    
    2011-11-08 11:22
    
    User since
    2003-08-04
    2536 Artikel
    ModeratorIn
    
    2011-11-08T09:46:57 kristian
    Teergrubing sollte man sehr gut begründen können.
    
    Wieso? Es gibt keinen Rechtsanspruch darauf, von meinem Server mit irgendeiner Mindestbandbreite Daten zu ziehen. Es gibt überhaupt keinen Rechtsanspruch darauf, von meinem Server Daten zu bekommen.
    
    2011-11-08T09:46:57 kristian
    Redirects sind sowas wie "F*** d*** s*****" und somit nicht wirklich höflich.
    
    Du redest von HTTP-Redirects? Was daran unhöflich sein soll verstehe ich nicht. Und ein Port-Redirect wäre ja verrückt, das gibt ja noch mehr Traffic beim betroffenen Server, wenn er für den Bot auch noch reverse Proxy spielt.
    
    2011-11-08T09:46:57 kristian
    EDIT: der 403 ist sinnvoller, da man dem bot nicht böse sein darf, wenn er dank IP-Tables nicht mitbekommt, dass die Url für ihn tot ist und ewig fragt.
    
    Der 403 hilft nicht wenn der Bot nicht sauber programmiert ist. Und wenn er sauber und freundlich programmiert ist, muss man ihn nicht aussperren, weil er sich dann auch an die robots.txt hält.

View all threads created 2011-11-06 17:06.