robots.txt auf www.perl-community.de (Bugs)

[thread]14797[/thread]

robots.txt auf www.perl-community.de

Leser: 26

Articles: hide open all | hide show old branches

+10 replies
kristian

2010-03-11 23:11
User since
2005-04-14
684 Artikel
BenutzerIn
Sorry für die Klugscheisserei aber:
Code: (dl )

1 2 3 4 5 6 7 8 9 10

# Allow all User-agent: * Disallow: /bat/login Disallow: /bat/guest Disallow: /bat/userprefs Disallow: /bat/member Disallow: /bat/poard/post_answer User-Agent: MJ12bot Crawl-Delay: 10
ist meiner Meinung nach so nicht richtig.
Ein Bot liest die komplette robots.txt und speichert "*" in "anonymous", wenn er sich selbst findet geht das in "is_me".
Bei der Abfrage ob etwas erlaubt ist guckt er in "is_me" || "anonymous".
Sprich wenn er sich selbst gefunden hat wird "anonymous" ignoriert.
d.h. der MJ12 darf hier alles lesen was er will solange er sich an das Delay hält.

Achso, beim GoogleBot ist in der Vergangenheit oft aufgefallen, dass "*" ignoriert wird, dieser "Fürst" will mit seinem Namen angesprochen werden.

Gruß
Kristian
- +5 replies
- pq
  
  2010-03-11 23:32
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  2010-03-11T22:11:11 kristian
  Ein Bot liest die komplette robots.txt und speichert "*" in "anonymous", wenn er sich selbst findet geht das in "is_me".
  
  danke, habs grad bei wikipedia nachgelesen.
  
  im falle von MJ12bot war es jedoch so, dass er überhaupt keine der anweisungen befolgt (also auch die Disallows oben nicht, weswegen ich in dem Fall auch nicht überprüfen konnte, ob das Crawl-Delay denn wirkt.
  
  Quote
  Bei der Abfrage ob etwas erlaubt ist guckt er in "is_me" || "anonymous".
  Sprich wenn er sich selbst gefunden hat wird "anonymous" ignoriert.
  d.h. der MJ12 darf hier alles lesen was er will solange er sich an das Delay hält.
  
  hm, das widerspricht doch der ersten aussage?
  "Nach einem Block, dessen erste Zeile mit User-agent: * beginnt, stoppt ein Webcrawler und liest den Rest der Datei nicht mehr" (Robots.txt).
  Ich verstehe das also so, dass ich den MJ12bot zum einen nach oben nehmen muss und zum zweiten die Disallows dort alle wiederholen muss. edit: was ich jetzt gemacht habe.
  
  Quote
  Achso, beim GoogleBot ist in der Vergangenheit oft aufgefallen, dass "*" ignoriert wird, dieser "Fürst" will mit seinem Namen angesprochen werden.
  
  kann ich nicht bestätigen, da Googlebot zurst /bat/member crawlte und nach dem Disallow damit aufhörte.
  Last edited: 2010-03-11 23:33:56 +0100 (CET)
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +4 replies
  - kristian
    
    2010-03-12 09:08
    User since
    2005-04-14
    684 Artikel
    BenutzerIn
    
    2010-03-11T22:32:09 pq
    danke, habs grad bei wikipedia nachgelesen.
    
    Wikipedia ist nicht immer das Maß der Dinge.
    Die einzig offizielle Seite zu diesem nicht offiziellen Quasi-Standard ist wohl http://www.robotstxt.org/orig.html
    
    2010-03-11T22:32:09 pq
    im falle von MJ12bot war es jedoch so, dass er überhaupt keine der anweisungen befolgt (also auch die Disallows oben nicht, weswegen ich in dem Fall auch nicht überprüfen konnte, ob das Crawl-Delay denn wirkt.
    
    Ob ein Bot die robots.txt liest und beachtet ist seine Sache, es gibt ja kein Gesetz diesbezüglich. Ob Sachen wie Allow oder Crawl-Delay beachtet werden ist von Bot zu Bot verschieden. (Yahoo beachtet Crawl-Delay auf jeden Fall das ist bekannt.)
    
    Ich denke man sollte einem Bot auf jeden Fall auferlegen, die robots.txt zu lesen und nach bestem Wissen zu beachten. Besser man liest zu wenig Urls' als zuviel.
    
    Die robots.txt sollte auf jeden Fall bis zum Schluß gelesen werden es gibt Helden, die machen sowas:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24
    
    User-agent: * Disallow: /foo Disallow: /bar User-agent: Bot1 Disallow: /foo Disallow: /bar Disallow: /baz User-agent: Bot2 Disallow: /foo Disallow: /bar Disallow: /baz User-agent: Bot3 Disallow: /foo Disallow: /bar Disallow: /baz User-agent: Bot1 Crawl-Delay: 10 User-agent: Bot2 Crawl-Delay: 10
    
    Lächel, ich habe schon robots.txt gesehen, da war eine Keywordsammlung und Seitenbeschreibung drinn, am besten finde ich aber die, wo man ein WordDocument parsen soll.
    
    Unterm Strich, die Bot-Betreiber die sich bemühen landen seltener in der .htaccess, die Seiten-Betreiber die sich halbwegs an den Standard halten haben gute Chancen, dass es funktioniert, mehr ist da nicht.
    
    2010-03-11T22:32:09 pq
    kann ich nicht bestätigen, da Googlebot zurst /bat/member crawlte und nach dem Disallow damit aufhörte.
    
    Es ist nicht immer so, wann und warum es passiert kann ich nicht sagen. Ich weiß aber, dass die Leute die meckerten "G beachtet die robots.txt nicht" Erfolg hatten, nachdem sie G namentlich erwähnten.
    
    Gruß
    Kristian
    - +2 replies
    - pq
      
      2010-03-12 15:39
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      2010-03-12T08:08:54 kristian
      Ob ein Bot die robots.txt liest und beachtet ist seine Sache, es gibt ja kein Gesetz diesbezüglich.
      
      hab ich das behauptet?
      
      Quote
      Ob Sachen wie Allow oder Crawl-Delay beachtet werden ist von Bot zu Bot verschieden.
      
      der bot behauptet selber auf seiner homepage, dass er das beachtet. nur darum schrieb ichs ja rein...
      
      Quote
      Ich denke man sollte einem Bot auf jeden Fall auferlegen, die robots.txt zu lesen und nach bestem Wissen zu beachten. Besser man liest zu wenig Urls' als zuviel.
      
      wie meinst du das jetzt wieder? inwiefern soll ich einem bot das "auferlegen"? kann ich irgendeinen bot zwingen? nein.
      
      Quote
      Es ist nicht immer so, wann und warum es passiert kann ich nicht sagen. Ich weiß aber, dass die Leute die meckerten "G beachtet die robots.txt nicht" Erfolg hatten, nachdem sie G namentlich erwähnten.
      
      hier funktionierts wie gewünscht.
      
      wenn du nix mehr an der robots.txt auszusetzen hast, werde ich das zu resolved verschieben.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - kristian
        
        2010-03-12 16:41
        
        User since
        2005-04-14
        684 Artikel
        BenutzerIn
        
        2010-03-12T14:39:48 pq
        Quote
        Ob Sachen wie Allow oder Crawl-Delay beachtet werden ist von Bot zu Bot verschieden.
        
        der bot behauptet selber auf seiner homepage, dass er das beachtet. nur darum schrieb ichs ja rein...
        
        Hmm naja, das ist ev. noch der Wunsch des Betreibers, den die Programmierer noch nicht umgesetzt haben. Vertrauen ist gut Kontrolle besser...
        
        2010-03-12T14:39:48 pq
        Quote
        Ich denke man sollte einem Bot auf jeden Fall auferlegen, die robots.txt zu lesen und nach bestem Wissen zu beachten. Besser man liest zu wenig Urls' als zuviel.
        
        wie meinst du das jetzt wieder? inwiefern soll ich einem bot das "auferlegen"? kann ich irgendeinen bot zwingen? nein.
        
        Sorry. Mein Fehler.
        Ich hätte "seinem Bot" Bot schreiben sollen, das hatte ich nämlich gemeint.
        
        2010-03-12T14:39:48 pq
        wenn du nix mehr an der robots.txt auszusetzen hast, werde ich das zu resolved verschieben.
        
        Die robots.txt ist jetzt IMHO absolut perfekt.
        User-agent: * nach unten macht Sinn, da normale Robots wirklich aufhören, wenn Sie sich selbst gefunden haben und man die nicht mit dem Quatsch "zumüllen" muß. Aber das hattest du ja schon angemerkt.
        
        Schieb's nach resolved.
        
        Danke für deine Zeit.
        
        Gruß
        Kristian
    - pq
      
      2010-03-13 03:05
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      2010-03-12T08:08:54 kristian
      2010-03-11T22:32:09 pq
      kann ich nicht bestätigen, da Googlebot zurst /bat/member crawlte und nach dem Disallow damit aufhörte.
      
      Es ist nicht immer so, wann und warum es passiert kann ich nicht sagen. Ich weiß aber, dass die Leute die meckerten "G beachtet die robots.txt nicht" Erfolg hatten, nachdem sie G namentlich erwähnten.
      
      eventuell war es in diesem Fall nicht der echte Bot? Ich hab hier jedenfalls auch öfter mal Zugriffe von einem Googlebot, aber die IP stammt gar nicht von Google. Und dieser hält sich auch nicht an die robots.txt
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- gelöscht 2010-03-12 08:16
- +3 replies
- GwenDragon
  
  2010-03-12 10:45
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  UserAgent: * ist für die Katz.
  Es gibt genügend Bots, die sie nicht beachten, weil sie selber angesprochen werden wollen.
  Trotzalledem würde ich es an Ende schreiben, für die Bots, die doch brav sind.
  
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - +2 replies
  - kristian
    
    2010-03-12 18:48
    
    User since
    2005-04-14
    684 Artikel
    BenutzerIn
    
    Hallo,
    ich verstehe nicht, warum du den Beitrag bezüglich "Sprerrung böser Bost" gelöscht hast.
    Der Ansatz war IMHO ok, ein paar Kleinigkeiten zu dem Thema hätte ich auch noch rausgehauen.
    Im Zweifelsfalle per PM.
    
    Gruß
    Kristian
    
    EDIT: Fipptehler... Brauch ich ne neue Tastatur oder nen neuen Kopf?
    Last edited: 2010-03-12 18:54:16 +0100 (CET)
    - GwenDragon
      
      2010-03-13 09:13
      
      User since
      2005-01-17
      14533 Artikel
      Admin1
      
      2010-03-12T17:48:11 kristian
      Hallo,
      ich verstehe nicht, warum du den Beitrag bezüglich "Sprerrung böser Bost" gelöscht hast.
      Der Ansatz war IMHO ok, ein paar Kleinigkeiten zu dem Thema hätte ich auch noch rausgehauen.
      Mom. Ist wieder online.
      Siehe Bots, Crawler und Downloader aussperren
      Last edited: 2010-03-13 10:21:00 +0100 (CET)
      die Drachin, Gwendolyn
      
      Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel

View all threads created 2010-03-11 23:11.