WWW::Mechanize (::Firefox) Formularergebnis auswerten (Fragen zu Perl-Modulen)

[thread]17934[/thread]

WWW::Mechanize (::Firefox) Formularergebnis auswerten

Tags: perl5 Ähnliche Threads

Leser: 15

Articles: hide open all | hide show old branches

+19 replies
Gast jan_Gast

2012-11-26 14:38
Moin, ich greife mit WWW::Mechanize (oder auch WWW::Mechanize::Firefox) auf eine Internetseite zu, auf der ein Suchformular liegt. Ich kann die entsprechenden Suchfelder auch ausfüllen und das Formular mit click_button absenden. Soweit so gut.

Im HTML-Code der Seite steht:
Code: (dl )

<form ... action="/cgi-bin/bl_suche.pl" method="post" ... target="Ergebnisfenster">...
Das Formular ruft sich dabei nach Absenden (per JavaScript) selber wieder auf, allerdings mit der Ergebnisliste in einem neuen Fenster. Es gibt dann also 2 Fenster: 1. das eigentliche Suchformular und 2. das (gleiche) Suchformular mit einer Ergebnisliste.
Code: (dl )

1 2

MeinFenster = window.open("", "Ergebnisfenster", Fensteroptionen); MeinFenster.focus();
Wie komme ich denn jetzt an die Ergebnisse dran? Mit $mech->content() oder ähnlichem komme ich immer nur an den Inhalt des "aufrufenden Suchformulars" aber nicht an die Ergebnisliste.

Hoffe, es war halbwegs verständlich ;))

Bin für jeden Tip dankbar, Gruß Jan
Last edited: 2012-11-26 14:44:52 +0100 (CET)
- +14 replies
- bianca
  
  2012-11-26 14:47
  
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  
  Hierbei wird das Formular einfach in ein anderes Fenster abgesendet (target). Und die Fenstersteuerung ist bei einer Automatisierung mit Mechanize doch eigentlich unrelvant. Wenn du das alles also einfach weg läßt und nicht beachtest sollte der Request ganz normal funktionieren. Ich verstehe im Moment das Problem nicht.
  Nach dem ersten Request sollte die Response direkt in content stehen.
  10 print "Hallo"
  20 goto 10
  - +13 replies
  - Gast jan_Gast
    
    2012-11-26 15:06
    Moin und danke für die schnelle Anwort.
    
    Mein Problem besteht darin, dass nach
    
    Code: (dl )
    
    1 2 3 4 5 6 7
    
    my $brs = WWW::Mechanize->new( stack_depth => 0); $brs->get($url); $brs->form_name('globe'); $brs->select( 'Registerart' => $regArt); $brs->select( 'Gegenstand' => {n => 2}); $brs->select( 'matchesperpage' => 100); $brs->click_button( name => 'Absenden');
    
    in
    
    Code: (dl )
    
    print $brs->content();
    
    nicht die Ergebnisliste steht, sondern das Suchformular.
    
    Gruß, Jan
    Last edited: 2012-11-26 15:36:38 +0100 (CET)
    - +11 replies
    - bianca
      
      2012-11-26 15:51
      
      User since
      2009-09-13
      6977 Artikel
      BenutzerIn
      
      Guest jan_Gast
      nicht die Ergebnisliste steht, sondern das Suchformular.
      
      Ja, aber mit Sicherheit mit einem zusätzlichen oder anderen Parameter. Und den gibst du gleich beim ersten Request mit. Dann denkt die Suchmaschine, sie wäre schon im neuen Fenster. Schau dir das mal ganz genau an bitte.
      10 print "Hallo"
      20 goto 10
      - +10 replies
      - Gast jan_Gast
        
        2012-11-26 16:40
        
        verstehe ich leider nicht. Du meinst, auf dem Suchformular wäre ein hidden value oder ähnliches, der dann im Ergebnisformular einen anderen Wert hätte? Dort ist kein Wert zu finden. Die beiden HTML-Quelltexte unterscheiden sich lediglich um die Ergebnisliste.
        Last edited: 2012-11-26 16:58:17 +0100 (CET)
        
        +9 replies
        
        bianca
        
        2012-11-26 18:17
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        Guest jan_Gast
        verstehe ich leider nicht. Du meinst, auf dem Suchformular wäre ein hidden value oder ähnliches, der dann im Ergebnisformular einen anderen Wert hätte?
        
        Genau
        
        Guest jan_Gast
        Dort ist kein Wert zu finden. Die beiden HTML-Quelltexte unterscheiden sich lediglich um die Ergebnisliste.
        
        Dann verstehe ich das ganze nicht. Es muss doch im zweiten Fenster wenigstens der Suchbegriff als hidden vorbelegt sein.
        Bitte nochmal diesen Ablauf bestätigen:
        - Suchformular wird ausgefüllt, Fomular in ein neues Fenster abgesendet
        - Im neuen Fenster wird das selbe Suchformular vorausgefüllt mit dem Suchbegriff automatisch abgesendet und danach kommt das Suchergebnis
        Soweit korrekt?
        
        Wenn das so ist finde ich das ein wenig umständlich aber wird schon seinen Grund haben. Dann muss aber im zweiten Formular zumindest das Feld Suchbegriff vorausgefüllt sein, insofern MUSS es sich vom ersten unterscheiden.
        
        Und wenn meine Darstellung zutrifft ist die Frage, woher weiß denn das Serverscript, ob es nun das Suchformular erneut ausgeben oder das Suchergebnis liefern soll?
        
        Und: Wie bist du denn an das zweite Formular ran gekommen? Das wird doch sicherlich so schnell abgesendet, dass man im Browser garnicht schnell genug "Quelltext anzeigen" klicken kann, oder? Von daher bin ich nicht sicher, ob die ganze Struktur schon richtig erkannt wurde (auch meinerseits). Das ist für einen erfolgreichen Nachbau mit Mechanize aber unabdingbar.
        
        Kannst du uns mal ein bisschen Quelltext der Suchmaschine zeigen, damit wir konkreter werden können?
        10 print "Hallo"
        20 goto 10
        
        +8 replies
        
        Gast jan_Gast
        
        2012-11-26 18:29
        
        Moin, bevor ich hier lange Textpassagen aus den Quelltexten poste, anbei der Link zu der "Suchmaschine", die ist frei zugänglich
        
        https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl
        
        Wenn ich dort jetzt auf den "Suche starten" Button klicke, geht besagtes zweites Fenster mit der Ergebnisliste auf.
        
        Problemlos funktioniert die Übergabe bestimmter Formularfelder an www::Mechanize::Firefox bspw und Firefox öffnet dann auch das Ergebnisfenster. Auf das kann ich aber bisher nicht mit Perl zugreifen. Da liegt mein Problem.
        
        Danke und Gruß, Jan
        Last edited: 2012-11-26 18:37:02 +0100 (CET)
        
        +7 replies
        
        bianca
        
        2012-11-26 19:10
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        OK, es ist nicht ganz wie ich vermutet hatte sondern einfacher.
        Es ist nämlich so, dass einfach im neuen Fenster das Suchergebnis zusammen mit dem Suchformular ausgegeben wird.
        
        Vermutung: Das Suchformular hat 18 Felder. In deinem Codeschnipsel sehe ich, dass du nur 3 Selectfelder übergibst. Ich glaube, die Suchmaschine will alle Felder haben, auch wenn sie leer/nicht benutzt sind.
        Das mal versucht? Ist jetzt Schweinearbeit für dich aber einen anderen Grund für das Scheitern sehe ich im Moment nicht.
        <input type="hidden" name="page" value="1"> nicht vergessen.
        10 print "Hallo"
        20 goto 10
        
        +6 replies
        
        Gast jan_Gast
        
        2012-11-26 19:34
        
        Moin,
        
        ich habe jetzt einmal:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34
        
        use WWW::Mechanize; use IO::Socket::SSL; my $url = 'https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl'; my $brs = WWW::Mechanize->new( stack_depth => 0); $brs->get($url); $brs->form_name('globe'); $brs->field( 'Suchfunktion' => "uneingeschr"); $brs->field( 'Absenden' => "Suche starten"); $brs->select( 'Bundesland' => {n => 1}); $brs->select( 'Gericht' => {n => 1}); $brs->field( 'Datum1' => ""); $brs->field( 'Datum2' => ""); $brs->field( 'Name' => ""); $brs->field( 'Sitz' => ""); $brs->field( 'Abteilungsnr' => ""); $brs->select( 'Registerzeichen' => "IN"); $brs->field( 'Lfdnr' => ""); $brs->select( 'Jahreszahl' => {n => 1}); $brs->select( 'Registerart' => {n => 1}); $brs->field( 'select_registergericht' => ""); $brs->select( 'Registergericht' => {n => 1}); $brs->field( 'Registernummer' => ""); $brs->select( 'Gegenstand' => {n => 2}); $brs->select( 'matchesperpage' => 100); $brs->field( 'page' => "1"); $brs->select( 'sortedby' => "Datum"); $brs->click_button( name => 'Absenden'); print $brs->content();
        
        eingefügt. Bei print $brs->content() sind aber die Ergebnisse immer noch nicht enthalten, sondern wie bisher nur das Suchformular.
        
        Und nun?
        Last edited: 2012-11-26 19:36:45 +0100 (CET)
        
        +5 replies
        
        bianca
        
        2012-11-26 20:23
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        Guest jan_Gast
        Und nun?
        
        Das kann auf jeden Fall nicht falsch gewesen sein denn der Browser sendet es ja auch so.
        Nun könnten es noch Begleitinfos wie z.B. der Referer sein, die serverseitig abgefragt werden. Versuche mal bitte $mech->add_header(Referer => 'URL der Suchmaschine') zu verwenden. Darüberhinaus bitte mal mit dem Header für den Browser spielen, damit der Request nicht so ganz anonym ankommt.
        Nach meiner Erfahrung ist das ein bisschen Versuch und Irrtum. Am besten wäre natürlich eine API oder die Unterstützung des Anbieters. Aber das ist hier beides nicht zu erwarten.
        Last edited: 2012-11-26 20:24:55 +0100 (CET)
        10 print "Hallo"
        20 goto 10
        
        +4 replies
        
        Gast jan
        
        2012-11-26 21:22
        
        Hat nichts geholfen.
        
        ich glaube auch nicht, dass es an dem Formular liegt. Das Skript macht ja eigentlich das richtige: Es ruft das Suchformular auf und übergibt bestimmte Suchfelder. Als Ergebnis gibt es dann eine Antwort vom Server mit einer Ergebnisliste in einem neuen Fenster. Exakt genauso verläuft es ja auch, wenn ich manuell mit der Maus im Browser auf den Suchen-Knopf drücke. Dann bekomme ich auch eine Ergebnisliste in einem neuen Fenster.
        
        Ich weiß nur nicht, wie ich mit Perl dann an die Ergebnisliste rankomme.
        
        Jan
        Last edited: 2012-11-26 21:43:45 +0100 (CET)
        
        +3 replies
        
        bianca
        
        2012-11-27 06:37
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        Zeig doch mal den Inhalt von Mech's Content nach dem Request hier.
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        Gast jan_Gast
        
        2012-11-27 09:39
        
        Moin. Der Inhalt von content ist der gesamte Webseiten-Sourcecode und damit etwas zu viel, da dort sehr lange Auswahlfelder zusammengebaut werden. Das sind hunderte Zeilen. Könnte ich machen, würde aber sicherlich den Rahmen hier sprengen.
        
        Ich habe zur weiteren Analyse mal die ganze Aktion mit Firefox-LiveHTTPHeaders mitgeschnitten und siehe da, es wird das gleiche übertragen:
        
        Block 1: Wenn man manuell mit der Maus auf den Button drückt, kommt:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
        
        https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl POST /cgi-bin/bl_suche.pl HTTP/1.1 Host: www.insolvenzbekanntmachungen.de User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20100101 Firefox/16.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3 Accept-Encoding: gzip, deflate Connection: keep-alive Referer: https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl Content-Type: application/x-www-form-urlencoded Content-Length: 383 Suchfunktion=uneingeschr&Absenden=Suche+starten&Bundesland=--+Alle+Bundesl%E4nder+--&Gericht=--+Alle+Insolvenzgerichte+--&Datum1=&Datum2=&Name=&Sitz=&Abteilungsnr=&Registerzeichen=IN&Lfdnr=&Jahreszahl=--&Registerart=--+keine+Angabe+--&select_registergericht=&Registergericht=--+keine+Angabe+--&Registernummer=&Gegenstand=Sicherungsma%DFnahmen&matchesperpage=100&page=1&sortedby=Datum HTTP/1.1 200 OK Date: Tue, 27 Nov 2012 08:27:47 GMT Server: Apache Keep-Alive: timeout=5, max=30 Connection: Keep-Alive Transfer-Encoding: chunked Content-Type: text/html
        
        Block 2: Wenn man das Perl-Programm aufruft, kommt erst die Suchseite in Firefox:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
        
        https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl GET /cgi-bin/bl_suche.pl HTTP/1.1 Host: www.insolvenzbekanntmachungen.de User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20100101 Firefox/16.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3 Accept-Encoding: gzip, deflate Connection: keep-alive HTTP/1.1 200 OK Date: Tue, 27 Nov 2012 08:27:56 GMT Server: Apache Content-Length: 36379 Keep-Alive: timeout=5, max=30 Connection: Keep-Alive Content-Type: text/html
        
        Block 3: und dann wird die 2. Seite mit der Ergebniliste geöffnet.
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
        
        https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl POST /cgi-bin/bl_suche.pl HTTP/1.1 Host: www.insolvenzbekanntmachungen.de User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20100101 Firefox/16.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: de-de,de;q=0.8,en-us;q=0.5,en;q=0.3 Accept-Encoding: gzip, deflate Connection: keep-alive Referer: https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl Content-Type: application/x-www-form-urlencoded Content-Length: 383 Suchfunktion=uneingeschr&Absenden=Suche+starten&Bundesland=--+Alle+Bundesl%E4nder+--&Gericht=--+Alle+Insolvenzgerichte+--&Datum1=&Datum2=&Name=&Sitz=&Abteilungsnr=&Registerzeichen=IN&Lfdnr=&Jahreszahl=--&Registerart=--+keine+Angabe+--&select_registergericht=&Registergericht=--+keine+Angabe+--&Registernummer=&Gegenstand=Sicherungsma%DFnahmen&matchesperpage=100&page=1&sortedby=Datum HTTP/1.1 200 OK Date: Tue, 27 Nov 2012 08:27:59 GMT Server: Apache Keep-Alive: timeout=5, max=29 Connection: Keep-Alive Transfer-Encoding: chunked Content-Type: text/html
        
        Da steht genau das gleiche drin, an dem Aufruf der Seite kann es also eigentlich nicht liegen.
        
        Ich glaube nach wie vor, dass es eine andere Ursache haben muss: Wenn man mit diesen Perl-Modulen eine Anfrage startet, dann wird ja i.d.R. nach Absenden des Formulars die Ergebnisliste zurückgeschickt, und das Suchformular ist weg (oder noch Teil des Ergebnis) - es gibt aber nur eine Seite für den Perl-Agent und damit auch nur ein Ergebnis, das weiter bearbeitet werden kann.
        
        In dem vorliegenden Beispiel verschwindet das Suchformular aber nicht sondern bleibt bestehen und das Ergebnis wird ZUSÄTZLICH angezeigt. Damit gibt es für Perl danach "zwei" Fenster oder Datenströme zum Bearbeiten und ich komme bisher nur an den "aufrufenden" aus dem Suchformular dran. Da liegt glaube ich der Hund begraben - aber ich kann mich auch irren.
        
        Bin Dir (und anderen) für weitere Tips dankbar, Gruß Jan
        Last edited: 2012-11-27 10:02:28 +0100 (CET)
        
        bianca
        
        2012-11-27 10:24
        
        User since
        2009-09-13
        6977 Artikel
        BenutzerIn
        
        Guest jan_Gast
        Bin Dir (und anderen) für weitere Tips dankbar, Gruß Jan
        
        Später habe ich vielleicht ein bisschen mehr Zeit, um genauer drauf zu schauen. Bin mir sicher, dass wir das hinkriegen.
        10 print "Hallo"
        20 goto 10
    - bianca
      
      2012-11-27 18:06
      
      User since
      2009-09-13
      6977 Artikel
      BenutzerIn
      
      Übrigens habe ich nochmal nachgeschaut, wie ich das früher gemacht habe. Und ich habe immer die Methode $ua->submit_form() verwendet. Damit spart man sich das Nachempfinden und belegt einfach über den Hashkey fields=>{} die Felder mit ihren Werten und Mech schickt es automatisch als POST Request ab. Damit hatte ich bisher immer Erfolg.
      Wenn du die Felder und ihre Belegung aus dem GET String rausholst sollte es damit auch klappen. Dies der Theorie folgend, dass Mech mit deiner Methode das Formular nicht richtig ausfüllt.
      
      Das Problem an deiner Methode ist, dass du mit den Kommandos select, click_button usw. quasi wie ein Makro den Benutzer nachempfinden versuchst. Und ohne genau das ganze Javascript auf der Seite studiert zu haben weiß man nicht, ob nicht vielleicht im Browser noch etwas im DOM geändert wird, was Mech nicht nachempfindet. Denn Mech kann von Hause aus kein JS, das steht irgendwo soweit ich mich erinnere.
      Daher einfach mal die submit_form() Methode empfohlen.
      
      Aber im Grunde gibt es keinen Unterschied zur einfachen GET Methode unten aus meinem Beispiel. Du kannst deinen eigenen Werte bei beiden Methode einsetzen und damit die Suchmaschine steuern. Oder worauf kommt es dir explizit an?
      Last edited: 2012-11-27 18:07:58 +0100 (CET)
      10 print "Hallo"
      20 goto 10
- +4 replies
- bianca
  
  2012-11-27 15:06
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  Interessanterweise erhalte ich mit diesem Code die gewünschten Suchergebnisse:
  
  Code (perl): (dl )
  
  1 2 3 4
  
  my $url = 'https://www.insolvenzbekanntmachungen.de/cgi-bin/bl_suche.pl?Suchfunktion=uneingeschr&Absenden=Suche+starten&Bundesland=Nordrhein-Westfalen&Gericht=--+Alle+Insolvenzgerichte+--&Datum1=&Datum2=&Name=&Sitz=&Abteilungsnr=&Registerzeichen=--&Lfdnr=&Jahreszahl=--&Registerart=--+keine+Angabe+--&select_registergericht=&Registergericht=--+keine+Angabe+--&Registernummer=&Gegenstand=--+Alle+Bekanntmachungen+innerhalb+des+Verfahrens+--&matchesperpage=10&page=1&sortedby=Datum'; my $brs = WWW::Mechanize->new( stack_depth => 0); $brs->get($url); print $brs->content();
  
  Also scheint Mech das Formular nicht vollständig auszufüllen. Müsstest du mal debugen. Oder du machts es mit GET wie in meinem Beispiel, vielleicht reicht dir das ja sogar schon.
  10 print "Hallo"
  20 goto 10
  - +3 replies
  - Gast jan_Gast
    
    2012-11-27 16:08
    
    Moin,
    
    ja, scheint mit der direkten Übergabe zu funktionieren. Daran hatte ich noch gar nicht gedacht, da ja genau für solche Fälle die entsprechenden Perl-Module konzipiert worden sind. Trotzdem Super ;)))
    
    Löst zwar nicht das eigentliche Problem und ist ja auch nicht der gewünschte Vorgehensweg, aber egal - das Ergebnis zählt!! Jetzt kann ich mich daran machen, das Ergebnis auszuwerten.
    
    Danke nochmal für die intensive Unterstützung. Gruß, Jan
    Last edited: 2012-11-27 16:28:55 +0100 (CET)
    - bianca
      
      2012-11-27 16:31
      
      User since
      2009-09-13
      6977 Artikel
      BenutzerIn
      
      Guest jan_Gast
      Löst zwar nicht das eigentliche Problem und ist ja auch nicht der gewünschte Vorgehensweg, aber egal - das Ergebnis zählt!! Jetzt kann ich mich daran machen, das Ergebnis auszuwerten.
      
      Wie gesagt: Um den POST Request sauber hinzubekommen musst du debugen, was Mech mit den Feldern macht. Da scheint was nicht sauber zu klappen. Mir erscheinen aber die Inhalte mancher Select Felder äußerst seltsam, wenn ich mir den GET String so anschaue. Da ist bestimmt auch noch das Javascript mit am Werk. Muss man wirklich in die Tiefe gehen.
      10 print "Hallo"
      20 goto 10
    - bianca
      
      2012-11-27 18:09
      
      User since
      2009-09-13
      6977 Artikel
      BenutzerIn
      
      Guest jan_Gast
      Löst zwar nicht das eigentliche Problem und ist ja auch nicht der gewünschte Vorgehensweg
      
      Welches Problem ist denn noch offfen?
      Und welcher Vorgehensweg ist gewünscht?
      Hab oben noch einen Weg über submit_form() erklärt.
      10 print "Hallo"
      20 goto 10

View all threads created 2012-11-26 14:38.