[WWW::Mechanize] Kann Link nicht extrahieren (solved) (Fragen zu Perl-Modulen)

[thread]19295[/thread]

[WWW::Mechanize] Kann Link nicht extrahieren [solved]

Tags: perl5 WWW::Mechanize Similar Threads

Readers: 14

Articles: hide open all | hide show old branches

+9 replies
Ionit

2014-09-20 11:34
User since
2006-05-16
81 articles
BenutzerIn
Hallo Freunde,

ich habe gestern an meinem Spider gecodet und wollte den Linktext einiger Links mit WWW::Mechanize extrahieren.

Leider war mir das nicht möglich da $mech->find_link () bzw. $mech->find_all_links() nicht funktioniert wenn man css-Klassen zum auffinden verwendet.

In der Beschreibung http://search.cpan.org/~ether/WWW-Mechanize-1.73/l... steht, dass man das so schreibt.

$mech->find_link ( class => string )
$mech->find_all_links( class => string )

Wenn meine Klasse nun "testklasse" heißt, schreibt man ...
$mech->find_link ( class => 'testklasse' )
$mech->find_all_links( class => 'testklasse' )

Aber leider findet WWW::Mechanize den Link einfach nicht.

Verwende ich $mech->find_all_links() ohne spezielle Klassenangabe, werden mir alle Links angezeigt.

Ich habe dann einfach mal eine html-Seite - mit einem einzigen Link angelegt.
Testseite

Mein Script lautet dann folgendermaßen
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

#!/usr/bin/perl use warnings; use strict; use WWW::Mechanize; my $mech = WWW::Mechanize->new(); $mech->timeout(30); $mech->agent_alias('Windows Mozilla'); $mech->get('http://www.lirix.de/unbenannt.html'); my $test = $mech->find_link( class => 'testklasse' ); say $test; #ODER for my $test2 ($mech->find_all_links(class => "testklasse")) { say $test2->text; } }
Die Variable ist aber immer leer - es ist nichts zu machen - WWW::Mechanize findet die Links nicht - egal wo ich es versuche [ich habe das bei mehreren URLs getestet].

Habt ihr auch dieses Problem oder mache ich hier etwas falsch?

Danke und Gruß
Matthias

modedit Editiert von GwenDragon: Titel geändert
Last edited: 2014-09-20 13:39:12 +0200 (CEST)
- +8 replies
- GwenDragon
  
  2014-09-20 12:15
  User since
  2005-01-17
  14741 articles
  Admin1
  Auf deiner Testseite ist kein Link mit der Klasse:
  
  Code: (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
  
  <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/xhtml"> <head> <meta http-equiv="content-type" content="text/html;charset=utf-8" /> <title>Unbenannte Seite</title> </head> <body> <div class="testklasse"> <a href="http://www.spiegel.de">Testlink</a></div> </body> </html>
  
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +7 replies
  - Ionit
    
    2014-09-20 12:21
    User since
    2006-05-16
    81 articles
    BenutzerIn
    
    Hallo GwenDragon,
    
    wenn ich mit WWW::Mechanize http-URLs aus Bildern extrahiere, funktioniert das wunderbar.
    
    Code: (dl )
    
    1 2 3
    
    <div class="testklasse"> <a href="http://www.bla.com"><img src="bla.gif" alt="" height="32" width="32" border="0" /></a></p> </div>
    
    Hier gibt mir
    $mech->find_link ( class => 'testklasse' )
    das Linkobjekt aus - aus dem ich z.B. die URL extrahieren kann.
    
    Nur bei den Textlinks funktioniert das nicht.
    
    Da scheine ich wohl auf dem Holzweg zu sein oder?
    - +6 replies
    - Ionit
      
      2014-09-20 12:27
      
      User since
      2006-05-16
      81 articles
      BenutzerIn
      
      Nachtrag: Gebe ich dem Link eine direkte Klasse/ID - funktioniert das auch nicht.
      
      Code: (dl )
      
      <a id="blamuh" name="blamuh" href="http://www.spiegel.de">Testlink</a>
      
      Code: (dl )
      
      1 2
      
      my $test = $mech->find_link( id => 'blamuh' ); say $test;
      
      Ergebnis: Variable ist leer = kein Link gefunden.
      Last edited: 2014-09-20 12:29:21 +0200 (CEST)
      - +5 replies
      - Ionit
        
        2014-09-20 12:45
        
        User since
        2006-05-16
        81 articles
        BenutzerIn
        
        Jetzt klappt das wenn man dem Link eine ID zuordnet [da hatte ich einen Fehler drin].
        
        Da das bei den Images funktionierte - wenn es sich in einem Div befindet - dachte ich, dass das auch bei den Textlinks funktioniert.
        
        Die Struktur sieht so aus:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        <div class="gelb"> <div class="hier"> <a href="#">Text</a> </div> <div class="hier"> <a href="#">Text</a> </div> <div class="hier"> <a href="#">Text</a> </div> <div class="hier"> <a href="#">Text</a> </div> </div>
        
        Dort will ich alle Linktexte der Links im DIV "hier" extrahieren. Das wollte ich mit WWW::Mechanize machen aber ich schaffe es nicht.
        
        Könnte mir da bitte jemand einen Tip geben?
        
        [Grübel]
        Last edited: 2014-09-20 12:48:10 +0200 (CEST)
        
        +4 replies
        
        GwenDragon
        
        2014-09-20 12:53
        
        User since
        2005-01-17
        14741 articles
        Admin1
        
        WWW::Mechanize::Query verwenden.
        da
        
        Code (perl): (dl )
        
        print $mech->at( 'div.testklasse a' )->text;
        
        oder Mojo::DOM.
        
        Code (perl): (dl )
        
        1 2 3
        
        use Mojo::DOM; my $mojo = Mojo::DOM->new( $mech->content); print $mojo->at( 'div.testklasse a' )->text;
        
        Last edited: 2014-09-20 12:57:35 +0200 (CEST)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        +3 replies
        
        Ionit
        
        2014-09-20 13:10
        
        User since
        2006-05-16
        81 articles
        BenutzerIn
        
        Hallo Gwen,
        
        WWW::Mechanize::Query bekomme ich leider nicht über CPAN installiert ( Compilation failed) aber mit Mojo klappt das wunderbar.
        
        Vielen Dank für die Hilfe!
        
        Ich habe das gestern Nacht 3 Stunden lang mit WWW::Mechanize probiert aber einfach nicht hinbekommen. Auch heute habe ich über eine Stunde lang im Nebel herumgestochert .... wegen ein paar Links.
        
        Jetzt klappt es - aber trotzdem bin ich frustriert hoch zehn [und grün vor Ärger]! Wenn das in diesem Tempo weitergeht, benötige ich 5 Jahre für meinen Spider!
        
        Danke für die Unterstützung!
        Last edited: 2014-09-20 13:14:40 +0200 (CEST)
        
        +2 replies
        
        lichtkind
        
        2014-09-21 00:44
        
        User since
        2004-03-22
        5697 articles
        ModeratorIn + EditorIn
        
        ach nur mut,
        wenn erstmal siehst wie hase läuft machts wieder richtig spass. die hasen sind übrigens die bugs und wenn sie mal haken schlagen freut man sich umso mehr wenn man sie dann eiskalt wegschnippst.
        Tutorien in der Wiki, mein zeug:
        kephra, baumhaus, garten, gezwitscher
        
        Es beginnt immer mit einer Entscheidung.
        
        Ionit
        
        2014-09-21 12:04
        
        User since
        2006-05-16
        81 articles
        BenutzerIn
        
        Hallo lichtkind,
        
        danke für die aufmunternden Worte.
        
        Gestern war ich den ganzen Tag in den Pilzen und habe zahlreiche Steinpilze gefunden [und mein Akku, bei dem schönem Wetter, wieder "aufgeladen"].
        
        Jetzt ist alles wieder ok und ich code an meinem Spider weiter [bis das Keyboard glüht :-) ]
        
        Viele Grüße und schönen Sonntag
        Matthias

View all threads created 2014-09-20 11:34.