Webseite auslesen nachdem JS geladen ist. (Allgemeines zu Perl)

[thread]18453[/thread]

Webseite auslesen nachdem JS geladen ist.

Tags: perl5 Similar Threads

Readers: 16

Articles: hide open all | hide show old branches

+7 replies
Gustl

2013-07-22 10:22
User since
2011-01-27
443 articles
BenutzerIn
Hallo Zusammen,

ich lese eine Webseite aus:
Code (perl): (dl )

1 2 3

use LWP::Simple; my $content = get("http://site.de"); print $content;
Aber es wird leider nur der Quelltext ausgegeben, ohne das Javascript geladen wurden (JS verändert hier nach beim Aufruf die Seite), was ja klar ist, da dies ja der Browser macht.

Gibt es in Perl eine Möglichkeit den Quellcode einer Webseite aus zu lesen nachdem Javascript auch geladen wurden?

Gruß Gustl
- +4 replies
- Muffi
  
  2013-07-22 11:00
  
  User since
  2012-07-18
  1465 articles
  BenutzerIn
  
  Kling ein bisserl nach Grundverständnisproblem.
  Wer soll denn das JS laden?
  Und wer soll das dann ausführen?
  1 + 1 = 10
  - +3 replies
  - Gustl
    
    2013-07-22 11:08
    
    User since
    2011-01-27
    443 articles
    BenutzerIn
    
    Ich möchte die Seite mit Perl so auslesen wie im Browser nachdem Javascript geladen wurde.
    Weil Javascript die Seite noch verändert, das geht aber mit LWP::Simple nicht.
    - +2 replies
    - Muffi
      
      2013-07-22 11:15
      
      User since
      2012-07-18
      1465 articles
      BenutzerIn
      
      Dazu musst du einen kompletten Browser simulieren. LWP kann nur HTTP.
      
      Module wie das können sowas (angeblich)
      WWW::Mechanize::Firefox
      1 + 1 = 10
      - GwenDragon
        
        2013-07-22 12:33
        
        User since
        2005-01-17
        14816 articles
        Admin1
        
        Nun, das Modul macht aber nur das in Javascript richtig, was Firefox richtig macht. JS-Anpassungen für andere Browser auf der Webseite werden ignoriert.
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +2 replies
- GwenDragon
  
  2013-07-22 12:34
  
  User since
  2005-01-17
  14816 articles
  Admin1
  
  Nun, das Problem ist, Javascript ist nicht auf jedem Browser gleich und so vorhanden!
  Wie soll denn LWP das simulieren können?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - Gustl
    
    2013-07-22 12:42
    User since
    2011-01-27
    443 articles
    BenutzerIn
    
    Genau deswegen fragte ich ja nach Alternativen. :)
    
    Habe mir jetzt WWW::Mechanize::Firefox installiert, aber bekomme es nicht zum laufen.
    
    Code (perl): (dl )
    
    1 2
    
    use WWW::Mechanize::Firefox; my $mech = WWW::Mechanize::Firefox->new( );
    
    Fehlermeldung:
    [msg]Failed to connect to , problem to "localhost", port 4242[/msg]
    
    Er möchte wohl eine Verbindung aufbauen und verbindet sich dann mit default localhost auf port 4242. Aber die Verbidung möchte ich doch erst mit get aufbauen...
    
    Code (perl): (dl )
    
    1 2
    
    use WWW::Mechanize; my $mech = WWW::Mechanize->new( );
    
    Der Code funktioniert, allerdings habe ich das gleiche Ergebnis mit print $mech->content;
    wie mit LWP, also ohne geladenes Javascript.

View all threads created 2013-07-22 10:22.