Quellcode einer Website abziehen (Linux)

[thread]20477[/thread]

Quellcode einer Website abziehen

Tags: apache linux debian perl Quellcode wget cURL website Ähnliche Threads

Leser: 15

Articles: hide open all | hide show old branches

+7 replies
Gast DiesDas

2018-06-21 12:34
Hallo zusammen,

Ich hoffe ich bin hier richtig gelandet.

Ich möchte gerne den Quellcode einer Website abziehen, um diesen auszuwerten.
Nun habe ich versucht mit wget & cURL an den Quellcode zu kommen, aber ich bekomme nie den selben Quellcode, der mir auch im Browser angezeigt wird.

wget
Code: (dl )

system("wget -P $folder -e robots=off $url_download");
cURL
Code: (dl )

system("curl -o $folder/seite1.html $url_download");
Ich vermute der zieht sich immer .php Datei, die wahrscheinlich die html-dateien auf einem CMS-System dynamisch erzeugt.

Gibt es eine andere Möglichkeit an den Quellcode zu kommen, der im Browser ausgegeben wird?

Ich arbeite mit Perl, daher habe ich es mal mit dem Modul "Mechanize" probiert und komme hier zum selben Ergebnis..
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12

my $mech = WWW::Mechanize->new; $mech->get($url); my @lines = split(/\n+/,$mech->content); foreach( @lines ) { print $_ . "\n"; }
Für hilfreiche Kommentare wäre ich sehr dankbar
Last edited: 2018-06-21 12:37:42 +0200 (CEST)
- +6 replies
- GwenDragon
  
  2018-06-21 12:39
  
  User since
  2005-01-17
  14745 Artikel
  Admin1
  
  Welche URL ist das denn?
  Sendest du auch einen User-Agent, der dem Browser entspricht?
  Kann dein Mechanize-Modul Javascript, im Fall von dynamischen Inhalten?
  Last edited: 2018-06-21 12:42:26 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +3 replies
  - Gast DiesDas
    
    2018-06-21 12:53
    
    Die Website darf ich hier leider nicht preisgeben, würde auch wenig bringen, da hier ein spezieller Zugang notwendig ist.
    Daher ist das wohl eher schlecht, das Problem wirklich nachvollziehen zu können..
    
    an meinem user agent sollte das Problem nicht liegen : Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0
    
    manuell funktionierts ja..
    
    2018-06-21T10:39:33 GwenDragon
    Kann dein Mechanize-Modul Javascript, im Fall von dynamischen Inhalten?
    
    Das Modul libwww-mechanize-perl, kann soweit ich weiß kein Javascript, ich kann mich aber auch irren.
    - +2 replies
    - haj
      
      2018-06-21 13:39
      
      User since
      2015-01-07
      551 Artikel
      BenutzerIn
      
      Guest DiesDas
      [...]
      
      2018-06-21T10:39:33 GwenDragon
      Kann dein Mechanize-Modul Javascript, im Fall von dynamischen Inhalten?
      
      Das Modul libwww-mechanize-perl, kann soweit ich weiß kein Javascript, ich kann mich aber auch irren.
      
      WWW::Mechanize kann kein JavaScript (WWW::Mechanize::FAQ).
      Wenn's "wie im Browser" aussehen soll, dann kann man auch beim Browser ansetzen und diesen automatisieren. Dazu helfen WWW::Mechanize::Firefox mit dem MozRepl-Plugin oder Firefox::Marionette für das "neuere" Marionette-Protokoll.
      
      Bei diesem Ansatz gibt es keinen LWP::UserAgent, der hinter den Kulissen die HTTP-Aktionen durchführt, sondern sowohl die Netzzugriffe als auch das Abarbeiten von Javascript werden von Firefox durchgeführt. Mit den Perl-Modulen kann man die Ergebnisse abgreifen und manipulieren.
      - Gast DiesDas
        
        2018-06-21 15:18
        
        Super vielen Dank für den neuen Ansatz, ich werde es mal ausprobieren.
        Last edited: 2018-06-21 15:20:38 +0200 (CEST)
  - +2 replies
  - Gast DiesDas
    
    2018-06-21 13:11
    
    Was halt stört ist das der Link ungefähr so ausschaut :
    https://www.blabla.com/../../index.php?page=123456789
    
    wenn ich diese Seite abziehen möchte, bekomme ich aber nicht den Quellcode der page=123456789 sondern irgendeine html Datei mit lauter JavaScript Funktionen.
    Last edited: 2018-06-21 13:41:51 +0200 (CEST)
    - GwenDragon
      
      2018-06-21 13:43
      
      User since
      2005-01-17
      14745 Artikel
      Admin1
      
      Du siehst, dass die Website nicht ohne Javascript Daten preisegeben will.
      
      Musst du WWW::Mechanize::Chrome oder WWW::Mechanize::Firefox nehmen.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2018-06-21 12:34.