Ajax Request durchführen und Content extrahieren? (Fragen zu Perl-Modulen)

[thread]20414[/thread]

Ajax Request durchführen und Content extrahieren?

Tags: perl5 Ähnliche Threads

Leser: 16

Articles: hide open all | hide show old branches

+13 replies
Ionit

2018-01-14 10:24

User since
2006-05-16
81 Artikel
BenutzerIn

Hallo Freunde,
mit WWW::Mechanize spidere ich diverse Webseiten um dort mit Mojo-DOM Content zu extrahieren. Das klappt auch sehr gut.

Es gibt nun aber eine Webseite auf der die Bilder per Ajax-Request/Javascript geladen werden, sodass die Bildpfade nicht im ursprünglichen html-Code enthalten sind und ich sie nicht extrahieren kann.

Ich muss vorher einen Ajax-Request/Javascript ausführen, habe damit aber Probleme.

Wenn ich auf der Webseite die Firebug-Konsole verwende, wird mit folgendes Script angezeigt.

POST http://www.domain.de/user.aspx/GetImages (hierüber werden die Images geliefert)

Als curl:
'http://www.domain.de/user.aspx/GetImages' -X POST -H 'Host: www.domain.de' -H 'User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:38.0) Gecko/20100101 Firefox/38.0' -H 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' -H 'Accept-Language: de,en-US;q=0.7,en;q=0.3' -H 'Accept-Encoding: gzip, deflate' -H 'DNT: 1' -H 'X-Requested-With: XMLHttpRequest' -H 'Content-Type: application/json; charset=utf-8' -H 'Referer: http://www.domain.de/user.aspx?Melissa' -H 'Content-Length: 0' -H 'Cookie: _ga=GA1.2.668882856.1512931570; ASP.NET_SessionId=111hb4mfk55azauhztjcr0ca; _gid=GA1.2.1146046056.1515921244; _gat_gtag_UA_110399382_1=1'

Ich habe gelesen, dass man solche Ajax-Request mit z.B. WWW::Scripter ausführen kann, sodass man danach die Bilder extrahieren kann.

Leider sehe ich hier nich durch! Ich verstehe nicht, wie man nun diesen "Script-Pfad" aufruft um dann die Bilder zu bekommen. Auf der entsprechenden Webseite handelt es sich um verschiedenen User-Profile und man müsste doch immer eine "Variable" mitsenden, damit das Script die korrekten Fotos ausliefert.

Ich habe leider keinen blassen Schimmer wie man das macht.

Könnte mir von Euch vielliecht jemand einen Tip geben, gerne auch ein anderes Modul empfehlen womit man solche Ajax-Requests durchführen kann?

Wer hat da Erfahrung und könnte helfen?

Danke schonmal im Voraus!
Gruß Matthias
Last edited: 2018-01-14 11:25:54 +0100 (CET)
- +12 replies
- rosti
  
  2018-01-14 10:55
  
  User since
  2011-03-19
  3752 Artikel
  BenutzerIn
  
  Ein HTTP Request beinhaltet, egal ob von Ajax oder einem anderen UserAgent gefeuert:
  
  - Header,
  - ggf. Message Body,
  - Parameter.
  
  Nimm die Entwicklertools des Browsers und guck Dir die Requests an die da zu einer Seite rausgehen. Ganz genauso kannst Du jeden einzelnen Request mit jedem beliebigen UserAgent nachbauen. MfG
  https://www.rolfrost.de/
  
  Forum zu Fragen unserer Zeit
  - +11 replies
  - Ionit
    
    2018-01-14 11:17
    
    User since
    2006-05-16
    81 Artikel
    BenutzerIn
    
    Hallo rosti,
    
    kann man die Requests, die rausgehen, denn mit Firebug-Konsole sehen? Wo finde ich denn das?
    
    Meinst Du so etwas hier?
    
    Anfrage-Header:
    Accept text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
    Accept-Encoding gzip, deflate
    Accept-Language de,en-US;q=0.7,en;q=0.3
    Cache-Control no-cache
    Connection keep-alive
    Content-Length 0
    Content-Type application/json; charset=utf-8
    Cookie _ga=GA1.2.668882856.1512931570;
    Host www.domain.de
    Pragma no-cache
    Referer http://www.domain.de/user.aspx?Melissa
    User-Agent Mozilla/5.0 (Windows NT 5.1; rv:38.0) Gecko/20100101 Firefox/38.0
    X-Requested-With XMLHttpRequest
    
    Und was mache ich damit jetzt und mit welchen Modul? Ganz normal mit WWW::Mechanize oder brauche ich dazu auch WWW::Scripter?
    
    Dem Script muss doch auch ein "Paramter" mitgeliefert werden, damit es weiß, welche Fotos zurückgegeben werden sollen. Ist dieser Parameter der "Referer"? Etwas anderes finde ich hier nicht.
    
    Ich stehe leider gewaltig auf dem Schlauch, da ich mich mit Ajax-Requests nicht auskenne.
    Last edited: 2018-01-14 11:25:23 +0100 (CET)
    - +9 replies
    - rosti
      
      2018-01-14 11:45
      
      User since
      2011-03-19
      3752 Artikel
      BenutzerIn
      
      Ja, die Konsole. Taste F12 und klick Dich da mal durch. Und mit LWP::UserAgent dann den Request nachbauen.
      
      Viel Erfolg!
      https://www.rolfrost.de/
      
      Forum zu Fragen unserer Zeit
      - +8 replies
      - Ionit
        
        2018-01-14 12:08
        
        User since
        2006-05-16
        81 Artikel
        BenutzerIn
        
        Tja, ich habe das jetzt gemacht, bekomme aber nur den html-code der Ursprungseite aber nicht die Imagepfade.
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10
        
        use WWW::Mechanize; use feature 'say'; my $url = 'http://www.domain.de/user.aspx/GetImages'; my $mech = WWW::Mechanize->new(); $mech->timeout(30); $mech->agent_alias('Windows Mozilla'); $mech->add_header( Referer => 'http://www.domain.de/user.aspx?Melissa' ); $mech->post($url);
        
        Da muss man doch irgendeinen Paramater mitschicken, ich finden nur keinen in der Konsole.
        
        Bin mit meinem Latein am Ende!
        
        +5 replies
        
        Gast qwe
        
        2018-01-14 14:31
        
        -H 'Content-Type: application/json; charset=utf-8'
        das deutet an dass beim request JSON als content mitgesendet wird Ich würde vermuten das da drin steht welche Bilder zurückgeliefert werden sollen.
        Last edited: 2018-01-14 16:06:06 +0100 (CET)
        
        +4 replies
        
        Ionit
        
        2018-01-14 16:41
        
        User since
        2006-05-16
        81 Artikel
        BenutzerIn
        
        Im Anfrage-Request finde ich aber leider nichts anderes.
        
        Als Antwort kommt dann JSON (über Firebug rauskopiert).
        
        Quote
        [Object { __type="AjaxControlToolkit.Slide", ImagePath="/user/Melissa_Melissa1.png", Name="Melissa_Melissa1", mehr...}, Object { __type="AjaxControlToolkit.Slide", ImagePath="/user/Melissa_Melissa2.png", Name="Melissa_Melissa2", mehr...}, Object { __type="AjaxControlToolkit.Slide", ImagePath="/user/Melissa_Melissa3.png", Name="Melissa_Melissa3", mehr...}, 2 mehr...]
        
        Wie man aber den Anfragerequest steuert, damit die Bilder überhaupt ausgeliefert werden, verstehe ich nicht.
        Last edited: 2018-01-14 16:44:38 +0100 (CET)
        
        +3 replies
        
        renee
        
        2018-01-15 10:06
        
        User since
        2003-08-04
        14371 Artikel
        ModeratorIn
        
        Überträgst Du auch den Cookie?
        OTRS-Erweiterungen (http://feature-addons.de/)
        Frankfurt Perlmongers (http://frankfurt.pm/)
        --
        
        Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
        Perl-Entwicklung: http://perl-services.de/
        
        +2 replies
        
        Ionit
        
        2018-01-16 20:03
        
        User since
        2006-05-16
        81 Artikel
        BenutzerIn
        
        Wenn www::mechanize das nicht automatisch macht, nein.
        
        Dass man einen Cookie übertragen muss, brauchte ich bisher nicht beim extrahieren von Content.
        
        bianca
        
        2018-01-16 21:54
        
        User since
        2009-09-13
        7016 Artikel
        BenutzerIn
        
        2018-01-16T19:03:09 Ionit
        Wenn www::mechanize das nicht automatisch macht, nein.
        
        Aus der Doku WWW::Mechanize unter Features include steht:
        Quote
        Automatic cookies
        
        10 print "Hallo"
        20 goto 10
        
        +2 replies
        
        rosti
        
        2018-01-15 11:04
        
        User since
        2011-03-19
        3752 Artikel
        BenutzerIn
        
        Quote
        Bin mit meinem Latein am Ende!
        
        Dann verrate uns doch endlich mal den URL zu der Seite wo die Bilder eingebunden sind. Also nicht den URL zur Ressource welche die Bilder ausliefert, da können wir nämlich noch lange raten, sondern den URL zu einer Seite auf welcher die Bilder zu sehen sind. MfG
        https://www.rolfrost.de/
        
        Forum zu Fragen unserer Zeit
        
        Ionit
        
        2018-01-16 20:03
        
        User since
        2006-05-16
        81 Artikel
        BenutzerIn
        
        Ich habe Dir eine Message geschickt!
    - Muffi
      
      2018-01-15 13:36
      
      User since
      2012-07-18
      1465 Artikel
      BenutzerIn
      
      Nein, das ist der Header. Es muss noch sowas wie "Parameter" geben.
      1 + 1 = 10

View all threads created 2018-01-14 10:24.