LWP::UserAgent -> cookies/javascript required (Allgemeines zu Perl)

firefly

2006-11-03 12:18

User since
2006-11-03
3 Artikel
BenutzerIn
[default_avatar]

Hi,

ich versuche schon seit geraumer zeit expedia.de via LWP auszulesen ... ohne erfolg . Ich habe einen preperierten link der mich auf eine unterseite bringt. Funktioniert im browser aber nicht mit LWP ...

Ich komme erst auf eine seite auf der java verlangt wird ... kein problem durch anhängen von &BCheck=1 gehts weiter, aber nur bis bis dahin wo ich jetzt fest stecke ... hier mein script :

Code: (dl )

my $cookie_jar = HTTP::Cookies->new(
file => "expedia.cok",
        autosave => 1, );
my $browser = LWP::UserAgent->new;
$browser->cookie_jar($cookie_jar);
$browser->timeout(10);
$browser->agent('Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)');
        
my $response = $browser->get('http://www.expedia.de/pub/agent.dll?qscr=dspv&htid=558185&crti=3&date1=03.11.2006&date2=05.11.2006&BCheck=1,1024,768,32&zz=1161709983549');    
 
print $response->content;

Ich weiß nicht wo das problem ist ?!? kann mir jemand helfen =] ?

//Modedit Gwendragon: Titel geändert\n\n

renee

2006-11-03 12:56

User since
2003-08-04
14371 Artikel
ModeratorIn

LWP kann mit JavaScript nicht umgehen. Du musst also alle Requests analysieren und Dir die URL, die letztendlich abgefragt wird, selbst zusammenstellen.

OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/

nepos

2006-11-03 13:50

User since
2005-08-17
1420 Artikel
BenutzerIn

Java != Javascript. Das sind absolut zwei verschiedene Sprachen! Nur am Rande...

renee

2006-11-03 14:10

User since
2003-08-04
14371 Artikel
ModeratorIn

Das ist mir schon klar! Die Sache mit Java hat firefly ja schon gelöst (durch das Anhängen des Parameters). Wenn man sich den Inhalt der Antwort anschaut, sieht man dass ziemlich viel JavaScript enthalten ist. Deswegen meine Anmerkung... :D

OTRS-Erweiterungen (http://feature-addons.de/)
Frankfurt Perlmongers (http://frankfurt.pm/)
--

Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
Perl-Entwicklung: http://perl-services.de/

nepos

2006-11-03 15:57

User since
2005-08-17
1420 Artikel
BenutzerIn

@renee: ich glaube firefly war das ned so ganz klar ;) Drum meine Anmerkung. Das verwechseln leider viele...

firefly

2006-11-08 10:56

User since
2006-11-03
3 Artikel
BenutzerIn
[default_avatar]

Eh leude mir ist schon klar das 90 % der Seite auf java basieren aber das was ich will kann man in Klartext im quelltext lesen ... die seite die ich erreiche fordert zum aktivieren der cookies auf und verweist dann auf einen "weiter link" der eine java funktion auslößt die nichts weiter tut als ein cookie zu schreiben und

Code: (dl )

<script type="text/javascript">
<!--
        var d, u, s;
        d = new Date();
        s = ","+screen.width+","+screen.height+","+screen.colorDepth;
        u = "/pub/agent.dll?qscr=dspv&htid=558185&crti=3&date1=.11.&date2=.11.&zz=1161709983549&&BCheck=1"+s+" 
&zz="+d.getTime();



        function SubmitPage()
        {
        if( window.navigator.cookieEnabled )
        document.cookie = "jscript=1; path=/;";

        window.location.replace(u);
        }
//-->

ganz so hengengeblieben bin ich nicht ... ich hab mir mit Firefox "Live Headers" genau angeschaut wie der GET des browsers ausschaut aber es geht nicht ... ich hab den HEADER 1 zu 1 kopiert das einzige was komisch ist das ich nicht in der lage bin
connection => keep-alive ... geht nicht, denn er hengt trotzdem noch "TX, close" an und ich bin wieder auf der selben seite ... verplant aber trotzdem Danke

späßle gmacht was

pq

2006-11-08 11:28

User since
2003-08-04
12208 Artikel
Admin1

[quote=firefly,08.11.2006, 09:56]Eh leude mir ist schon klar das 90 % der Seite auf java basieren[/quote]
anscheinend ist dir nicht ganz klar, was java ist, und was javascript ist.

Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
lesen: Wiki: