uri bei r e l i n k . u s (rl) (HTML, CSS und Javascript)

[thread]14696[/thread]

uri bei r e l i n k . u s (rl)

Leser: 26

Articles: hide open all | hide show old branches

+14 replies
IceRage

2010-02-19 15:18
User since
2008-09-07
93 Artikel
BenutzerIn
hallo,

ich suche nach einer möglichkeit links beim oben genannten service skriptseitig aufzulösen. ich schreibe den url mit leerzeichen, weil ich nicht möchte, dass hier auf grund dessen suchmaschineneinträge entstehen. sollte das dennoch gewünscht sein, kann ich das selbstverständlich auch rückgängig machen.

wenn ich folgende adresse normal im browser aufrufe: http://www.r/ e l i n k.us/f/504d78064000bf8b7ee14c05027311 , und ich dann auf den entsprechenden link zum download klicke, dann öffnet sich ein fenster (javascript) mit der zugehörigen u p l o a d e d . t o (ul) adresse, und die datei, kann herunter geladen werden.

ich bin nun dabei, dass alles zu automatisieren. das heißt, ich habe eine quelle mit mehreren "relink-containern", und in jedem rl container sind wiederum 1 - mehrere ul links vorhanden. es ist nun zwar möglich, die einzelnen links im rl container per skript aufzurufen, aber ich komme über die $response->base einfach nicht an den ul link heran.

mal im code:
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

my $ua = new LWP::UserAgent; $ua->agent("MudGuard/1.0"); # rl container aufrufen my $req_relink = HTTP::Request->new("GET", http://www.r e l i n k.us/f/504d78064000bf8b7ee14c05027311); my $res_relink = $online_check_ua->request($req_relink); my $site_relink_container = $res_relink->content; # verschlüsselte links für jeden eintrag aus $site_relink_container matchen # sieht dann so aus ... : # http://r e l i n k.us/getfile.php?cid=52ea6cefa709785cab84e64627ac5c&lid=15423925 # cid ist der übergabe parameter, der per javascript an das sich öffnende # fenster übergeben wird, wo dann der eigentliche download von ul steht. # das klappt aber leider nicht per skript. wenn ich also folgendes mache: # rl container aufrufen my $req_relink = HTTP::Request->new("GET", 'http://r e l i n k.us/getfile.php?cid=52ea6cefa709785cab84e64627ac5c&lid=15423925'); my $res_relink = $online_check_ua->request($req_relink); my $site_relink = $res_relink->content; dann steht im content, nicht die seite, die im javascriptfenster angezeigt wird, sondern index.php von r e l i n k ...
ich hoffe ich konnte das problem einigermaßen verständlich schildern. ich bin selbstverständlich gern bereit, noch weitere angaben zu machen, falls das jemand für nötig hält.

vielleicht noch die information, dass ich bei den http headern einen Permanent Redirect HTTP 301 entdeckt habe. könnte es sein, dass solche seiten, dann gar nicht mehr im useragent abrufbar sind?

vielen dank im voraus,
Last edited: 2010-02-19 21:04:33 +0100 (CET)
- +13 replies
- bianca
  
  2010-02-19 15:43
  User since
  2009-09-13
  7016 Artikel
  BenutzerIn
  Hab zwar weder das Problem noch den Heckmeck verstanden aber dieser Schnellhack zieht Dir den Download-Link raus, falls es darum geht:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27
  
  #!/usr/bin/perl -w use strict; use warnings; require LWP::UserAgent; my $ua = LWP::UserAgent->new; $ua->timeout(10); $ua->agent("MudGuard/1.0"); my $response = $ua->get('http://www.r e link.us/f/504d78064000bf8b7ee14c05027311'); if ($response->is_success) { my $content = $response->decoded_content; if ($content =~ /download\.php\?id\=([^"]+)/) { my $link = $1; print "Finde Link: $link\n"; my $response = $ua->get("http://www.r e link.us/download.php?id=$link"); if ($response->is_success) { open (my $fh,'>','testcontainer2.dlc') or die $!; binmode $fh; print $fh $response->decoded_content; } else { die "Download gescheitert: " . $response->status_line; } } } else { die $response->status_line; }
  
  Edit: Erweitert, speicher jetzt auch die Datei ab. Und wenn ich die mit der vergleiche, die ich manuell im Browser downloade sind sie identisch.
  Natürlich die Blanks im Link entfernen.
  
  Hast Du das gesucht?
  Last edited: 2010-02-19 16:02:55 +0100 (CET)
  10 print "Hallo"
  20 goto 10
  - +12 replies
  - IceRage
    
    2010-02-19 21:04
    
    User since
    2008-09-07
    93 Artikel
    BenutzerIn
    
    habe mir schon gedacht, dass es ziemlich unverständlich ist. ich kriegs nicht besser hin mit der erklärung ;-)
    
    trotzdem erstmal vielen dank für die hilfe, wenn es leider auch nicht die lösung für mein problem ist.
    
    ich habe jetzt noch mal ein paar screenshots gemacht, die hoffentlich klarheit bringen.
    
    auf dem folgenden bild ist die seite bei r elink abgebildet, die ich mit dem url (obere grüne umrandung), aufrufe. dann klicke ich den link (untere grüne umrandung), der per javascript eine "popup-seite" öffnet, die im nächsten bild sichtbar ist.
    
    http://bigpichost.com/files/relink_1_ztl3v50b.jpg
    
    http://bigpichost.com/files/relink_2_9515k3pk.jpg
    
    hier ist die seite bei u ploaded. in der adressezeile oben (obere grüne umrandung) steht der link, wie ich ihn benötige, und ich ihn aus eben dieser seite bei u ploaded auch herausbekommen kann.
    
    das problem ist jetzt, dass ich über die links, mit denen ich die relin k.us seiten aufrufe, nicht an die u ploaded seiten rankomme. natürlich habe ich versucht, den link, der über die javascript funktion an das popup geschickt wird, aus der r elink seite herauszufischen, und damit einen get-request gestartet. aber ich bekomme dort nie die u ploaded seite im content zurückgeschickt, sondern immer nur eine von r elink.
    
    ich hoffe jetzt ist es klarer geworden, was ich meine. falls nicht würd ich natürlich versuchen, es noch einmal anders darzustellen. momentan fällt mir aber nichts besseres ein ;-)
    
    Gruß, IceRage
    
    EDIT: So wie ich es sehe, müsste man also quasi dem PoP-Up Fenster folgen können, um den URL des PoP-Up´s herausfinden zu können. Ich weiß nicht ob sowas überhaupt möglich ist. Aber falls möglich sein sollte, weiß ich leider sicher nicht wie. Vielleicht kann mir da jemand helfen. Vielen Dank.
    Last edited: 2010-02-20 12:11:57 +0100 (CET)
    - +11 replies
    - GwenDragon
      
      2010-02-20 12:25
      
      User since
      2005-01-17
      14875 Artikel
      Admin1
      
      Das Problem mit per Javascript erzeugten Inhalten kannst du so nicht lösen, da die mir bekannten Perl-Pakete wie LWP kein Javascript ausführen.
      
      Es ließe sich vielleicht der Firefox mit Perl steuern udn du könntest darüber an die Informationen kommen.
      Da gäbe es dann: WWW-Mechanize-Firefox
      
      Schau es dir doch mal an.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +10 replies
      - IceRage
        
        2010-02-20 15:21
        
        User since
        2008-09-07
        93 Artikel
        BenutzerIn
        
        Ich habe mir schon so etwas gedacht. Was ich dabei nicht ganz verstehe ist, dass ich ja eigentlich auch gar kein javascript ausführen will, sondern das ich genau die adresse aufrufe, die beim klick ohnehin an die javascript funktion übergeben worden wäre.
        
        was ich ziemlich merkwürdig finde, ist, dass die funktion javascript getfile() die offensichtlich für das aufrufen, des pop-ups verantwortlich ist, nirgendwo in der seite defniert worden ist. es wird auch keine zentrale javascript datei reingelinkt. also wenn die javascript funktion weder in der html/php seite definiert ist, und auch keine js datei reingelinkt wird, wo ist dann die funktion defniert? dann muss die funktion ja serverseitig definiert worden sein oder? ist das dann ajax, und gibt es möglicherweise entwas perliges für ajax?
        
        Vielen dank übrigens für den hinweis. ich schaue mir das mechanise package mal an. vielleicht hilft es mir ja weiter. obwohl ich meine schon einmal gelesen zu haben, dass man auf den inhalt von pop-up-fenstern auch auf diese weise nicht zu zurgeifen kann.
        
        ich habe mir überlegt, dass ich evtl. doch einfach den container runterlade, ihn entschlüssele, und dann einfach so an die links herankomme. allerdings müsste ich das mit perl automatisieren, und ich habe keine ahnung ob es für dlc container ein perl framework zum entschlüsseln gibt. ich kenne zwar ein programm, was das kann. aber dann müsste ich das programm von perl aus steuern können. deswegen, und weil so etwas grundsätzlich interessant sein könnte, hätte ich mal die generelle frage, ob man überhaupt programme von perl aus steuern kann. bzw. wie das möglich ist. aber das nur am rande .. wird ja dann auch allmählig offtopic.
        
        nochmal thx, für die hilfe
        
        EDIT: habe eben mal die faq von www::mechanize gelesen: da steht, das javascript nicht unterstützt wird. das könnte dann auch für www::mechanize::firefox gelten? oder ist das etwas gänzlich unterschiedliches?
        Last edited: 2010-02-20 15:30:06 +0100 (CET)
        
        +9 replies
        
        Linuxer
        
        2010-02-20 15:55
        
        User since
        2006-01-27
        3891 Artikel
        HausmeisterIn
        
        WWW::Mechanize und WWW::Mechanize::Firefox sind "gänzlich unterschiedlich".
        
        WWW::Mechanize::Firefox steuert den Firefox über eine definierte Schnittstelle; Firefox sollte - wenn es der User nicht abgeschaltet hat - Javascript können.
        
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +8 replies
        
        IceRage
        
        2010-02-20 16:03
        
        User since
        2008-09-07
        93 Artikel
        BenutzerIn
        
        das freut mich zu hören. frage ist jetzt nur: kommt man denn auch vom skript aus, an den inhalt der popups? denn sonst bringt mir das alles nichts. und da ich mir extra für www::mechanize::firefox ein debian aufsetzen müsste, da es das unter windoofs nicht gibt, wäre es von vorteil, dass schon im voraus zu wissen.
        
        EDIT: oder cygwin müsste auch gehen oder?
        Last edited: 2010-02-20 16:04:49 +0100 (CET)
        
        +2 replies
        
        GwenDragon
        
        2010-02-20 16:47
        
        User since
        2005-01-17
        14875 Artikel
        Admin1
        
        ich weiß ja nicht, was für ein Perl du benutzt, aber für ActiveState 5.8.9 gibt es sehr wohl ein WWW-Mechanize-FireFox.
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
        
        ppm> s firefox Downloading ActiveState Package Repository packlist...done Updating ActiveState Package Repository database...done Downloading uwinnipeg packlist...not modified 1: WWW-Mechanize-FireFox use FireFox as if it were WWW::Mechanize Version: 0.11 Released: 2009-11-26 Author: Max Maischein <corion@cpan.org> Provide: HTML::Display::MozRepl version 0.11 Provide: HTTP::Cookies::MozRepl version 0.11 Provide: WWW::Mechanize::FireFox version 0.11 Require: HTML::Selector::XPath Require: HTTP::Response Require: MIME::Base64 Require: MozRepl::RemoteObject version 0.1 or better Require: URI Require: WWW::Mechanize Require: WWW::Mechanize::Link Require: parent Repo: ActiveState Package Repository CPAN: http://search.cpan.org/dist/WWW-Mechanize-FireFox-0.11/
        
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
        
        IceRage
        
        2010-02-24 07:49
        
        User since
        2008-09-07
        93 Artikel
        BenutzerIn
        
        Ich habe einfach im ppm gesucht, also in dem Fenster, das aufgeht, wenn ich ppm in die konsole eingebe. Da kam für Firefox kein einziger Treffer. Welches Repo müsste ich denn einbinden, wenn ich darauf Zugriff haben will?
        
        +5 replies
        
        Taulmarill
        
        2010-02-24 09:31
        
        User since
        2004-02-19
        1750 Artikel
        BenutzerIn
        
        Für Windows gibt´s mehr als nur ActiveState und Cygwin, schau mal unter http://strawberryperl.com/.
        
        Nun zu deiner Frage: wenn ich mir das so anschaue, dann wird das JS mit Parametern aufgerufen, hier mal der relevante Ausschnitt:
        
        Code: (dl )
        
        <tr bgcolor="#ceffce" id="file-1" onmouseover="changeBackgroundColor(1, 0, 0, 1)" onmouseout="changeBackgroundColor(0, 1, 0, 1)" onclick="getFile('cid=504d78064000bf8b7ee14c05027311&lid=15492355');changeBackgroundColor(0, 0, 1, 1)" style="cursor: pointer;">
        
        Wenn ich jetzt das Popup öffne, sagt mir mein Firebug, dass die URL http://www.r/ e l ink.us/getfile.php mit folgenden Parametern aufgerufen wurde:
        
        Code: (dl )
        
        1 2
        
        cid 504d78064000bf8b7ee14c05027311 lid 15492355
        
        Die kommen mir von oben bekannt vor. Sollte sich mit RegEx aus der Seite extrahieren lassen. Danach musst du nur noch die upload.to-Adresse des iframes raus suchen.
        $_=unpack"B*",~pack"H*",$_ and y&1|0& |#&&print"$_\n"for@.=qw BFA2F7C39139F45F78 0A28104594444504400 0A2F107D54447DE7800 0A2110453444450500 73CF1045138445F4800 0 F3EF2044E3D17DE 8A08A0451412411 F3CF207DF41C79E 820A20451412414 83E93C4513D17D2B
        
        IceRage
        
        2010-02-25 00:10
        
        User since
        2008-09-07
        93 Artikel
        BenutzerIn
        
        Erstmal vielen Dank für die Hilfe.
        
        Aber wie komme ich denn überhaupt an das IFrame ran?
        
        Ich muss dazu sagen, dass ich jetzt strawberry noch nicht ausprobiert habe. Ich brauche ja auch nur www-mechanize-firefox. komme ich über www-mechanize-firefox an das IFrame ran? lid und cid rausparsen ist kein problem. aber wenn ich
        
        Code: (dl )
        
        getfile()
        
        mit den Parametern lid und cid aufrufe (wie bisher mit http::response, http::request), dann bekomme ich das IFrame einfach nicht. Und das geht mit www-mechanize-firefox?
        
        IceRage
        
        2010-03-06 14:56
        
        User since
        2008-09-07
        93 Artikel
        BenutzerIn
        
        Was für einen IFrame meinst du?
        Last edited: 2010-03-06 15:13:02 +0100 (CET)
        
        IceRage
        
        2010-03-06 17:23
        
        User since
        2008-09-07
        93 Artikel
        BenutzerIn
        
        Vielen Dank an alle, ich habe es jetzt mit WWW::Mechanize::FireFox hinbekommen. Wobei ich es ja ein wenig erstaunlich finde, dass man das pm file und den package namen manuell unter windows abändern muss ;-)
        
        IceRage
        
        2010-03-06 23:44
        
        User since
        2008-09-07
        93 Artikel
        BenutzerIn
        
        So jetzt nochmal ich ;-)
        
        Ich musste jetzt doch noch einmal umbauen, und nutze jetzt doch noch ein ganz anderes geniales Modul, wie ich finde, names: WWW::Scripter in Verbindung mit WWW::Scripter::Plugin:JavaScript. Das ist wirklich schon ziemlich genial aufgebaut meine ich. Und jetzt weiß ich auch welches IFrame du meinst ;-). Allerdings kommst du an das IFrame ohne die Funktion getFile() aufzurufen nicht ran. Also mit herkömmlichen Methoden, sprich LWP und dgl. kommt man da nicht weiter. Es muss zwingend die getFile Funktion abgearbeitet werden. Dann erhält man als Response die Seite mit dem IFrame, in der auch der uploaded link steht. Die oben genannten Module konnte ich für ActivePerl allerdings nicht finden. WWW::Scripter gibt es zwar noch, dass andere konnte ich allerdings nicht finden. Strawberryperl habe ich jetzt nicht ausprobiert. Mag sein, dass es dafür erhältlich ist.
        
        Wenn man alles soweit installiert hat, dann kann man mit
        
        Code (perl): (dl )
        
        $www->document->getElementById('elementname')->trigger_event('eventhandler')
        
        jedes Element im Dokument referenzieren, und somit sämtliche Javascript-Events ausführen lassen. ... Finde ich ziemlich cool gemacht. Ein großes Dankeschön an die Entwickler an dieser Stelle. Sollte es mal jemand von euch lesen ;-)
        
        So, dann kann das hier abgeschlossen werden glaube ich. Es sei denn jemand möchte noch etwas dazu sagen.
        
        Gruß, IceRage
        Last edited: 2010-03-06 23:46:48 +0100 (CET)

View all threads created 2010-02-19 15:18.