URL aus HTML extrahieren (Allgemeines zu Perl)

[thread]19217[/thread]

URL aus HTML extrahieren

Tags: perl5 Similar Threads

Readers: 14

Articles: hide open all | hide show old branches

+10 replies
guest Salway

2014-08-01 15:54
Guten Tag,

ich in derzeit am schreiben eines kleines Perl scripts das mir bei der suche nach einer bestimmten JPG auf einer Website helfen soll.

Das laden der Website funktioniert mit dem Modul LWP sehr gut. Leider ist das suche nach einem bestimmten Bild schwieriger.

Das Problem ist das die Website viele unterschiedliche Bilder hat. Die so aussehen können.
Code: (dl )

1 2 3 4 5 6 7

http://site/images/I/61cbCGzH1hL._SL1001_.jpg http://site/images/I/710TxT7aX0L._SY355_.jpg http://site/images/I/61cbCGzH1hL._SL1001_.jpg http://site/images/I/61WBOyRAhNL._SL1001_.jpg http://site/images/I/41c3CszH1hL._SL1001_.jpg http://site/images/I/61E9RFObPiL._SX522_.jpg http://site/images/I/71cbCszH1hL._SL1001_.jpg
Ich bin auf der suche nach dem ERSTEN Bild auf der webseite das die Endung 1001_.jpg hat.

Ich habe bereits das Modul URI::Find ausprobiert mit dem ich alle Bilder mit der Endung 1001_.jpg extrahieren konnte, allerdings mischt mir das Modul die Bilder alle durch so das die Reihenfolge in der die Bilder auf der Website vorkommen nicht mehr stimmt.

Ich bin mir sicher für das Problem gibt es eine Lösung allerdings kenne ich die Lösung nicht.

Kann mir jemand dabei helfen?
Last edited: 2014-08-01 17:21:19 +0200 (CEST)
- GwenDragon
  
  2014-08-01 17:25
  
  User since
  2005-01-17
  14892 articles
  Admin1
  
  Könnet so gehen: mit HTML::Tree durchs HTML scannen, dann beim HTML-Element img das Attribut src in ein Array pushen.
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +5 replies
- Linuxer
  
  2014-08-01 17:29
  
  User since
  2006-01-27
  3891 articles
  HausmeisterIn
  
  Guest Salway
  Guten Tag,
  Ich habe bereits das Modul URI::Find ausprobiert mit dem ich alle Bilder mit der Endung 1001_.jpg extrahieren konnte, allerdings mischt mir das Modul die Bilder alle durch so das die Reihenfolge in der die Bilder auf der Website vorkommen nicht mehr stimmt.
  
  Hi, das kann ich so nicht nachvollziehen oder bestätigen.
  Bei meinem (kurzen und schnellen) Test stimmt die Reihenfolge der gefundenen Links mit der Reihenfolge der Links im Text überein.
  
  Zeige doch bitte mal Deinen Versuch mit URI::Find.
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +4 replies
  - guest Salway
    
    2014-08-01 19:31
    Quote
    Hi, das kann ich so nicht nachvollziehen oder bestätigen.
    Bei meinem (kurzen und schnellen) Test stimmt die Reihenfolge der gefundenen Links mit der Reihenfolge der Links im Text überein.
    
    Zeige doch bitte mal Deinen Versuch mit CPAN:URI::Find.
    
    Also es geht bei meinem Versuch hauptsächlich darum das Titel Bild eines Amazon Produktes herunterzuladen mithilfe von Perl. Ich weis das es für Amazon eine Api gibt. Mit der Arbeite ich auch bereits allerdings gibt die Api nur sehr kleine Produkt Bilder preis, aus diesem grund würde ich gerne das Produkt Bild ohne die Api runterladen damit ich auch das größte Bild mit der besten Qualität bekomme. Als kleines Beispiel mal ein Bild eines Produktes das ich mit der Api geladen habe:
    http://ecx.images-amazon.com/images/I/51fWvmgiZXL.jpg
    
    Und hier das Bild das ich gerne hätte von dem Produkt:
    http://ecx.images-amazon.com/images/I/61sFRt7Sw-L._SL1500_.jpg
    
    Mein Versuch mit URI::Find funktioniert bei diesem Beispiel auch. Das Titelbild des Produktes wird an erster Position angezeigt, wie erwartet.
    
    Probiere ich das ganze aber mit diesem Produkt http://www.amazon.com/gp/product/B00CMTF8XQ
    wird schon ein anderes Bild an erster stelle ausgegeben als das erwartete Titelbild.
    
    Mein URI::Find Versuch sieht so aus:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
    
    #!/usr/bin/perl use strict; use warnings; use URI::Find; use LWP::Simple; my $url = 'http://www.amazon.com/gp/product/B00CMTF8XQ'; my $html = get $url; # Container fuer URIs my %uris = (); my $finder = URI::Find->new( \&callback ); my $found = $finder->find( \$html ); # URIs absteigend sortiert ausgeben my @uris = reverse sort keys %uris; my @match = grep ( /1500_.jpg$/ ,@uris ); foreach my $uri (@match) { print "$uri\n"; } exit(); sub callback { my ( $uri_url, $uri ) = @_; # $uri_url ist ein Objekt der Klasse URI::URL # Doppelte URIs entfernen $uris{$uri}++; # Der Ruckgabewert ersetzt die URI in \$html return "--- Ersetzt durch XXXXX ---"; }
    
    Ich bin mir nicht sicher ob für diese aufgabe URI:Find noch ausreicht.
    
    modedit Editiert von GwenDragon: URLs in Code-Tags
    Last edited: 2014-08-02 09:52:01 +0200 (CEST)
    - +3 replies
    - Linuxer
      
      2014-08-01 21:49
      
      User since
      2006-01-27
      3891 articles
      HausmeisterIn
      
      1. Du legst die gefundenen URLs in einem Hash als Schlüssel ab. Ein Hash ist unsortiert, die Schlüssel kommen da in einer beliebigen Reihenfolge wieder raus; nicht unbedingt in der, in der sie in den Hash gekommen sind.
      
      2. Du sortierst die URLs selber; wie soll da denn die originale Reihenfolge beibehalten werden können?
      
      Was kann URI::Find also dafür, dass Du die gefundenen URLs in einen unsortierten Hash ablegst und anschließend die Treffer selber noch umsortierst?
      
      Lege die gefundenen URLs in einen Array; und nur, wenn sie nicht schon hereingelegt wurden.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
      
      #!/usr/bin/perl use strict; use warnings; use feature qw( say ); use List::Util qw( first ); use URI::Find; use LWP::Simple; # Container fuer URIs my @urls; # Sub Routines ###################################### { my %seen; sub callback { # $uri_url ist ein Objekt der Klasse URI::URL my ( $uri_url, $uri ) = @_; # URIs nur einmal hinzufügen push @urls, $uri if !$seen{$uri}++; } sub reset_seen { %seen = (); } } # Main Program ###################################### # http://www.amazon.com/gp/product/B00CMTF8XQ my $url = shift @ARGV; die "No URL specified on command line.\n" unless defined $url && length $url; my $html = get $url; my $finder = URI::Find->new( \&callback ); my $found = $finder->find( \$html ); # gebe erste gefundene URL aus say first { /1500_.jpg$/ } @urls;
      
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
      - +2 replies
      - guest Salway
        
        2014-08-02 00:39
        
        Wow ich bin beeindruckt. Vielen Dank für deine Hilfe, ich probiere den Code noch nachzuvollziehen aber du hast mir echt mein Tag gerettet ich war schon am verzweifeln.
        
        Vielen Vielen Dank.
        Last edited: 2014-08-02 00:41:04 +0200 (CEST)
        
        Linuxer
        
        2014-08-02 00:41
        
        User since
        2006-01-27
        3891 articles
        HausmeisterIn
        
        Wenn Du Fragen hast, melde Dich und stell sie ;-)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- +2 replies
- GwenDragon
  
  2014-08-01 19:15
  
  User since
  2005-01-17
  14892 articles
  Admin1
  
  Guest Salway
  Ich bin auf der suche nach dem ERSTEN Bild auf der webseite das die Endung 1001_.jpg hat.
  Du meinst das erste Vorkommen im HTML-Quelltext, oder?
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - guest Salway
    
    2014-08-01 19:34
    
    Quote
    Du meinst das erste Vorkommen im HTML-Quelltext, oder?
    
    Ja, dass ist richtig. Das die erste URL die im HTML-Quelltext vorkommt mit der Endung 1001_.jpg .
    
    Also tatsächlich die URL weil das Bild nicht in einem <img> tag steht
    Last edited: 2014-08-01 20:55:57 +0200 (CEST)
- GwenDragon
  
  2014-08-02 15:49
  User since
  2005-01-17
  14892 articles
  Admin1
  URI::Find findet doch das erste Vorkommen.
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
  
  use URI::Find; my $search = '1001_.jpg'; my $found; my $finder = URI::Find->new( sub { my $uri = shift; return if $found; say $uri if ($uri =~ m/\Q$search\E$/ && ++$found); } ); local $/ = undef; my $line = <DATA>; $finder->find(\$line); __DATA__ http://site/images/I/61cbCGzH1hL1._SL1001_.jpg http://site/images/I/710TxT7aX0L._SY355_.jpg http://site/images/I/61cbCGzH1hL2._SL1001_.jpg http://site/images/I/61WBOyRAhNL3._SL1001_.jpg http://site/images/I/41c3CszH1hL4._SL1001_.jpg http://site/images/I/61E9RFObPiL._SX522_.jpg http://site/images/I/71cbCszH1hL5._SL1001_.jpg
  
  ergibt
  http://site/images/I/61cbCGzH1hL1._SL1001_.jpg
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2014-08-01 15:54.