Regex - Suche nach Tags (gelöst) (Allgemeines zu Perl)

[thread]21200[/thread]

Regex - Suche nach Tags [gelöst]

Leser: 10

Articles: hide open all | hide show old branches

+8 replies
YAPD

2021-06-01 18:31
User since
2015-09-20
146 Artikel
BenutzerIn
Hallo liebe Perl Gemeinde,

ich habe mal eine Frage zu Regex. Leider hab ich es mit den Dokumentationen nicht alleine geschafft, daher hoffe ich,
ihr könnt mir helfen. :)

Zum Problem :

Ich habe einen ganz normalen HTML Aufruf, in dem ich die Inhalte über
Code: (dl )

my $response = $browser->get( $url )
aufrufe und über
Code: (dl )

$response -> content
ablege.

Ich möchte nun einzelne Tags heraussortieren, also alles was zwischen
<Tag A> und <Tag B> liegt, wie z.B. <a href> und </a>.

Ich habe in der Doku schon folgendes gefunden :
Code: (dl )

1 2 3 4

while( $html =~ m/<a href=\"(.*?)\"/g ) { print "$1\n"; }
Beste Grüße
YAPD
Last edited: 2021-06-01 18:34:39 +0200 (CEST)
Yet Another Perl Developer
- +7 replies
- hlubenow
  
  2021-06-01 18:44
  
  User since
  2009-02-22
  882 Artikel
  BenutzerIn
  
  Also, soweit ich weiß, funktioniert das Parsen von HTML mit RegEx zwar gelegentlich, soll aber nicht zuverlässig sein.
  Man sollte lieber ein Modul dafür verwenden. HTML::Parser ist das erste, das die Suche mir anzeigt.
  - +6 replies
  - hlubenow
    
    2021-06-01 18:58
    User since
    2009-02-22
    882 Artikel
    BenutzerIn
    
    Code (perl): (dl )
    
    1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
    
    #!/usr/bin/perl use warnings; use strict; use HTML::TokeParser; my $filename = "test.html"; my $p = HTML::TokeParser->new($filename); while (my $token = $p->get_tag("a")) { my $url = $token->[1]{href} || "-"; my $text = $p->get_trimmed_text("/a"); print "$url\t$text\n"; }
    - +5 replies
    - YAPD
      
      2021-06-01 19:10
      
      User since
      2015-09-20
      146 Artikel
      BenutzerIn
      
      Das Beispiel funktioniert leider nicht, da ich keine feste HTML Seite
      habe, sondern das Ergebnis einer Suche, z. B. :
      
      Code: (dl )
      
      "https://www.xxx.com/find?q='Beispiel+Text'&ref_=nv_sr_sm";
      
      Yet Another Perl Developer
      - +4 replies
      - Linuxer
        
        2021-06-01 21:04
        
        User since
        2006-01-27
        3891 Artikel
        HausmeisterIn
        
        Dann speicher das Ergebnis der Suche in einem Skalar und übergebe eine Referenz auf diesen an HTML::TokeParser.
        
        perldoc HTML::TokeParser
        Description
        ...
        
        Code: (dl )
        
        1 2
        
        ... $p = HTML::TokeParser->new( \$document, %opt );
        
        The object constructor argument is either a file name, a file handle object, or the complete document to be parsed. Extra options can be provided as key/value pairs and are processed as documented by the base classes.
        
        If the argument is a plain scalar, then it is taken as the name of a file to be opened and parsed. If the file can't be opened for reading, then the constructor will return undef and $! will tell you why it failed.
        
        If the argument is a reference to a plain scalar, then this scalar is taken to be the literal document to parse. The value of this scalar should not be changed before all tokens have been extracted.
        
        Otherwise the argument is taken to be some object that the HTML::TokeParser can read() from when it needs more data. Typically it will be a filehandle of some kind. The stream will be read() until EOF, but not closed.
        
        Schon versucht?
        
        Doku: HTML::TokeParser
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +3 replies
        
        YAPD
        
        2021-06-01 21:05
        
        User since
        2015-09-20
        146 Artikel
        BenutzerIn
        
        Hi Linuxer,
        
        vielen Dank für deine Antwort. Ich habe jetzt schon einiges ausprobiert,
        aber ich komme einfach nicht zum gewünschten Ergebnis.
        
        Das ist der Beispiel Code :
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
        
        use strict; use warnings; use HTML::TreeBuilder; use Data::Dump qw(dd); use HTML::TokeParser; use LWP 5.64; # Loads all important LWP classes, and makes # sure your version is reasonably recent. my $browser = LWP::UserAgent->new; # Then later, whenever you need to make a get request: my $url = "https://www.imdb.com/find?s=tt&q=Butterfly+Effect&ref_=nv_sr_sm"; my $response = $browser -> get( $url ); my $content = $response -> content_ref; my $p = HTML::TokeParser-> new( $content ); $p -> { textify } -> { img } = "alt"; my %test = %{ $p -> { textify } }; foreach my $t( %test ) { #print $t; } #$p = {img => "alt", applet => "alt"}; while (my $token = $p->get_tag("a")) { my $url2 = $token->[1]{href} || "-"; my $text2 = $p->get_trimmed_text("/tr"); print "$url2\t$text2\n"; }
        
        Wenn ich den o.g. Code ausführe, bekomme ich:
        
        Code: (dl )
        
        /title/tt7059534/ [IMG] Butterfly Effect (2017) (Short)
        
        Das Problem ist, dass der HTML Code für diese Zwecke wohl
        ungünstig geschrieben ist. Auf dem angehängten Bild seht
        ihr, wie der Code aussieht.
        
        Ich habe bereits herausgefunden, dass dies mit dem Schalter
        { Textify } zu tun hat, leider zeigt er mir immer nur "IMG"
        an, anstatt die URL zum Bild.
        
        Beste Grüße
        YAPD
        Anhänge
        
        image/png
        946 x 241
        Snippet.PNG
        
        Last edited: 2021-06-01 21:15:07 +0200 (CEST)
        Yet Another Perl Developer
        
        +2 replies
        
        Linuxer
        
        2021-06-01 21:33
        
        User since
        2006-01-27
        3891 Artikel
        HausmeisterIn
        
        Wenn Du an der "image source" interessiert bist, warum lässt Du Dir dann das "alt"-Attribut ausgeben?
        
        Code: (dl )
        
        $p -> { textify } -> { img } = "alt";
        
        Versuch doch mal:
        
        Code: (dl )
        
        $p -> { textify } -> { img } = "src";
        
        Damit bekomme ich (exemplarisch):
        
        Code: (dl )
        
        1 2
        
        /title/tt8176384/ https://m.media-amazon.com/images/M/MV5BY2NiYzlhNzEtYjJiNy00ZDVlLWJjZjYtMGE2NTgwNDU3Y2VkXkEyXkFqcGdeQXVyODYzNjg5OTc@._V1_UX32_CR0,0,32,44_AL_.jpg /title/tt8176384/ The Butterfly Effect
        
        wo vorher nur
        
        Code: (dl )
        
        1 2
        
        /title/tt8176384/ [IMG] /title/tt8176384/ The Butterfly Effect
        
        kam.
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        YAPD
        
        2021-06-01 21:53
        
        User since
        2015-09-20
        146 Artikel
        BenutzerIn
        
        Hey Linuxer,
        
        oh mein Gott, das ist mir jetzt schon peinlich. Einfach nicht dran
        gedacht, dass <alt> ja immer der alternative Text ist, wenn etwas
        nicht unterstützt wird.
        
        Vielen Dank & Sorry :/
        
        Beste Grüße
        YAPD
        Yet Another Perl Developer

View all threads created 2021-06-01 18:31.