Hi Leute,

Ich habe hier ein Programm, mit dem ich die Texte auf Webseiten analysieren möchte. Dazu verwende ich HTML::TreeBuilder, was auch ganz gut funktioniert, solange man bestimmte Tags oder Attribute sucht.

Jetzt brauche ich aber einen speziellen Filter, der allen tatsächlichen "Text" (nicht den Text in Links, Buttons, Menüs, etc, sondern reinen Text) herausfiltert. Dabei soll es egal sein, ob er groß, klein, fett, kursiv, eingerückt, als Überschrift oder sonstwie eingebettet ist.

Wenn ich das mit TreeBuilder mache, müsste ich nacheinander jeden Tag auf Kids und jedes Kid auf Text untersuchen. Und dann stellt euch mal solch einen HTML-Code vor oder ähnliches vor:



ich müsste außerdem eine Liste aller Tags verwalten, die potentiell Text enthalten könnten. Nein danke, ich brauch was besseres.

Gruß, Aaron.

Schonmal HTML::Parser mit der Funktion ignore_elements oder ignore_tags getestet?

HTML::Parser ist ne schöne Sache, aber mein Filter muss einen Array zurückgeben können, ein geparster String nützt mir nix.

Die Filter-Sub befüllt einen Array mit dem Text, der durch den Filter kam, diesen Array muss ich in der Haupt-Routine irgendwie weiterverwenden und er muss in der Haupt-Routine privat (my) sein. Die einzige Möglichkeit ist deswegen meiner Meinung nach ein Rückgabewert, der in den privaten Array gefüllt wird.

Noch ne Idee?

Also wenn das Ergebnis der Parse Aktion in einer Datei gespeichert wird, kann Tie::File evtl. einen Blick wert sein...
Oder warum nicht gleich der Data::Dumper ? Data::Dumper

Umlaute, Leerzeichen ( ) usw. musst du dann noch gesondert umwandeln.

@Froschpopo: Und wie filterst Du damit die Texte von Links und Menüs raus?

@Nordlicht: Und warum sollte man mit HTML::Parser nicht ein Array befüllen können? Poste doch mal etwas HTML und das was Du als Ergebnis haben willst. Im Moment würde alles in reiner Spekulation enden...

[quote=Froschpopo,10.05.2007, 23:48] [/quote]
Oh Frosch. Das Regex parst eben nicht korrekt bei HTML.
Anfängerfehler. Deswegen soll eine ja einen richtigen Parser verwenden.
Lies mal perlfaq9.pod
http://wiki.perl-community.de/bin....95;stri\n\n

<!--EDIT|GwenDragon|1178870486-->

@Nordlicht
Wäre HTML::FormatText was für dich?

[quote=GwenDragon,11.05.2007, 09:54][quote=Froschpopo,10.05.2007, 23:48] [/quote]
Oh Frosch. Das Regex parst eben nicht korrekt bei HTML.
Anfängerfehler. Deswegen soll eine ja einen richtigen Parser verwenden.
Lies mal perlfaq9.pod
http://wiki.perl-community.de/bin....95;stri[/quote]
Warum nicht? was gibts denn noch außer Tags und Sonderzeichen?

Vielleicht wären noch Angaben in value=""-attributen von Interesse aber sonst... ?\n\n

<!--EDIT|Froschpopo|1178871574-->