Anfänger: RegEx-Templates / Handler? (Perl/CGI)

[thread]19260[/thread]

Anfänger: RegEx-Templates / Handler?

Tags: perl5 CGI Ähnliche Threads

Leser: 11

Articles: hide open all | hide show old branches

+9 replies
Ionit

2014-09-05 16:24

User since
2006-05-16
81 Artikel
BenutzerIn

Sehr geehrte Perl-Community,
ich bin blutiger Anfänger was Perl/Programmierung anbelangt und möchte, zum besseren Verständnis, gerne eine Frage stellen.

Wenn man mit einem Perl-Spider diverse vordefinierte URLs aufruft um den dortigen Content extrahieren zu können (Alter, Haarfarbe, Figur, Beschreibung etc.) - die Anordnung des Contents aber von URL zu URL unterschiedlich ist, muss man dann für jede dieser URLs ein eigenes „RegEx-Template“ erstellen, das geladen wird wenn man eine bestimmte URL aufruft, um den Content extrahieren zu können?

Auf URL_1 befinden sich die Daten z.B. in benannten Div-Containern – auf URL_2 befindet sich der Content aber in Listen <li> – auf URL_3 gibt es weder Listen sondern Tabellen etc. – sprich die Webseiten, die die Daten enthalten, sind völlig unterschiedlich.

Wie verarbeitet man nun diesen Content? Gibt es in Perl überhaupt die Möglichkeit „RegEx-Templates“ anzulegen oder macht man das über Handler?

Wenn es z.B. 300 URLs gibt (die immer unterschiedlich im Aufbau sind) muss man dann auch 300 „RegEx-Templates“ anlegen?

Ich hoffe, meine Erklärungsversuche sind halbwegs verständlich … sorry wenn das etwas eigenartig klingt aber ich bin, wie oben erwähnt, absoluter Anfänger – daher entschuligt bitte meine unbeholfene Ausdrucksweise.

Danke schon mal im Voraus.

Matthias
- +2 replies
- Raubtier
  
  2014-09-05 16:48
  User since
  2012-05-04
  1054 Artikel
  BenutzerIn
  Naja, wenn du jeweils die Infos aus unterschiedlichen Stellen holen musst, dann wirst du um eine Spezialbehandlung wohl nicht herumkommen.
  
  Allerdings ist selbst html mit bekannter Struktur mit REs schlecht/schwierig zu parsen, wieso also RegEx-Templates?
  
  Wenn es Webseiten sind, kann man die z.B. mit Mojo::DOM recht einfach parsen, wenn man weiß, wo man die Infos herbekommen möchte.
  
  Beispiel:
  
  Code (perl): (dl )
  
  1 2 3 4
  
  use Mojo::DOM; use LWP::Simple; my $dom=Mojo::DOM->new(get("http://www.perl-community.de/bat/poard/thread/19260")); $dom->find("div.author_info small")->each(sub { say $_->text });
  
  Also vielleicht eine kleine sub für jede Art von URL?
  - Ionit
    
    2014-09-05 16:57
    
    User since
    2006-05-16
    81 Artikel
    BenutzerIn
    
    @Raubtier
    
    Danke für den Hinweis zu "Mojo::DOM". Ich weis zwar, ehrlich gesagt, nicht ansatzweise was das ist bzw. was das kann aber ich schaue mir das mal an bzw. lese mich ein.
- +3 replies
- GwenDragon
  
  2014-09-05 16:48
  
  User since
  2005-01-17
  14531 Artikel
  Admin1
  
  So wie du das schilderst, musst du für jede URL einen Regex für den Inhalt erstellen.
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - +2 replies
  - Ionit
    
    2014-09-05 16:54
    
    User since
    2006-05-16
    81 Artikel
    BenutzerIn
    
    Danke für die Antworte!
    
    Wenn ich für jede URL einen eigene Regex schreibe, wie lade ich diese Regex dann rein? Gibt es in Perl die Möglichkeit solche Regex (das werden dann ja 300 Stück sein) auszulagern und bei Bedarf als Modul/Plugin/Function zu laden?
    
    Wie würdet ihr das machen wenn ihr solch ein Problem lösen wolltet?
    Last edited: 2014-09-05 16:56:50 +0200 (CEST)
    - GwenDragon
      
      2014-09-05 17:07
      
      User since
      2005-01-17
      14531 Artikel
      Admin1
      
      Wen es nicht gerade zigtausende sind: Tabseparierte Textdateien.
      
      Code: (dl )
      
      1 2 3
      
      #URL Regex http://test.example.org/ \d+TEST http://test.example.org/oxbow.html Ochsentour
      
      Oder eine kleine Datenbank wie mit DBD::SQLite
      URLs in eine Tabelle
      Regexe in eine weitere Tabelle
      Verbindung von URL zu Regex in eine dritte Tabelle
      
      Code: (dl )
      
      1 2 3 4 5 6
      
      URL_ID | URL -------+--------------------------- 1 | http://test.example.org/ 2 | http://test.example.org/oxbow.html 3 | http://test.example.org/foobar 4 | http://test.example.org/mooh.html
      
      Code: (dl )
      
      1 2 3 4 5
      
      REGEX_ID | REGEX ---------+--------------------------- 1 | \d+TEST 2 | Ochsentour 3 | Maximum
      
      Code: (dl )
      
      1 2 3 4 5 6
      
      URLID | REGEXID -------+-------------- 1 | 2 2 | 1 3 | 2 4 | 3
      
      //EDIT:
      Was du schon über SQL und Tabellen weißt, muss du uns verraten, wenn du sowas nutzen möchtest. Wir können dir da weiter helfen beim Programmieren.
      Last edited: 2014-09-05 17:40:33 +0200 (CEST)
      die Drachin, Gwendolyn
      
      Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
- +2 replies
- clms
  
  2014-09-05 17:09
  
  User since
  2010-08-29
  373 Artikel
  BenutzerIn
  
  Die exakte Aufgabenstellung ist mir noch nicht in allen Einzelheiten klar.
  Ich nehme an, es sollt nicht die URL selbst sondern die HTML-Datei, auf die die URL verweist, nach den gewünschten Eigenschaften durchsucht werden.
  
  Sind die gewünschten Informationen überhaupt (lokal) so eindeutig markiert, dass man sie mit einer Regex sinnvoll extrahieren kann? (Beispiel: "<li>Alter: 64></li>" könnte mann mit qr(\<li[^>]*>\s*Alter:\s*(\d+)\s*\</li) bekommen.)
  Oder wäre es sinnvoller das HTML zu parsen und dann den HTML-Tree zu durchsuchen? (Weil z.B. "Alter" und "64" in zwei Zellen einer Tabelle stehen, oder die "64" immer im 3. <LI> und die Hausnummer im 7. <li>)
  
  Ich habe keine Ahnung, was Du mit Regex-Templates meinst...
  
  Ich habe vor ca. 15 Jahren mal etwas - vermutlich - ähnliches programmiert:
  Eine lange Liste mit URLs von Kinoprogrammen sollte darauf überprüft werden, ob sie noch regelmäßig aktualisiert werden. Da hatte ich dann einen Set von Regex und einen Hash, der mir zu jeder URL die Liste mit Regex lieferte, die überprüft werden sollten.
  Dabei wurden viele Regex von verschiedenen URLs genutzt. Teilweise, weil die Kinoprogramme mit dem selben Template erstellt wurden, teilweise, weil es relativ kleine Einheiten (wie das aktuelle Datum oder eine Uhrzeit) waren, die in ganz unterschiedlichen HTML-Seiten auftauchten.
  - Ionit
    
    2014-09-05 17:17
    
    User since
    2006-05-16
    81 Artikel
    BenutzerIn
    
    Hallo clms,
    
    ich muss gerade offline gehen. Wenn ich später wieder online bin, schreibe ich mal ausführlich was ich genau machen will.
    
    Bis später!
- GwenDragon
  
  2014-09-05 17:39
  
  User since
  2005-01-17
  14531 Artikel
  Admin1
  
  Kein Problem, einfach fragen, wenn du was nicht verstehst, wir wissen ja nicht, welche Kenntnisse du schon hast. ;)
  Fragen kostet nix und Perl lernen ist auch eine tolle Sache.
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel

View all threads created 2014-09-05 16:24.