Arrayvergleich - Index von gefundenen Einträgen (gelöst) (Allgemeines zu Perl)

[thread]15668[/thread]

Arrayvergleich - Index von gefundenen Einträgen [gelöst]

Leser: 19

Articles: hide open all | hide show old branches

+3 replies
ferdi317

2010-11-25 18:41
User since
2010-11-25
2 Artikel
BenutzerIn
Hallo,

ich muss große Datensätze (150.000 Einträge) vergleichen. Es handelt sich um ein Lexikon der häufigsten deutschen Wörter und ein Transkriptionswörterbuch. Letzteres hat zwei Einträge pro Zeile (Wort \t Transkription). Erst öffne ich die Dateien und lese sie in Arrays ein; das Wörterbuch splitte ich in 2 Arrays (gra für Graphem = Wort und pho für phonetische Transkription)
Code (perl): (dl )

1 2 3 4 5 6 7 8 9 10 11

open(HFGWRT, "<hfgwrtnew.txt") || die "Datei hfgwrtnew.txt konnte nicht geöffnet werden!"; my @hfgwrt = <HFGWRT>; close(HFGWRT); open(BOSSLEX, "<bosslexikon.txt") || die "Datei bosslexikon.txt konnte nicht geöffnet werden!"; while (<BOSSLEX>) { chomp; my ($bossgra, $bosspho) = split /\t/, $_; push (@bossgra_ar,("$bossgra\n")); push (@bosspho_ar,("$bosspho\n")); }
Jetzt will ich die häuftigsten Wörter durchsuchen (hfgwrt) und von allen Einträgen, die mit den Graphemen übereinstimmen, das Graphem und die phonetische Transkription mit \t als Trennzeichen in eine neue Datei schreiben.

Beispiel:
@hfgwrt = (Affe, Apfel, Vergaser);
@bossgra_ar = (Affe, Ampel, Astronaut, Vergaser, Zimbel);
@bosspho_ar = (?af6, ?amp6l, ?astronaut, fe@ga:s6, tsImb@l);

bei allen übereinstimmenden Einträgen soll die Transkription mit übernommen werden (gleiche Indizes, da sortiert).

Ich habe jetzt 2 Stunden lang versucht, dafür eine Lösung zu finden, aber ich bin noch nicht so fit mit Perl und konnte nichts geeignetes übernehmen. Bin für jede Hilfe dankbar!

Chris
Last edited: 2010-11-25 18:50:00 +0100 (CET)
- +2 replies
- topeg
  
  2010-11-25 19:13
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  Lese die Referenzdaten in einen Hash, der macht dann das suchen für dich. Ich gehe mal davon aus, dass keine Wörter doppelt vorkommen.
  Nicht getestet:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35
  
  #!/usr/bin/perl use strict; use warnings; my $hfgwrt_file='hfgwrtnew.txt'; my $lexikon_file='bosslexikon.txt'; my $out_file='out.txt'; my %bossgra=(); open(my $lfh, '<', $lexikon_file) || err_open($lexikon_file); while (<$lfh>) { chomp; my ($bossgra, $bosspho) = split /\t/, $_; $bossgra{$bossgra}=$bosspho; } close($lfh); open(my $infh, '<', $hfgwrt_file) || err_open($hfgwrt_file); open(my $ohf, '>', $out_file) || err_open($out_file); while(my $hfgwrt=<$infh>) { chomp($hfgwrt); if(my $bosspho=$bossgra{$hfgwrt}) { print $ohf "$hfgwrt\t$bosspho\n"; } } close($ohf); close($infh); sub err_open { my $file=shift; die "Datei $file konnte nicht geöffnet werden! ($!)\n"; }
  
  Wenn Groß/Kleinschreibung oder ähnliche Schreibweisen-Änderungen auch gefunden werden sollen wird es etwas komplizierter.
  - ferdi317
    
    2010-11-30 10:14
    
    User since
    2010-11-25
    2 Artikel
    BenutzerIn
    
    topeg, das ist sehr elegant gelöst! Vielen Dank!
    
    Richtig getippt - alle Wörter kommen nur einmal vor. Ambiguitäten kommen zwar vor, müssen aber manuell bearbeitet werden. z.B. "(der) Weg" und "(ich gehe) weg" werden unterschiedlich ausgesprochen; kommt letzteres am Satzanfang vor, kommt man jedoch auch durch Groß-/Kleinschreibung nicht weiter. Durch das Schrumpfen des Lexikons muss ich eben statt 150000 nur 35000 Wörter kontrollieren ;) daher meine Anstrengung mit Perl.
    
    Das sub "err_open" finde ich schick. Darauf bin ich noch nie gekommen, es lässt den Code einfach sauberer aussehen.
    
    Mein Knackpunkt, an dem ich noch arbeiten muss, ist die Verschachtelung von Schleifen. Auch mit Hashes bin ich noch nicht so fit - Danke für den Schubser in die richtige Richtung!
    
    Chris

View all threads created 2010-11-25 18:41.