Keywords in Textdateien zählen (Allgemeines zu Perl)

[thread]20055[/thread]

Keywords in Textdateien zählen

Tags: perl5 Similar Threads

Readers: 15

Articles: hide open all | hide show old branches

+10 replies
guest Nik

2016-04-20 01:53

Hallo liebe Community,

Ich hoffe, dass ich die richtige Kategorie ausgewählt habe, da ich relativ neu in der "Perl"-Welt bin. Ich komme mit einem relativ anspruchsvolles Problem im Gepäck. Und zwar möchte ich es realisieren, dass mir Perl Textdateien (es sind mehrere hundert Stück) nacheinander einliest, nach bestimmten Schlagwörtern sucht, mir je Begriff, falls gefunden eine 1, falls nicht eine 0, ausgibt. Zudem soll er mir aus der Datei nach einem bestimmten Schlagwort eine zehnstellige Nummer ausgeben, damit ich die Ergebnisse zuordnen kann.

Ein kurzes Beispiel:

Suchbegriffe: "übertroffen", "erreicht", "motiviert"
Beispieltextdatei:
"Personalnummer: 0123456789

Der Angestellte hat die gesetzten Ziele übertroffen und war auch sonst stets motiviert (...)"

Ich möchte also, dass mir das Programm für diesen Fall im Idealfall folgendes wiedergibt:

Spalte 1/ Zeile 1: "Personalnummer"/ Zeile 1: 0123456789
Spalte 2/ Zeile 1: "übertroffen": 1
Spalte 3/ Zeile 1: "erreicht": 0
Spalte 4/ Zeile 1: "motiviert": 1

Für die folgenden Dateien soll er das ganze analog in Zeile 2, 3, 4 usw. fortführen.

Könntet ihr eine kurze Einschätzung abgeben, wie komplex so etwas zu realisieren ist? Wo ich am Besten anfange und ob ihr ggf. schonmal über etwas ähnliches "gestolpert" seid? Ich bin über jeden Vorschlag / Rat dankbar.

Schonmal vielen Dank,

Nik
Last edited: 2016-04-20 01:54:12 +0200 (CEST)
- bianca
  
  2016-04-20 07:11
  
  User since
  2009-09-13
  7016 articles
  BenutzerIn
  
  Wenn die Suchbegriffe vorgegeben sind und nicht über einen ultrakomplizierten Weg ermittelt werden müssen sollte das mit 10 Zeilen zu erledigen sein und ungefähr 30 Minuten brauchen. Aber ohne Gewähr dass ich das alles richtig verstanden habe. Deine Vorgaben sind recht weit.
  10 print "Hallo"
  20 goto 10
- +4 replies
- Raubtier
  
  2016-04-20 08:20
  
  User since
  2012-05-04
  1081 articles
  BenutzerIn
  
  Das geht ja fast mit grep...
  
  Wo ist dein Problem? Das hört sich nicht nach einem anspruchsvollen, sondern nach einem sehr einfachen Problem an.
  
  Außerdem ist mir deine Spalten- und Zeilennumerierung unklar.
  - +3 replies
  - guest Nik
    
    2016-04-20 09:16
    
    Hallo zusammen,
    
    Ich habe vorher hauptsächlich mit SPSS und Matlab zutun gehabt, daber bin ich hinsichtlich Perl ein absoluter Neuling. Daher ist das durchsuchen von Textdateien für mich komplett unbekanntes Terrain. Daher meine Bitte um einen "Starting Point".
    Bezüglich meiner Spalten und Zeilennummerierung; Das sollte einfach nur zum Ausdruck bringen, in welchem Format er mir die letztlich Ergebnisse darstellt. Das Programm erstellt wenn möglich eine .csv oder .txt- Datei. Idealerweise pro Outputdatei eine Zeile mit den entsprechenden Informationen "Personalnnummer", und den drei Keywords in den drei folgenden Spalten.
    Was heißt "das geht ja fast mit grep"? Lohnt es sich ggf. das Programm grep auszuprobieren?
    Last edited: 2016-04-20 09:38:21 +0200 (CEST)
    - +2 replies
    - Raubtier
      
      2016-04-20 10:34
      
      User since
      2012-05-04
      1081 articles
      BenutzerIn
      
      Ah, du willst also nicht (wie du oben geschrieben hast) folgende Ausgabe:
      
      Code: (dl )
      
      1 2 3 4
      
      Spalte 1/ Zeile 1: "Personalnummer"/ Zeile 1: 0123456789 Spalte 2/ Zeile 1: "übertroffen": 1 Spalte 3/ Zeile 1: "erreicht": 0 Spalte 4/ Zeile 1: "motiviert": 1
      
      Sondern eher sowas wie das hier?
      
      Code: (dl )
      
      1 2
      
      Personalnummer;übertroffen;erreicht;motiviert 0123456789;1;0;1
      
      Habe ich das richtig verstanden? Ansonsten hat "wer" ja schon mal einen Ansatz gepostet.
      
      PS: Genaues Formulieren der Frage hilft! (und gerne Code-Tags benutzen!)
      Last edited: 2016-04-20 10:35:53 +0200 (CEST)
      - guest Nik
        
        2016-04-20 12:06
        
        Genau diese Darstellung wünsche ich mir. Ist das mit dem geposteten Beispiel moeglich?
        Sorry fuer die undeutliche Beschreibung.
        
        Gruß
- +3 replies
- guest wer
  
  2016-04-20 08:59
  Grundlage ungetestet:
  
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
  
  #!/usr/bin/perl use strict; use warnings; my @keywords = qw( übertroffen erreicht motiviert); my @files = glob('/path/to/files'); my $regexp = join('|', map{ qr/\Q$_\E/ }sort{ length($b) <=> length($a) }@keywords ); for my $file (@files) { if( open(my $fh, '<', $file) ) { print "\n\n$file\n"; my $lc = 0; while( my $line = <$fh> ) { lc++; if($line =~/(\d{10})/) { print "Zeile $lc: $1\n"; } my $rc = 1; while( $line=~/^(.*?)($regexp)// ) { $rc+=length($1); print "Spalte $rc/ Zeile $lc: $2\n"; $rc+=length($2); } } close($fh); } else { warn "$file ERROR OPEN $!\n"; next; } }
  
  Last edited: 2016-04-20 09:38:11 +0200 (CEST)
  - +2 replies
  - guest Nik
    
    2016-04-20 10:44
    
    Danke für den Tipp! Damit werde ich mich auseinandersetzen. Zwei kurze Fragen: Kann ich irgendwo im Code festlegen welches Format die Ausgabedatei haben soll (.csv)? Wie integriere ich "keywords", die aus mehr als 2 Wörter bestehen? (Kann ich das mit 'sehr motiviert' bewerkstelligen?)
    
    Danke
    Last edited: 2016-04-20 11:09:06 +0200 (CEST)
    - Linuxer
      
      2016-04-21 00:33
      
      User since
      2006-01-27
      3891 articles
      HausmeisterIn
      
      "Keywords", die aus mehreren Wörtern bestehen, kannst Du so nicht direkt innerhalb von qw() definieren.
      
      Aber die Keywords dürften doch übergreifend die gleichen sein, oder nicht?
      Dann könnte man die Keywords in eine Datei schreiben und diese dann zu Beginn einlesen; ein "Keyword" pro Zeile:
      
      keywords.txt (371b)
      
      Das Ausgabeformat hängt davon ab, wie Du es programmierst; lässt sich also sicher festlegen.
      
      Hier ein Skript, dass auf dem Beispiel von wer basiert und modifiziert wurde. Die Ausgabe wurde in eine eigene Subroutine ausgelagert.
      
      script.pl (15.7kb)
      
      Datendateien:
      id0123456789.txt (492b)
      
      id9876543210.txt (408b)
      
      Output:
      perl script.pl stichworte.txt (416b)
      meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
      Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- guest janus
  
  2016-04-21 06:48
  
  Text::Query wäre meine Lösung. Das Modul ist uralt, aber bis heute gibt es nichts Vergleichbares. Suchterms im Stil der großen Suchmaschinen!
  Last edited: 2016-04-21 08:25:38 +0200 (CEST)

View all threads created 2016-04-20 01:53.