Stringvergleich mit Ähnlichkeiten finden (solved) (Allgemeines zu Perl)

[thread]21498[/thread]

Stringvergleich mit Ähnlichkeiten finden [solved]

Tags: perl5 Similar Threads

Readers: 10

Articles: hide open all | hide show old branches

+4 replies
OlliP

2023-10-27 14:33

User since
2017-04-29
15 articles
BenutzerIn

Hi Leute,

habe mal wieder ein Problem.

Ich habe eine neue Liste von 1000 Namen/Ausdrücken die ich gegen eine alte Liste mit 5000 Einträgen (die ähnlich sind) vergleichen muss.

Die Unterschiede sind begründet durch (falsch) eingefügte Leerstellen,
fehlende Umlaut-Umwandlungen, accents etc.

Inhaltlich (wenn ich das so sagen kann) sind es die gleichen 'Werte'.

Ich muss doppelte eliminieren und die Listen zusammenfügen.

Habt ihr eine Idee? Bislang fällt mir nur ein, beide Listen zu mischen/sortieren. Dann manuell drüber gehen und 'doppelte' finden.

Ich hoffe ihr habt ne bessere Idee.

Gibt es vielleicht ein Modul mit dem man Ähnlichkeiten erkennen kann?

Grüße

OlliP
- +3 replies
- GwenDragon
  
  2023-10-27 15:21
  
  User since
  2005-01-17
  14749 articles
  Admin1
  
  Es gibt auf CPAN einige Module, die nach dem Levenshtein-Distanz Ähnlichkeiten erkennen können und irgendwelche Soundex-Module auch.
  Um was für eine Sprache geht’s denn im Vergleich?
  
  Das wäre für deutsch interessant:
  https://metacpan.org/dist/Text-Phonetic/view/lib/T...
  Last edited: 2023-10-27 15:34:35 +0200 (CEST)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +2 replies
  - OlliP
    
    2023-10-27 16:29
    
    User since
    2017-04-29
    15 articles
    BenutzerIn
    
    Hi,
    
    ja nach so etwas habe ich gesucht.
    
    Deutsche Sprache und Programmierung in PERL ;)
    
    Vielen Dank.
    
    Damit komme ich schon zurecht.
    
    Schönes Wochenende.
    
    Grüße
    
    OlliP
    - GwenDragon
      
      2023-10-27 16:43
      
      User since
      2005-01-17
      14749 articles
      Admin1
      
      2023-10-27T14:29:56 OlliP
      ja nach so etwas habe ich gesucht.
      
      Deutsche Sprache und Programmierung in PERL ;)
      Na, Perl ist doch von einem Linguisten names Larry Wall zum Großteil geprägt werden, und Perl eignet sich ja auch zum "text processing".
      Ich hatte irgendwann mal vor über 10 Jahren Perl + Levenshtein zur Ähnlichkeitssuche bei einem Kunden am Laufen. Klappte ganz gut.
      
      Wie die Module auf CPAN derzeit sind, weiß ich nicht, das musst du halt testen.
      
      Quote
      Vielen Dank.
      
      Damit komme ich schon zurecht.
      Gern gemacht :-)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten

View all threads created 2023-10-27 14:33.