csv suchen - ersetzen (Allgemeines zu Perl)

[thread]15180[/thread]

csv suchen - ersetzen

Leser: 22

Articles: hide open all | hide show old branches

+13 replies
Gast Daniel

2010-06-23 12:14

Hallo,

ich hoffe ihr könnt mir weiterhelfen. Ich habe 2 CSV Dateien, die eine Datei ist meine Datei für die Datenbank, in der anderen sind nur die Änderungen enthalten.

csv Quell Datei:
Master; Topic;
AKS;Inhalt1;Inhalt2;
AKS;Inhalt1;Inhalt2;Inhalt3;

csv nur Änderung Datei:
AKS;Inhalt1;
AKS;Inhalt2;

Mein gedachter Ansatz- perl skript schaut jede der Zeile der Quell Datei durch und sucht in der Änderung Datei nach dem selben AKS und gibt es einen identischen - wird die Zeile in der Quell Datei mit der durch die Änderung Datei ersetzt. Gibt es diesen nicht, wird der Inhalt nicht verändert und nach dem nä. AKS gesucht.

Die Reihenfolge und der Aufbau darf aber nicht geändert werden. Habt ihr eine Idee? Ich habe schon bei bash geschaut, finde da aber auch keinen wirklichen Ansatz.

Vielen lieben Dank, Gruß Thomas
Last edited: 2010-06-23 12:22:05 +0200 (CEST)
- +3 replies
- bianca
  
  2010-06-23 12:26
  
  User since
  2009-09-13
  6977 Artikel
  BenutzerIn
  
  Hallo Daniel,
  wie sieht denn dein bisheriger Versuch aus?
  Gibt es Fehler oder tut es nicht, was Du willst?
  Oder suchst du gleich ein komplett fertiges script?
  10 print "Hallo"
  20 goto 10
  - +2 replies
  - Gast Daniel
    
    2010-06-23 12:57
    
    Hallo,
    
    naja eine Lösung in Form eines Einzeilers wäre super - wenn es die gibt - bin kein Profi in Perl.
    
    Ich würde jetzt so vorgehen,
    Quell Datei einlesen
    Änderung Datei einlesen
    Schleife START....
    Vergleich AKS (immer 29Zeichen) = Quell Datei if yes
    {schreibe die Zeile in Ausgabe.csv;
    else
    kopiere die Zeile aus der Quell Datei in die Ausgabe.csv rein}
    
    So in etwa....
    - Sven_123
      
      2010-06-23 13:34
      
      User since
      2010-06-01
      120 Artikel
      BenutzerIn
      
      Ein kleiner Versuch...keine Garantie dafür, dass es klappt. ;)
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
      
      $i=0.1; open quelle, "< quelldatei"; while (<quelle>){ if ($i == 0.1){ $i=0; next; } if ($i == 0){ $out[0]=$_; $lastline=$_; next; } if($_ eq $lastline){ next; } $lastline=$_; @line=split /;/,$_; $out[$i]=$line[$#line]; $i++; } close quelle; open out, "> output"; for $j (0 .. $i){ print out "$out[$j]\n"; } close out;
      
      Edit: Oh, ich muss das Master;Topic noch überspringen - muss noch kurz was ändern...
      Edit2: Getan - wahrscheinlich ziemlich unelegant...egal...*g
      Edit3: Mir fällt grad auf...ich weiß eigentlich nicht, was AKS und CSV bedeutet - unter Umständen ist mein Vorschlag also ziemlicher Unfug. Dann ignorier ihn einfach.
      Last edited: 2010-06-23 13:42:21 +0200 (CEST)
- +9 replies
- pq
  
  2010-06-23 13:23
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  kannst du vielleichtmal ein beispiel geben? ich kapier irgendwie den aufbau nicht. du zeigst zwei dateien, die jeweils zwei inhaltszeilen haben, die jeweils den gleichen wert in column 1 haben - "AKS".
  
  ich kann nicht nachvollziehen, wie da dann zusammenhänge gezogen werden sollen und was die "änderung" bedeuten soll.
  zudem sind in der originaldatei unterschiedliche spaltenanzahlen.
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +8 replies
  - Gast Daniel
    
    2010-06-23 15:47
    Hallo,
    
    schonmal Danke für Eure Hilfe.
    
    Kurz als Beispiel - Inhalt der Quelldatei(AKS ist praktisch meine Referenz für den Inhalt). Die Datei enthält cira 1000 verschiedene AKS Nummern.
    
    Code: (dl )
    
    1 2 3 4 5 6
    
    AKS01;Inhalt_abc;Inhalt_abcd; AKS02;Inhalt_abc;Inhalt_abcd;Inhalt_abcde; ... AKS76;Inhalt_abc;Inhalt_abcd; ... AKS1000;Inhalt_abc;Inhalt_abcd;Inhalt_abcde;
    
    und dann die Änderungdatei - auch hier ist der AKS Referenz, es haben sich allerdings Inhalte geändert. z.B. In der Datei hat Firma xy nur seine Inhalte geändert.
    
    Code: (dl )
    
    1 2
    
    AKS02;Inhalt_abt;Inhalt_abct; AKS076;Inhalt_abt;Inhalt_abct;
    
    Nun muss der geänderte Inhalt, die Änderungsdatei in die Quelldatei eingepflegt werden, ohne die Reihenfolge oder den anderen Inhalt der Quelldatei zu verändern. Bei über 1000Einträge wäre das einfach optimal für ein Script.
    
    Lieben Gruß
    
    mod-edit pq: code-tags hinzugefügt
    Last edited: 2010-06-23 15:54:15 +0200 (CEST)
    - +3 replies
    - pq
      
      2010-06-23 15:53
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      und jetzt bitte noch der gewünschte output. es wäre schön, wenn du die beispiele noch in code-tags setzen könntest, bei solchen daten finde ich fixed width immer etwas lesbarer.
      
      da ich immer noch nicht gsnz sicher bin, was in der änderungsdatei die änderung bedeutet - ist das eine art diff oder was? - wäre halt der output vom beispiel nützlich.
      
      oder ist das, was in der änderungsdatei steht, einfach die neue zeile und die alte zeile soll damit komplett ersetzt werden?
      
      die definition einer aufgabenstellung ist die halbe miete.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +2 replies
      - neofuxx
        
        2010-06-23 16:10
        
        User since
        2010-06-23
        3 Artikel
        BenutzerIn
        
        Hallo,
        
        ich habe mich mal registriert, macht es einfacher.
        
        Ähm, ja sorry. Es gibt die Originaldatei (SQL Output) die als Referenz immer einen Eindeutigen AKS hat - und in der Zeile hängen verschiedene Inhalte dran - auch mit unterschiedlicher Länge. Diese Inhalte mussten von jemandem Bearbeitet werden, daraus entstand eine Änderungsdatei mit nur den Änderungen, aber im selben Format.
        
        Jetzt muss der Änderungsinhalt in die Originaldatei rein - ganze Zeile der Originaldatei bei übereinstimmendem AKS raus und die Zeile der Änderungsdatei an der Stelle rein. Bei keiner Übereinstimmung bleibt die Zeile der Originaldatei unverändert.
        
        Als Output sieht das dann so aus:
        
        Code: (dl )
        
        1 2 3 4
        
        AKS01;Inhalt_alt01;Inhalt_alt02; (nichts kopiert) AKS02;Inhalt_neu01;Inhalt_neu02; (aus Änderungsdatei kopiert) ... AKS1000;Inhalt_alt01;Inhalt_alt02;Inhalt_alt03; (nichts kopiert)
        
        Die Unterscheidung ob Inhalt rein kopiert werden muss, ist demnach die Existens eines gleichen AKS in der Änderungsdatei. Ansonsten wird die Originalzeile nicht verändert.
        Last edited: 2010-06-23 16:12:09 +0200 (CEST)
        
        pq
        
        2010-06-23 16:15
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        dann sollte mein beispielcode so ungefähr laufen...
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
    - +4 replies
    - pq
      
      2010-06-23 16:01
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      unter der annahme, die zeile soll komplett ersetzt werden und das erste feld besteht nicht aus eingebetteten semikolons:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
      
      # änderungen einlesen open my $cfh, "<", "changes.csv" or die $!; my %changes; while (my $line = <$cfh>) { my ($aks, $rest) = split m/;/, $line, 2; $changes{ $aks } = $rest; } close $cfh; open my $fh, "<", "orig.csv" or die $!; open my $ofh, "<", "new.csv" or die $!; while (my $line = <$fh>) { my ($aks, $rest) = split m/;/, $line, 2; if (exists $changes{ $aks }) { $line = "$aks;$changes{ $aks }"; # newline hängt noch dran } print $ofh $line; }
      
      ungetestet
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +3 replies
      - neofuxx
        
        2010-06-23 16:41
        
        User since
        2010-06-23
        3 Artikel
        BenutzerIn
        
        Quote
        $line = "$aks;$changes{ $aks }"; # newline hängt noch dran
        
        was meinst du damit?
        
        Perl rasselt was durch, nur wird kein Inhalt in die new.csv geschrieben? Datei vorher erstellt....
        
        +2 replies
        
        pq
        
        2010-06-23 16:50
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        hatte mich vertippt:
        statt
        open my $ofh, "<", "new.csv" or die $!;
        schreib
        open my $ofh, ">", "new.csv" or die $!;
        
        datei muss natürlich zum schreiben geöffnet werden.
        und du musst sie *nicht* vorher erstellen.
        
        das sind immer die probleme, wenn man fertige snippets postet.
        die werden kopiert, ohne die einzelheiten zu verstehen.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        neofuxx
        
        2010-06-23 18:10
        
        User since
        2010-06-23
        3 Artikel
        BenutzerIn
        
        Hallo Du,
        
        einen ganz großen DANK für deine Mühe und Hilfe!!!!
        
        Lieben Gruß

View all threads created 2010-06-23 12:14.