Flat-ASCII in MySQL [Update] (gelöst) (Datenbanken und Verzeichnisdienste)

[thread]17122[/thread]

Flat-ASCII in MySQL [Update] [gelöst]

Tags: perl5 DBI MySQL Ähnliche Threads

Leser: 18

Articles: hide open all | hide show old branches

+16 replies
afsmann

2012-02-01 09:16
User since
2012-02-01
8 Artikel
BenutzerIn
Hallo, vielleicht kann mir hierbei jemand helfen,
Eine Ascii-Datei hat die folgende Struktur:

Inhalt Update Datei:
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90

00K 01ADR_L 02UPD 0320120201 0420120115 05ADAT 06Adressen 071048 086 00F 0101 02Key_ADR 031 040 05V 065 07NU1 00F 0102 02Firmenname 030 040 05V 06105 07AN1 00F 0103 02Landesname 030 041 05V 0630 07AN1 00F 0104 02Ort_Zustellung 030 041 05V 0650 07AN1 00F 0105 02Sortiername 030 040 05V 0680 07AN1 00F 0106 02URL 030 041 05V 0680 07AN1 00U 0167 02Vela GmbH 00U 0181 02ARION GmbH 05ARION 00U 01576 02Altes Werk 00U 01961 02ascle 00U 011029 02APEIRON 05 00U 011916 02AAPO 05AAPO-SPA 00U 012042 02Peter Meyer Ern\a25hrung 05Meyer 00U 012218 04Trier 00U 013085 02KAPS GmbH Deutschland 05 00E
Ende

Daraus soll eine Tabelle aktualisiert werden. Am Anfang steht 00K damit wird z.B. definiert unter 06, dass die Tabelle 'Adressen' heisst. Unter 00F finden sich die jeweiligen Spaltendefinitionen: Nacheinander steht immer Id, Bezeichnung, Primärschlüssel 1=ja 0=nein, Pflichtfeld,Feldlänge, Datentyp nummerisch oder nicht. Dananch folgen die 00U Felder, die hier eingelesen werden sollen, in eine vorhandene Tabelle mit der def. Struktur.

Es gibt 3 Möglichkeiten:
1) Altbestand wird geändert
2) Feld leer wird neu eingetragen
3) Altbestand wird gelöscht

mein Script bis jetzt, leider bricht es ab wenn gilt 3)

more (70.5kb)

Ich bin nicht wirklich fit in Perl und um jede Hilfe dankbar:

Axel Seutemann

modedit Editiert von GwenDragon: Dateiinhalt + Perl-Code in CODE-Tags; more-Tag hinzugefügt
Datendatei Hinweise zu Anfang+Ende entfernt
Bitte Code und Inhalte von Datendateien in Code- oder Perl-Tags stellen. Bei langen Codeinhalten bitte auch das More-tag verwenden.
Bitte vor Posten Formatierungshilfe lesen und korrekt posten!
Last edited: 2012-02-01 13:10:46 +0100 (CET)
- GwenDragon
  
  2012-02-01 11:31
  User since
  2005-01-17
  14876 Artikel
  Admin1
  1. Bitte strukturiere dein Skript mal neu (Einrückungen, korrekte Klammerung)
  Mit dem Programm perltidy aus dem Modul Perl::Tidy ist das einfach möglich!
  Und poste den Code hier neu.
  
  2. verwende
  
  Code: (dl )
  
  1 2
  
  use strict; use warnings;
  
  Dann würdest du merken, dass Perl ein paar Fehler gefunden hat.
  
  3. Bitte zeige uns die Fehlermeldung, wo dein Skript oder die SQL-Datenbank abbricht.
  Last edited: 2012-02-01 11:35:40 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +9 replies
- GwenDragon
  
  2012-02-01 12:41
  
  User since
  2005-01-17
  14876 Artikel
  Admin1
  
  Ich habe deinen Code mal formatiert und die Klammerfehler entfernt.
  more (76.3kb)
  
  Das kompiliert jetzt wenigstens.
  
  //EDIT: Der Übeltäter war Zeile 217 bei deinem Listing; statt ( sollte da wohl [ stehen. ;)
  
  Weiteres kann ich mangels Datenbank-/Tabellenschma nicht testen.
  
  //EDIT: falsch Kodierung
  Last edited: 2012-02-01 13:13:57 +0100 (CET)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - +8 replies
  - afsmann
    
    2012-02-01 16:01
    
    User since
    2012-02-01
    8 Artikel
    BenutzerIn
    
    Ok - vielen Dank für die Mühe. Für mich ist so ein Formum auch eher Neuland und ich entschuldige jetzt schon für "posting-Fehler." Ich werde mich bemühen.
    
    Also der Code läuft aber wenn das Feld in der ANweisund leer bleibt, also das DB-Feld mit Null oder "" gefüllt werden soll bricht der Code ab, weil die SQL Anweisung nicht stimmt.
    da steht "update Adressen set where Key_Adr=5673" d.h. da steht nichts hinter dem set. Außerdem läuft die Schleife 7x durch obwohl 1x doch reicht.
    
    Gerne stelle ich einem Helfer die DB zur Verfügung, wenn ich nur weiterkäme.
    Danke Axel
    - GwenDragon
      
      2012-02-01 17:12
      
      User since
      2005-01-17
      14876 Artikel
      Admin1
      
      Vermutung:
      @spalte ist leer
      $spkey[$i] ist ungleich 0
      $sref->[$i] ist ""
      
      Fuge doch bitte (bei meinem Code) mal 6 folgendes ein, einen Dump der Variablen auszugeben zu können:
      
      Code (perl): (dl )
      
      use Data::Dumper;
      
      Füge doch bitte mal vor Zeile 228 folgendes ein, um @spalte u. a. als Debug-Code auszugeben:
      
      Code (perl): (dl )
      
      print STDERR qq{DEBUG \n}, q{@spalte = }, Dumper(\@spalte), qq{\n};
      
      Was sist denn dann im Array drin?
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
    - +3 replies
    - GwenDragon
      
      2012-02-01 17:14
      
      User since
      2005-01-17
      14876 Artikel
      Admin1
      
      Wenn du ein paar Testdaten hättest, wenigstens den Aufbau der Tabellen, wäre es einfach das schnell zu testen ;)
      Meine Glaskugel zeigt deine Tabellenstrukturen und das zu erzeugende SQL einfach nicht an.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - afsmann
        
        2012-02-01 18:31
        
        User since
        2012-02-01
        8 Artikel
        BenutzerIn
        
        Ok, bin hier noch bei der Arbeit - schick dir gleich noch alles Danke.
        Gruß Axel
      - afsmann
        
        2012-02-02 01:20
        
        User since
        2012-02-01
        8 Artikel
        BenutzerIn
        
        Hi GwenDragon anbei alles was du brauchst. Danke schon mal. Mit dem anderen Script kannst du dir die Tabellenstruktur erstellen. Die Anleitung für das Datenformat ist auch dabei. Ich habe nicht alles ins Script gepackt auch die Codierung der Umlaute ist noch nicht fertig. Sicher kann man alles übernehmen - Primärschlüssel, etc.
        
        Gruß Axel
        Anhänge
        
        application/zip
        ADR_L.zip
        
        application/zip
        K2F.zip
    - +3 replies
    - GwenDragon
      
      2012-02-02 12:07
      
      User since
      2005-01-17
      14876 Artikel
      Admin1
      
      2012-02-01T15:01:34 afsmann
      da steht "update Adressen set where Key_Adr=5673" d.h. da steht nichts hinter dem set.
      Mit meinem Code und deinen Beispieldatenbanken wird eine komplette SQL erzeugt.
      Wie hier:
      update Adressen set Firmenname='Velag Pharma GmbH' where Key_ADR=67
      
      Quote
      Außerdem läuft die Schleife 7x durch obwohl 1x doch reicht.
      Das Problem ist dieser Code-Block:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22
      
      for ( my $i = 1 ; $i <= @spalte ; $i++ ) # Nochmal alle Spalten durchgehen { if ( $spkey[$i] != 0 && $sref->[$i] ne "" ) # Wenn Primärschlüssel { if ( $sptyp[$i] eq "N" ) # Wenn numerisch... { $sql .= $spalte[$i] . "=" . $sref->[$i] . " and "; } # dann anhängen "<spaltenname>=<wert> and " else # ansonsten { $sql .= $spalte[$i] . "='" . $sref->[$i] . "' and "; } # anhängen "<spaltenname>='<wert>' and " } $sql =~ s/ and $// ; # Am Ende ist hinten ein " and " zu viel - das wird gelöscht print $sql. "\n"; my $sth = $dbh->prepare($sql) || die "$DBI::errstr\n"; # SQL-Statement vorbereiten... $sth->execute() || die "$DBI::errstr\n"; # ... und ausfÃ¼hren }
      
      Schau mal Zeile 4 des Blocks an.
      Wenn es ein Primärschlüssel ist, werden mehrere Bedingungen ans WHERE angehängt, das ist wohl so gewollt.
      Dann wird der if-Block verlassen und das SQL ausgegeben bzw. in der Datenbank ausgeführt.
      Das führst du aber für jede Spalte aus.
      
      ich tippe mal drauf, dass du
      
      Code (perl): (dl )
      
      1 2
      
      my $sth = $dbh->prepare($sql) || die "$DBI::errstr\n"; # SQL-Statement vorbereiten... $sth->execute() || die "$DBI::errstr\n"; # ... und ausführen
      
      außerhalb der for-Schleife ausführen willst.
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - +2 replies
      - afsmann
        
        2012-02-02 17:58
        
        User since
        2012-02-01
        8 Artikel
        BenutzerIn
        
        JAAA du hattest recht und wieder bin ich ein Stück weiter- Danke.
        jetzt bleibt immer noch nach Problem, dass wenn in der ASCII-Datei, die du von mir hast, nichts steht der SQL-String falsch bleibt, da hinter dem set nur ein blank ist. Ich muss doch immer unterscheiden, ob es sich um ein nummerisches oder Textfeld handelt, da sich dadurch auch der String ändert. deshalb die 4 Möglichkeiten. in der upd Datei steht immer das Primärschl-Feld, welches hinter dem where stehen muss und die zu aktualisierenden Felder. Irgendwie muss es doch möglich sein NULL (bei numerischen Feldern) oder ein "leeres" Feld zu übergeben (bei Text).
        
        Vielleicht habe ich alles zu umständlich gemacht. Vielleicht schaust du dir die Dateien, wenn du Lust hast genauer an und hast eine bessere Idee, es war mein erstes Perl-Script.
        
        Gruß Axel
        
        GwenDragon
        
        2012-02-06 16:24
        
        User since
        2005-01-17
        14876 Artikel
        Admin1
        
        Wie sieht so ein Datensatz aus und welcher Datei, beim dem NULL oder "" vorkommen kann?
        //EDIT: Du weißt sicher besser, in welcher Ausgangsdatei .UPD .GES o. ä. solche kaputten Datensätze sind. Und ganz ehrlich, ich bin in das Projekt nicht eingearbeitet, und kann deswegen kaum dafür Testsuites erstellen, die dein Programm auf Fehler abklopfen. ;)
        Last edited: 2012-02-06 19:09:08 +0100 (CET)
        die Drachin Gwen
        
        Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +5 replies
- GwenDragon
  
  2012-02-06 18:34
  
  User since
  2005-01-17
  14876 Artikel
  Admin1
  
  Weitere Fehlerbehebung von mir: more (78.4kb)
  die Drachin Gwen
  
  Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
  - afsmann
    
    2012-02-06 19:49
    
    User since
    2012-02-01
    8 Artikel
    BenutzerIn
    
    Hi gwenDragon - du wirklich die Heldin des Perls
    jetzt hängt das Script wenigstens nicht mehr - aber auf Key_ADR 5896
    sollte die URL www.deutsche-chefaro.de durch Null oder nichts ersetzt werden.
  - +3 replies
  - afsmann
    
    2012-02-06 19:54
    
    User since
    2012-02-01
    8 Artikel
    BenutzerIn
    
    Die Datensätze in der ASCII Datei sind nicht kaputt oder inkonsistent, sondern ich bin nicht dahintergekommen, wie ich die 3 möglichen upd-Zustände realisieren kann. Mir fehlt noch bei dem ausgeklammerten Insert-
    Status 00I die Prüfung, ob der Datensatz schon vorhanden ist, also - sollte das Script 2x laufen keine Duplikate entstehen.
    Eine Belohnung ist dir sicher Gruß Axel S.
    - +2 replies
    - GwenDragon
      
      2012-02-07 18:06
      
      User since
      2005-01-17
      14876 Artikel
      Admin1
      
      Teste das mal.
      more (98.8kb)
      die Drachin Gwen
      
      Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
      - afsmann
        
        2012-02-07 23:08
        
        User since
        2012-02-01
        8 Artikel
        BenutzerIn
        
        Sieht schon sehr gut aus, habe dir eine Mail geschickt mit weiterem Material
        Lieben Gruß

View all threads created 2012-02-01 09:16.