Zeile im FH wird durch eine Unterabfrage (~"if eof") der while-Schleife übersprungen (solved) (Allgemeines zu Perl)

[thread]17607[/thread]

Zeile im FH wird durch eine Unterabfrage (~"if eof") der while-Schleife übersprungen [solved]

Tags: perl5 CSV Array FileHandle while if Similar Threads

Readers: 19

Articles: hide open all | hide show old branches

+23 replies
norvel

2012-07-31 16:42
User since
2012-07-26
20 articles
BenutzerIn
Hallo allerseits,

ich habe folgende Situation:
ich lese ein csv-File Zeile für Zeile aus, allerdings immer nur in z.B. 10er-Schritten ($breakpoint), da ich über den Weg eine SQL-Datenbankabfrage mit den richtigen Abfragekriterien fülle (später werden anstatt 10 Abfragekriterien z.B. 1000 eingelesen).
Dies funktioniert so lange bis mein .csv-File eine gerade Anzahl an Reihen hat, falls jedoch z.B. 23 Zeilen vorhanden sind, werden die letzten 3 Zeilen nicht mehr weiterverarbeitet, da "if($i3>= $breakpoint)" natürlich nicht erfüllt ist.
Diesen Fall wollte ich abfangen, indem ich prüfe ob der pointer meines FH (FIL) auf der letzten Position ist - also die letzte Zeile erreicht ist...
Der bisher erfolgreichste Versuch mit "if ($i3>= $breakpoint or $line_query_input== <FIL>)" ist gescheitert, da dadurch immer eine Zeile im File "übersprungen" wird. (Ich schätze, da durch <FIL> im if-Statement schon die nächste Zeile eingelesen wird und beim <FIL> in der While-Schleife dann nocheinmal.)

Meine Frage ist nun wie ich das Problem Lösen könnte... :)

EDIT: Neue Fragen (alternative Lösungsansätze?):
- Hat while ($line_query_input=<FIL>) vielleicht einen Return-Wert, den man abfragen könnte?
- Wäre es möglich NUR die letzte Zeile des Files (ohne CPAN) auszulesen (Performancegründe, die .csv hat ca 6000 Zeilen)? Dann könnte ich Prüfen ob genau der Datensatz "erreicht" ist und das in mein if ($i3>= $breakpoint) Statement mit aufnehmen

Vielen Dank im Vorraus für eure Bemühungen!

PS: Bitte wirklich nur auf die Problemstellung beschränken, ob mein Weg das SQL Query zu erstellen der optimalste ist sei erstmal dahin gestellt :D
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

my $i1=0; # initzialize File row counter to remove the first line (headline) my $i3=0; ### counterpart to the breakpoint my $breakpoint=10; ### till wich file-row the sql statement will be read my $sql = 1; our @query_out = (); while ($line_query_input=<FIL> and $i3 <= $breakpoint) { chomp($line_query_input); my @values = split(/\s*,\s*/, $line_query_input); push @data_array, [@values]; if ($i1>=1 && $sql ==1) # notwendig um sql abfrage richtig zu beginnen und die Überschriftszeile im csv-File zu überspringen { $query_out[$i1] = "(a.id= '$data_array[$i1][0]' and cc.code_nr = '$data_array[$i1][20]')"; $sql = 0; } elsif ($i1>1) { $query_out[$i1] = " OR (a.id = '$data_array[$i1][0]' and cc.code_nr = '$data_array[$i1][20]')"; } $i1++; ### line-counter $i3++; ### zählt bis $breakpoint, nach der weiterverarbeitung wird er wieder auf 0 gesetzt -> sdie nächsten 10 zeilen werden eingelesen if ($i3>= $breakpoint or $line_query_input== <FIL>) #### Fehlerquelle: or $line_query_input== <FIL> { # ....Weiterverarbeitung..... $i3 = 0; ### Die nächsten Zeilen können eingelesen werden...solange bis $breakpoint erreicht ist $sql = 1; @query_out = (); ### array leeren }
Last edited: 2012-08-01 09:11:31 +0200 (CEST)
- +2 replies
- Raubtier
  
  2012-07-31 16:58
  User since
  2012-05-04
  1076 articles
  BenutzerIn
  Erstens: dein Code ist furchtbar formatiert. Wie soll man da den Überblick haben, welcher Codeteil zu welchem if gehört?
  
  Deine ganzen Variablen verwirren.
  
  Mach doch mal den Einleseteil unabhängig von der Verarbeitung.
  
  Gehe z.B. so vor. Erst einlesen:
  lies eine Zeile und schmeiß sie weg - es ist die Überschrift.
  lies den Rest ins @data_array ein, Einträge wie gehabt [@values];
  
  Dann verarbeiten:
  
  Code: (dl )
  
  1 2 3 4
  
  while (@data_array) { @teileintraege = splice @data_arraz, 0, 10; verarbeiteTeileintraege(@teileintraege); }
  
  das verarbeiteTeileintraege hat dann immer maximal 10 Elemente.
  - norvel
    
    2012-08-01 08:36
    
    User since
    2012-07-26
    20 articles
    BenutzerIn
    
    Danke für die Antwort, leider passt sie nicht 100 % auf mein Problem, da ich das @data_array in der # ....Weiterverarbeitung..... noch brauche.
    
    Hat while ($line_query_input=<FIL>) vielleicht einen Return-Wert, den man abfragen könnte?
    
    EDIT: Ich habe diese "Codeformatierung" bei Java gelernt, welche ist denn hier üblich damit der Code besser lesbar wird?
    Last edited: 2012-08-01 08:54:43 +0200 (CEST)
- +3 replies
- AndiE
  
  2012-07-31 22:47
  
  User since
  2010-10-24
  65 articles
  BenutzerIn
  
  soweit ich das übersehe, wird das " a=d[1][0] and b=d[1][1] or a=d[2][0] and b=d[2][1] or a=d[3][0] and b=d[3][1] or... or a=d[10][0] and b=d[10][1]" . Vielleicht könnte man das auch mit einer "insert...select"-Anweisung durchführen.
  - +2 replies
  - norvel
    
    2012-08-01 08:51
    
    User since
    2012-07-26
    20 articles
    BenutzerIn
    
    Hey AndiE, auch an dich vielen Dank für die Antwort! Ich bin mir nicht ganz sicher wie du deine Lösung meinst.
    Nach meinem Verständnis widmest du dich gerade dem SQL-Statement?
    Mein eigentliches Problem ist jedoch, dass aufgrund dieses Codeabschnittes
    if ($i3>= $breakpoint) keine Weiterverarbeitung stattfinden kann, wenn nicht genau die Anzahl der Zeilen eingelesen wird, die im $breakpoint definiert ist. Werden also nur 5 Zeilen eingelesen "fallen sie" bei der Verarbeitung "hinten rüber" und der Code wird beendet.
    - AndiE
      
      2012-08-01 13:24
      
      User since
      2010-10-24
      65 articles
      BenutzerIn
      
      Ich meine, dass hinter SQL die "relationale Algebra" liegt, und du dir eine Menge Ärger sparen könntest. Nach meinem Empfinden hast du eine Datenbank mit sehr vielen Datensätzen, über die du eine Abfrage durchführen willst.
      "select...from..where A or B" hat das gleiche Ergebnis wie die Summe der Ergebnisse der Abfragen " ...where A" und "...where B". Bezüglich deiner Aufgabe wären das ja wohl nicht zwei sondern wohl mehrere tausend Bedingungen. Nun mit einer Anweisung "insert into ... select ... from ... where A" zu arbeiten, bedeutet, dass du die Ergebnisse der Abfragen in eine neue Tabelle legt, die mit den Abfragen wächst. Da du die Verbindung zur Datenbank nicht lösen brauchst, dürfte es wenig Laufzeitunterschiede geben, und der Code wäre leichter les- und wartbar.
      Wozu willst du die Abfragen überhaupt in Blöcke(10 oder 1000) zerlegen?
- +10 replies
- Muffi
  
  2012-08-01 09:01
  User since
  2012-07-18
  1465 articles
  BenutzerIn
  Code (perl): (dl )
  
  1 2 3 4 5 6 7 8 9
  
  sub naechstes_paeckchen { my $breakpoint = 10; for (1..$breakpoint) { my $line = <CSV>; break unless defined $line; ... } }
  
  Sowas in der Art? Ansonsten hab ich dein Problem noch nicht verstanden.
  1 + 1 = 10
  - +9 replies
  - norvel
    
    2012-08-01 09:32
    
    User since
    2012-07-26
    20 articles
    BenutzerIn
    
    Hey, auch ein guter Ansatz, vielen Dank!...das würde meinen Code etwas vereinfachen.
    
    Um mein Problem zu lösen bräuchte ich jedoch einen Rückgabeert oder irgendein anderes Kriterum, dass mir für meine if-Abfrage: if ($i3>= $breakpoint or $line_query_input== <FIL>) den dick gedruckten Teil ersetzt. Ich möchte prüfen ob sich der Line-Counter $line_query_input am Ende des Files befindet.
    Das Problem bei diesem Ansatz ist, dass anscheinend wieder eine Zeile eingelesen wird...Das führt dann zum "Überspringen" jeder 2. Zeile in der While-Schleife (while ($line_query_input=<FIL> and $i3 <= $breakpoint)).
    
    $line_query_input== <FIL> soll also die Abfrage sein ob sich der line-Counter $line_query_input am Ende des Files befindet.
    Last edited: 2012-08-01 09:38:17 +0200 (CEST)
    - +8 replies
    - Muffi
      
      2012-08-01 09:43
      
      User since
      2012-07-18
      1465 articles
      BenutzerIn
      
      Ich hab noch nicht ganz verstanden, warum du das wissen musst.
      
      Code (perl): (dl )
      
      1 2 3 4 5 6
      
      do { my @daten = naechstes_paeckchen(); .... } while (@daten); # nu iss die Datei wohl aus
      
      1 + 1 = 10
      - +7 replies
      - norvel
        
        2012-08-01 10:11
        
        User since
        2012-07-26
        20 articles
        BenutzerIn
        
        Wenn ich nicht weiß ob die Datei am eof (end of file) ist, kann ich mit meinem bisherigen Ansatz NUR die Weiterverarbeitung meines Codes vornehmen wenn $i3 auch wirklich die Anzahl der in $breakpoint festgelegten Zeilen erreicht hat (siehe: if ($i3>= $breakpoint)).
        
        Falls die Datei jedoch z.B. 23 Zeilen hat, ist es im 3. Durchlauf der äußeren While-Schleife natürlich nicht mehr möglich $i3 in die Weiterverarbeitungs-if-Abfrage (if ($i3>= $breakpoint)) zu springen...es wurden ja schließlich nur 3 Zeilen eingelesen - $i3 steht auf 2 - das Kriterium der if-Abfrage ist nicht erfüllt -> die while Schleife ist erfüllt & der Code ist zuende.
        Last edited: 2012-08-01 10:14:06 +0200 (CEST)
        
        +6 replies
        
        Muffi
        
        2012-08-01 10:32
        
        User since
        2012-07-18
        1465 articles
        BenutzerIn
        
        Mir gehts mit dem Code ähnlich wie Raubtier.
        Ich weiss nicht so recht was du vorhast.
        
        Kannst du das vielleicht in Worten beschreiben?
        Also was du vorgegeben hast und was später daraus werden soll.
        
        Also sowas wie: in einer CSV-Datei steht 1;2;3 und das soll nach mysql in 3 Zeilen mit jeweils einem der Werte. Oder irgendwas der Art.
        1 + 1 = 10
        
        +5 replies
        
        norvel
        
        2012-08-01 11:04
        
        User since
        2012-07-26
        20 articles
        BenutzerIn
        
        File-Aufbau:
        Das .csv File hat in der ersten Zeile Überschriften, alle Weiteren Zeilen sind mit Daten Gefüllt (angenommen: 6000 Zeilen, 23Einträge pro Zeile).
        
        Bsp:
        CUSTOMER_ID,CUSTOMER_NAME,COUNTRY_NAME,AREA_NAME...COUNT_DATE(YYYYMMDD)
        1111, Kunde1, Germany, NRW...20120725
        1111, Kunde1, Germany, NRW...20120726
        1112, Kunde2, Germany, BW...20120726
        ...
        ...
        (CUSTOMER_ID ist im code a.id)
        
        Ziel:
        In z.B.500er Schritten das File auslesen und durch:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13
        
        if ($i1>=1 && $sql ==1) { $query_out[$i1] = "(a.asset_id = '$data_array[$i1][0]' and cc.serial_nr = '$data_array[$i1][20]')"; print "$query_out[$i1][0]"; print "$query_out[$i1][20]"; $sql = 0; } elsif ($i1>1) { $query_out[$i1] = " OR (a.asset_id = '$data_array[$i1][0]' and cc.serial_nr = '$data_array[$i1][20]')"; print "$query_out[$i1][0]"; print "$query_out[$i1][20]"; }
        
        den SQL Query füllen: (Die Abfrage in 500er Stritten ist notwendig, da sonst die Datenbank bei so vielen OR's zu lange brauchen würde.)
        
        Code: (dl )
        
        my $db_query= "select (...) from (...) where (...)and (@query_out) group by (...)";
        
        Dann die Daten, die zurückkommen weiterverarbeiten (der richtigen Zeile zuordnen (indem über das @data_array Vergleiche laufen) & wegschreiben)
        
        Code: (dl )
        
        # ....Weiterverarbeitung.....
        
        Die nächsten 500 Zeilen einlesen, Weiterverarbeiten, die nächsten 500 Zeilen......die LETZTEN 43 Zeilen einlesen, Weiterverarbieten - hier liegt das Problem.
        Der Code:
        
        Code: (dl )
        
        if ($i3>= $breakpoint)
        
        fängt diesen Sonderfall nicht ab.
        Last edited: 2012-08-01 11:29:07 +0200 (CEST)
        
        +4 replies
        
        Muffi
        
        2012-08-01 11:18
        
        User since
        2012-07-18
        1465 articles
        BenutzerIn
        
        Jetzt glaub ich hab ichs kapiert :)
        
        Wenn du mein(e) Beispiele von oben nimmst und als @data z.B. Zeilen mit
        
        Code (perl): (dl )
        
        { asset_id => ..., serial_nr => ... }
        
        (ungetestet)
        
        Code (perl): (dl )
        
        1 2 3 4 5
        
        my @data = naechstes_paeckchen(); if (@data) { my $query_out = join(' OR ', map { "a.asset_id = $_->{asset_id} and cc.serial_nr = $_->{serial_nr}" } @data); ... }
        
        Allerdings solltest du keine Werte direkt in eine SQL-Query einfügen, schon garnicht wenn die von aussen kommen. Du fängst dir damit eine sql-injection-lücke ein.
        
        Lieber:
        
        Code (perl): (dl )
        
        1 2 3 4
        
        for my $line (@data) { push @where, 'a.asset_id = ? and cc.serial_nr = ?'; push @params, $line->{asset_id}, $line->{serial_nr}; }
        
        und wie man die Fragezeichen und die params dann zusammenbringt steht im dbi-manual
        1 + 1 = 10
        
        +3 replies
        
        norvel
        
        2012-08-01 11:34
        
        User since
        2012-07-26
        20 articles
        BenutzerIn
        
        Kann sein, dass dies eine Lösung wäre...wahrscheinlich müsste ich den ganzen Code für eine bessere Logik neu aufbauen...leider habe ich dafür eigentlich keine Zeit mehr und hatte gehofft es über meine Methode zu lösen.
        
        Die SQL-Injection-Lücke sollte kein Problem sein, da die Anfragen vom Firmennetz auf einen Server im Firmennetz gehen, oder?!
        
        Muffi
        
        2012-08-01 11:38
        
        User since
        2012-07-18
        1465 articles
        BenutzerIn
        
        zur Injection-lücke: Kann ich nicht sagen. Jemand könnte das CSV-Manipulieren um Sachen aus der Datenbank abfragen zu können.
        Und selbst wenn alles vertrauenswürdig ist besteht immer die Gefahr (eigene Erfahrung) dass sich immer der schlechteste Code durch STRG-C/V fortpflanzt (muss eine Art Murphys Gesetz sein) und irgendwann landets aufm Webserver.
        
        Ob du den Code nun umbaun kannst/willst/Zeit hast weiss ich nicht, aber so dramatisch viel ists ja nicht. Die Zeit wirst du bei der nächsten Wartung wohl wieder einsparen.
        1 + 1 = 10
        
        pq
        
        2012-08-01 11:52
        
        User since
        2003-08-04
        12208 articles
        Admin1
        
        2012-08-01T09:34:16 norvel
        Die SQL-Injection-Lücke sollte kein Problem sein, da die Anfragen vom Firmennetz auf einen Server im Firmennetz gehen, oder?!
        
        faule ausrede und am falschen ende gespart.
        sql-injection verhindern kostet nichts, man muss es nur einmal lernen. in der anwendung wird der code eh meist viel klarer, wenn man platzhalter benutzt.
        http://bobby-tables.com/
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
- +6 replies
- Raubtier
  
  2012-08-01 10:18
  
  User since
  2012-05-04
  1076 articles
  BenutzerIn
  
  Zur Formatierung: kann es sein, dass du vielleicht den Code nach dem Einstellen nochmal umformatiert hast? Ich war der Meinung, dass ursprünglich das $i1++; mal weiter rechts war. Jetzt habe ich zumindest an der Einrückung nichts auszusetzen.
  
  Quote
  EDIT: Neue Fragen (alternative Lösungsansätze?):
  - Hat while ($line_query_input=<FIL>) vielleicht einen Return-Wert, den man abfragen könnte?
  
  Was für einen für dich sinnvollen Return-Wert soll "while" denn haben? Ich verstehe nicht, was du hier tun willst.
  
  Quote
  - Wäre es möglich NUR die letzte Zeile des Files (ohne CPAN) auszulesen (Performancegründe, die .csv hat ca 6000 Zeilen)? Dann könnte ich Prüfen ob genau der Datensatz "erreicht" ist und das in mein if ($i3>= $breakpoint) Statement mit aufnehmen
  
  6000 Zeilen sind nicht viel. Hast du wirklich Performanceprobleme? Und sicher identifiziert, woran das liegt?
  
  Ansonsten kann ich nur generell sagen: ich verstehe nicht so recht, was du genau tun willst. Auf jeden Fall solltest du aber weniger globale Variablen verwenden und die Programmteile, die unterschiedliches tun (einlesen und verarbeiten) in unterschiedliche subs legen, damit der Code übersichtlicher wird.
  - +5 replies
  - norvel
    
    2012-08-01 10:43
    User since
    2012-07-26
    20 articles
    BenutzerIn
    
    Quote
    Was für einen für dich sinnvollen Return-Wert soll "while" denn haben? Ich verstehe nicht, was du hier tun willst.
    
    Damit meine ich ob ich durch das "$line_query_input=<FIL>" in dem while-Konstrukt (($line_query_input=<FIL> and $i3 <= $breakpoint)) irgendeinen Wert zurück bekomme der mir anzeigt, dass ich nun am Ende des Files bin.
    
    Quote
    6000 Zeilen sind nicht viel. Hast du wirklich Performanceprobleme? Und sicher identifiziert, woran das liegt?
    
    An sich nicht, soviel ich bis jetzt von Perl verstehe müsste ich jedoch den ganzen Prozess des in's Array einlesen bevor ich mit dem in der Frage geposteten Code anfange noch einmal vorschieben, oder?
    
    Also:
    
    Code: (dl )
    
    1 2 3 4 5 6 7 8 9 10
    
    ### 1. Schritt: Letzte Zeile des Files finden while ($line_query_input=<FIL>) { chomp($line_query_input); my @values = split(/\s*,\s*/, $line_query_input); push @data_array, [@values]; } ### 2. Schritt: Irgendwie das letzte Element auslesen, in temp-Array speichern um später die Werte im if-Statement zu vergleichen? ### 3. Schritt: Den in der Frage geposteten Code
    - +4 replies
    - Raubtier
      
      2012-08-01 11:07
      
      User since
      2012-05-04
      1076 articles
      BenutzerIn
      
      2012-08-01T08:43:30 norvel
      Damit meine ich ob ich durch das "$line_query_input=<FIL>" in dem while-Konstrukt (($line_query_input=<FIL> and $i3 <= $breakpoint)) irgendeinen Wert zurück bekomme der mir anzeigt, dass ich nun am Ende des Files bin.
      
      Hä? Natürlich, eine Zuweisung gibt den zugewiesenen Wert zurück. Das while hat doch gerade den Zweck, solange einzulesen bis das Dateiende erreicht ist - lass doch mal den komischen Krempel mit dem $i3 und $breakpoint weg!
      
      Quote
      Also:
      
      Code: (dl )
      
      ### 1. Schritt: Letzte Zeile des Files finden
      
      Warum, was soll das?! Verstehe ich schon nicht.
      
      Quote
      ### 2. Schritt: Irgendwie das letzte Element auslesen, in temp-Array speichern um später die Werte im if-Statement zu vergleichen?
      
      Was ist an dem letzen Element so speziell?
      
      Man kann nicht verstehen, was du eigentlich willst und warum. Ohne eine richtig sinnvolle Beschreibung sind weitere Hilfsversuche sinnlos. Für mich ist Ende hier.
      Last edited: 2012-08-01 11:09:09 +0200 (CEST)
      - +3 replies
      - norvel
        
        2012-08-01 11:13
        
        User since
        2012-07-26
        20 articles
        BenutzerIn
        
        Ich habe auf Muffi's Anfrage hin nocheinmal eine neue Beschreibung hinzugefügt, leider scheinst du aber inzwischen davon überzeugt zu sein, dass ich nur müll schreibe und liest somit auch nur müll aus - meiner Meinung nach - verständlichen Beschreibungen heraus.
        
        +2 replies
        
        Raubtier
        
        2012-08-01 11:38
        
        User since
        2012-05-04
        1076 articles
        BenutzerIn
        
        2012-08-01T09:13:13 norvel
        Ich habe auf Muffi's Anfrage hin nocheinmal eine neue Beschreibung hinzugefügt, leider scheinst du aber inzwischen davon überzeugt zu sein, dass ich nur müll schreibe und liest somit auch nur müll aus - meiner Meinung nach - verständlichen Beschreibungen heraus.
        
        Nein, das bin ich nicht. Übrigens: die Beschreibung auf Muffis Anfrage ist die erste halbwegs brauchbare!
        
        Hier als Tipp:
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17
        
        open my $datei, '<', "dateiname" or die ... scalar <$datei>; # remove first line while (my @zeilen = teil_aus_datei($datei, 10)) { #hier hat @zeilen dann maximal 10 Zeilen (oder weniger am Dateiende) #verarbeite die @zeilen } #mit folgender sub: sub teil_aus_datei { my ($fh, $max) = @_; my @result; while (<$fh>) { push @result, $_; last if @result == $max; } return @result; }
        
        Du hast nur gerade Glück, dass ich eigentlich gerade mit LaTeX kämpfe und als Frustabbau Fragen beantworte...
        Last edited: 2012-08-01 11:44:30 +0200 (CEST)
        
        norvel
        
        2012-08-01 13:06
        
        User since
        2012-07-26
        20 articles
        BenutzerIn
        
        Danke, dass du dir nochmal Zeit genommen hast!
        Für die Zukunft weiß ich ungefähr worauf ich bei der Formulierung achten muss ;) ..ist erst das 2. Mal, dass ich ein Forum nutze.
        
        Viel Erfolg bei LaTeX!
- norvel
  
  2012-08-02 13:19
  
  User since
  2012-07-26
  20 articles
  BenutzerIn
  
  Die Lösung, die nun am unkompliziertesten das gewünschte Ergebnis gebracht hat war die unschönste, die man sich vorstellen kann - Einfach den Code des if ($i3>= $breakpoint (..)) nocheinmal unter der while-Schleife anfügen, nur halt mit <= $breakpoint.....
  das hat jetzt dazu geführt, dass ich den Code (nun wirklich) nochmal neu aufbauen werde - ohne Subroutines ist das ganze Unterfangen nicht vernünftig realisierbar.
  Hier nochmal ein großes Dankeschön an alle hier, die das schon vor meiner Einsicht angemerkt haben ;)
  Last edited: 2012-08-02 13:20:28 +0200 (CEST)

View all threads created 2012-07-31 16:42.