Auslesen und Parsen einer Datei (Allgemeines zu Perl)

[thread]13469[/thread]

Auslesen und Parsen einer Datei

Leser: 19

Articles: hide open all | hide show old branches

+24 replies
Gast Ando

2009-05-04 19:40
Hallo liebe Perl-Community.

Ich hoffe Ihr könnt mir weiter helfen. Ich sag es von vorne rein ich hab
gar keine Ahnung von Perl und da liegt das Problem.

Auf unserem Server wird ein Kunde gehostet der Perl in seinen Scripten einsetzt. Vom Programmieren hat er auch keine Ahnung es ist ein gekauftes Script. Jetzt tritt folgendes Problem auf.

Es wird versucht eine XML-Ähnliche Datei einzulesen und zu Parsen. Ist die Datei kleiner als 33KB funktioniert es ohne Probleme sobald die datei grösser ist geht es nicht mehr und wir wissen nicht woran es liegen kann. Hier der Code der das Ganze verarbeitet.
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39

sub parseXMLfile { my $file = shift; my $xml; my %xml; # datei einlesen if ( dbLockOpen( IN, "<$file" ) ) { while (<IN>) { $xml .= $_; } dbLockClose( IN, "$file" ); } else { return; } # xml-tags suchen while ( ( $xml =~ /(<([a-zA-Z0-9\-_]+)>)/ ) ) { my $tagName = $2; my $tag = $1; if ( ( $xml =~ /<($tagName)>((.|\n)*?)<\/$tagName>/i ) ) { # gefunden tag speichern my $tag = $1; # von $tag umschlossenen text suchen $xml =~ /(<$tag>((.|\n)*?)<\/$tag>)/i; # value speichern $value = $2; # gesamten gefundenen tag loeschen $xml =~ s/(<$tag>((.|\n)*?)<\/$tag>)//i; $xml{ lc($tag) } = $value; } else { $xml =~ s/$tag// ; # gefundenen anfangstag loeschen (da kein endtag vorhanden) } } return %xml; }
Hier der aufbau der Datei.
Code: (dl )

1 2 3 4 5 6 7 8 9 10 11 12

<VERSION>1.0</VERSION> <HTML>on</HTML> <REPLY-TO>info@example.org</REPLY-TO> <FROM>XXXXX</FROM> <ATTACH></ATTACH> <SUBJECT>XXXXXX</SUBJECT> <FILTERS></FILTERS> <TRACKOPENINGS></TRACKOPENINGS> <PERSONALIZEDTRACKING></PERSONALIZEDTRACKING> <CHARSET>ISO-8859-1</CHARSET> <HTML-PART></HTML-PART> <PLAIN-PART></PLAIN-PART>
Der meiste Text steht unter
Code: (dl )

<HTML-PART></HTML-PART>
und genau das wird falsch verarbeitet. Das sonderbare ist.. das es auf einem anderen server ohne probleme funktioniert hat. Liegt das vielleicht an irgendwelchen Apache/Perl/CGI einstellunge.

Ich hoffe sehr das mir jemand helfen kann da ich dieser Sache schon verzweifle. :((((

mod-edit pq: email-adresse anonymisiert
mod-edit renee: dateinamen auf wunsch ge"x"t
Last edited: 2009-05-04 21:04:53 +0200 (CEST)
- +2 replies
- pq
  
  2009-05-04 19:57
  User since
  2003-08-04
  12208 Artikel
  Admin1
  hi,
  
  am besten wäre natürlich ein komplettes (mimimales) skript, was den fehler reproduziert. erstmal wäre aber wichtig, dass du schreibst, was "geht es nicht mehr" bedeutet. wenn das skript stirbt, poste die fehlermeldung. wenn nicht, was passiert dann?
  generell kann man immer recht einfach debuggen, indem man ein paar print-statements ins programm schreibt, um zu schauen, an welche stelle perl kommt und an welche nicht. also z.b. in zeile 18:
  
  Code (perl): (dl )
  
  warn "Found tag $tag ($tagName)";
  
  dann siehst du im errorlog, was perl findet und was nicht.
  
  ich würde aber ganz abgesehen davon empfehlen, z.b. XML::Parser einzusetzen, denn xml mit regexes parsen macht man einfach nicht...
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - Gast Ando
    
    2009-05-04 20:03
    Ich werde gleich mal ein mininmalscript zusammen stellen. :)
    
    Das mit geht nicht mehr, sieht folgendermaßen aus:
    bei dem <HTML-PART> Tag springt er in die else Anweisung und das wars.
    
    Code: (dl )
    
    1 2
    
    $xml =~ s/$tag// ; # gefundenen anfangstag loeschen (da kein endtag vorhanden)
    
    somit wird der <HTML-PART> nicht verarbeitet.
- +4 replies
- Linuxer
  
  2009-05-04 20:10
  User since
  2006-01-27
  3875 Artikel
  HausmeisterIn
  Guest Ando
  Das sonderbare ist.. das es auf einem anderen server ohne probleme funktioniert hat. Liegt das vielleicht an irgendwelchen Apache/Perl/CGI einstellunge.
  
  Wenn es auf einem anderen Server funktioniert, dann stellt sich die Frage, ob wirklich
  
  das gleiche Skript benutzt wurde
  die gleiche Datendatei benutzt wurde
  worin der Unterschied zwischen den beiden Systemen besteht (OS, Webserver, Perl-Version, Versionen der verwendeten Perl-Module)
  
  Ansonsten hat pq schon passend geantwortet.
  meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
  Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
  - +3 replies
  - Gast Ando
    
    2009-05-04 20:17
    Ja es wurde das gleiche Script benutzt. Da ich alles per Rsync auf den neuen
    Server überspielt wurde. Somit ist auch die Datendatei die gleiche.
    Der unterschied besteht im OS beim alten war es der Debian Etch und der neue läuft mit dem Debian Lenny. Leider können wir die Module und versionen nicht mehr vergleichen da der alte Server abgeschaltet wurde. (Leider wurde der Bug von dem Kunden erst spät entdeckt)
    
    Hmm irgendwie kriege ich kein mininaml script zusammen. Wie gesagt ich hab kein plan von Perl bin eher im PHP-Bereich zuahuse ))
    
    Aber das was ich als Beispiel angebracht hab ist schon eigentlich das ganze Script. Der Aufbau der Datei ist auch da man kann einfach ein 35000 langen Bindtext zwischen
    
    Code: (dl )
    
    <HTML-PART></HTML-PART>
    
    einfügen und somit den Fehler reproduzieren
    
    Also ich denke mal es liegt am Server und nicht am Script selbst aber was kann da falsch konfiguriert sein ? :(((
    - +2 replies
    - pq
      
      2009-05-04 20:25
      
      User since
      2003-08-04
      12208 Artikel
      Admin1
      
      welche perl-version(en) sind das jeweils? tippe perl -v
      schon sehr komisch, dass eine regex nicht mehr matcht, wenn es 35k zeichen sind.
      Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
      lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - Gast Ando
        
        2009-05-04 20:29
        
        This is perl, v5.10.0 built for i486-linux-gnu-thread-multi
        
        Copyright 1987-2007, Larry Wall
        
        Perl may be copied only under the terms of either the Artistic License or the
        GNU General Public License, which may be found in the Perl 5 source kit.
        
        Complete documentation for Perl, including FAQ lists, should be found on
        this system using "man perl" or "perldoc perl". If you have access to the
        Internet, point your browser at http://www.perl.org/, the Perl Home Page.
- +15 replies
- pq
  
  2009-05-04 20:39
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  linuxer und ich haben es beide reproduzieren können mit perl5.10. mit 5.8.8 funktioniert es. scheint irgendeine begrenzung von regexes zu sein, aber muss ein bug sein...
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - +14 replies
  - Linuxer
    
    2009-05-04 20:41
    
    User since
    2006-01-27
    3875 Artikel
    HausmeisterIn
    
    Info:
    Hat der Inhalt von html_part eine größe von mehr als 32_767 ( (2**15) - 1) zeichen, gibt es kein ergebnis mehr .... (bei perl 5.10)
    Last edited: 2009-05-04 20:44:09 +0200 (CEST)
    meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
    Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
    - +13 replies
    - Gast Ando
      
      2009-05-04 20:44
      
      Ich danke euch für eure Hilfe.
      
      Was würdet ihr mir in diesem Fall raten ? Was kann ich jetzt machen ? Es bleibt wohl nichts anderes über als das Script umzuschreiben oder ?
      - pq
        
        2009-05-04 20:50
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        versuch mal folgendes:
        ersetze das
        ((.|\n)*?)
        durch
        (.*?)
        und mache hinter das /i hinter der regex noch ein /s
        das bedeutet, dass der punkt auch ein \n matchen soll.
        das scheint es hier zu lösen.
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
      - +11 replies
      - Gast Ando
        
        2009-05-04 20:53
        
        Könnt ihr mir sagen wie ich hier im Forum einem Moderator kontaktieren kann, der mein Posting korrigiert ?
        
        +3 replies
        
        Gast Ando
        
        2009-05-04 20:57
        
        So ???
        
        Code: (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
        
        while ( ( $xml =~ /(<([a-zA-Z0-9\-_]+)>)/ ) ) { my $tagName = $2; my $tag = $1; if ( ( $xml =~ /<($tagName)>(.*?)<\/$tagName>/i/s ) ) { # gefunden tag speichern my $tag = $1; # von $tag umschlossenen text suchen $xml =~ /(<$tag>(.*?)<\/$tag>)/i/s; # value speichern $value = $2; # gesamten gefundenen tag loeschen $xml =~ s/(<$tag>(.*?)<\/$tag>)//i/s; $xml{ lc($tag) } = $value; } else { $xml =~ s/$tag// ; # gefundenen anfangstag loeschen (da kein endtag vorhanden) } }
        
        pq
        
        2009-05-04 21:00
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        Guest Ando
        
        Code: (dl )
        
        if ( ( $xml =~ /<($tagName)>(.*?)<\/$tagName>/i/s ) ) {
        
        nein, so:
        
        Code (perl): (dl )
        
        if ( $xml =~ m{<($tagName)>(.*?)<\$tagName>}is ) {
        
        (hab mal noch die 2 überflüssigen klammern rausgenommen und den regex-delimiter geändert)
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        Linuxer
        
        2009-05-04 21:01
        
        User since
        2006-01-27
        3875 Artikel
        HausmeisterIn
        
        Nein, die Modifier werden direkt aneinander geschrieben; also:
        
        Code: (dl )
        
        1 2 3
        
        # beispiele s/bla/blub/is; s/bli/blob/igs;
        
        ich hab mal den code der while schleife zusammen gefasst. so müsste er die gleiche aufgabe erledigen ohne mehrmalig die gleiche Regex zu bauen und zu verarbeiten (keine Gewähr, bei meinem Test sah das Ergebnis gut aus ;) ):
        
        Code (perl): (dl )
        
        1 2 3 4 5 6 7 8 9 10 11 12 13 14
        
        # xml-tags suchen while ( my ( $tagName ) = $xml =~ /<([a-zA-Z0-9\-_]+)>/ ) { # versuche ein tag mit schliessendem tag zu entfernen, # speichere dabei den gefundenen tag-inhalt im hash ab if ( $xml =~ s/<$tagName>(.*?)<\/$tagName>//is ) { $xml{ lc($tagName) } = $1; } # ansonsten loesche startendes tag (da kein ende-tag vorhanden) else { $xml =~ s/<$tagName>//; } }
        
        edit1: Zeile 06: (.+?) durch (.*?) ersetzt!
        edit2: Zeile 11: s/$tagName//; duch s/<$tagName>//; ersetzt!
        edit3: edits editiert
        Last edited: 2009-05-04 21:43:17 +0200 (CEST)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +7 replies
        
        pq
        
        2009-05-04 20:58
        
        User since
        2003-08-04
        12208 Artikel
        Admin1
        
        ich bin eine moderatorin
        Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
        lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
        
        +2 replies
        
        Gast Ando
        
        2009-05-04 21:03
        
        @pq könntest du aus meinem ersten post den domainnamen entfernen .. Danke :)
        
        <FROM>xxxxxxxxx</FROM>
        <ATTACH></ATTACH>
        <SUBJECT>xxxxxxxx</SUBJECT>
        
        renee
        
        2009-05-04 21:05
        
        User since
        2003-08-04
        14371 Artikel
        ModeratorIn
        
        Guest Ando
        @pq könntest du aus meinem ersten post den domainnamen entfernen .. Danke :)
        
        <FROM>xxxxxxxxx</FROM>
        <ATTACH></ATTACH>
        <SUBJECT>xxxxxxxx</SUBJECT>
        
        erledigt (auch wenn ich nicht pq bin ;-) )
        OTRS-Erweiterungen (http://feature-addons.de/)
        Frankfurt Perlmongers (http://frankfurt.pm/)
        --
        
        Unterlagen OTRS-Workshop 2012: http://otrs.perl-services.de/workshop.html
        Perl-Entwicklung: http://perl-services.de/
        
        +4 replies
        
        Gast Ando
        
        2009-05-04 21:05
        
        @ Linuxer
        
        Danke dein Code-Snippet funktioniert wunderbar. :)))
        
        +3 replies
        
        Linuxer
        
        2009-05-04 21:16
        
        User since
        2006-01-27
        3875 Artikel
        HausmeisterIn
        
        Beachte die Korrektur in meinem Code-Snippet.
        
        Ich habe
        
        Code: (dl )
        
        (.+?)
        
        durch
        
        Code: (dl )
        
        (.*?)
        
        ersetzt!
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
        
        +2 replies
        
        Gast Ando
        
        2009-05-04 21:21
        
        2009-05-04T19:16:19 Linuxer
        Beachte die Korrektur in meinem Code-Snippet.
        
        Ich habe
        
        Code: (dl )
        
        (.+?)
        
        durch
        
        Code: (dl )
        
        (.*?)
        
        ersetzt!
        
        Gut das du es nochmal gesagt hast, sonst hätte ich es übersehen :) Danke.
        
        Linuxer
        
        2009-05-04 21:34
        
        User since
        2006-01-27
        3875 Artikel
        HausmeisterIn
        
        *ARGH* nochmaliger Edit... Siehe msg #121167
        Last edited: 2009-05-04 21:36:31 +0200 (CEST)
        meine Beiträge: I.d.R. alle Angaben ohne Gewähr und auf Linux abgestimmt!
        Die Sprache heisst Perl, nicht PERL. - Bitte Crossposts als solche kenntlich machen!
- +2 replies
- pq
  
  2009-05-04 21:19
  
  User since
  2003-08-04
  12208 Artikel
  Admin1
  
  ich habe das jetzt als bug reported:
  http://rt.perl.org/rt3/Public/Bug/Display.html?id=...
  Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
  lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem
  - Gast Ando
    
    2009-05-04 21:24
    
    Ihr solltet euch mal eine kleine PayPal Spende-Funktion oder ähnliches anschaffen ;)

View all threads created 2009-05-04 19:40.