unbekanntes XML-File in CSV (Allgemeines zu Perl)

[thread]18850[/thread]

unbekanntes XML-File in CSV

Tags: perl5 Similar Threads

Readers: 17

Articles: hide open all | hide show old branches

+9 replies

guest mordur.

2014-01-16 14:45

Hallo,

ich habe z.B. folgendes XML:

Code: (dl )

<user>
   <firstName>Sebastian</firstName>
   <telephoneNumber>100</telephoneNumber>
   <associatedDevices>
                  <device>SEP111111111111</device>
                  <device>CSFBLA</device>
                  <device>SEP222222222222</device>
   </associatedDevices>
   <primaryExtension>
                  <pattern>100</pattern>
                  <routePartitionName>PT_Intern</routePartitionName>
   </primaryExtension>
   <associatedGroups>
            <userGroup>
                     <name>Standard CTI Enabled</name>
                     <userRoles>
                        <userRole>Standard CTI Enabled</userRole>
                     </userRoles>
            </userGroup>
            <userGroup>
                     <name>Standard CCM End Users</name>
                     <userRoles>
                        <userRole>Standard CCM End Users</userRole>
                        <userRole>Standard CCMUSER Administration</userRole>
                     </userRoles>
            </userGroup>
    </associatedGroups>
</user>

Ist also nicht ganz trivial.
Ich habe nun ein Perl-Script, dass soll mir daraus ein CSV machen. Funktioniert soweit auch ganz gut mit AnyData:

Code: (dl )

adConvert( 'XML', $self->{xmlFile}, 'CSV', $self->{output_file_csv},	$flags );

Das Ergebnis ist aber ziemlich flach, denn mit $flags kann ich wohl nur einen Startknoten vom XML angeben (hier "user").
Daher sieht die CSV dann so aus:

Code: (dl )

1
2

firstName,telephoneNumber,device,pattern,routePartitionName,name,userRoles
Sebastian,100,,,,,,

Schöner waere natürlich so eine CSV:

Code: (dl )

firstName,telephoneNumber,device,pattern,routePartitionName,name,userRoles
Sebastian,100,SEP111111111111,100,PT_Intern,Standard CTI Enabled,Standard CTI Enabled,
,,CSFBLA,,,Standard CCM End Users,Standard CCM End Users
,,SEP222222222222,,,,Standard CCMUSER Administration

Der Knackpunkt ist nun, dass ich gar nicht weiss, wie die Knoten der XML heissen und dass es noch mehr und tiefere Verzweigungen gibt als im Beispiel angegeben.
1. Kann man daher die XML nicht mit einem Loop solange durchlaufen, bis keine Kinderknoten mehr zu finden sind und dann die
Daten entsprechend aufbereiten OHNE die Knotennamen zu kennen?
2. Was mich weiter wundert, ist, das Anydata zwar die Kinder findet und als Ueberschrift setzt (im XML oben zum Beispiel "device", jedoch die Inhalte nicht schreibt, weil es mehr als einer ist.

modedit Editiert von GwenDragon: Beitrag aus defektem Thread restauriert
Last edited: 2014-01-16 14:46:33 +0100 (CET)

+5 replies
GwenDragon

2014-01-16 15:05

User since
2005-01-17
14835 articles
Admin1

Ist AnyData notwendig oder willst du auch andere Module verwenden?
die Drachin Gwen

Meine Perl-Artikel · perldev – verschiedene Perl-Versionen unter Windows starten
- +4 replies
- mordur
  
  2014-01-16 15:43
  
  User since
  2003-09-25
  182 articles
  BenutzerIn
  
  Ich kann auch andere Module verwenden. Ich bekomme aus SOAP-Anfragen eine XML-struktur zurück und die kann man ja niemanden ernsthaft vorlegen- also eben CSV oder auch Excel und so kam ich zu AnyData.
  - +3 replies
  - bianca
    
    2014-01-17 09:37
    
    User since
    2009-09-13
    7016 articles
    BenutzerIn
    
    Ich nutze für XML sehr gern XML::Simple und dafür gibt es auch XML::Simple::Tree mit dem man sich durch die Struktur bewegen kann.
    10 print "Hallo"
    20 goto 10
    - +2 replies
    - hlubenow
      
      2014-01-18 00:50
      
      User since
      2009-02-22
      877 articles
      BenutzerIn
      
      2014-01-17T08:37:16 bianca
      Ich nutze für XML sehr gern XML::Simple und dafür gibt es auch XML::Simple::Tree mit dem man sich durch die Struktur bewegen kann.
      
      Hmm, ich finde das mit diesen Modulen im Moment nicht so einfach. Könntest Du (oder jemand anders) bitte mal ein Beispiel zu obigem XML posten?
      Wahrscheinlich will man alle Children finden, siehe
      
      http://www.perlmonks.org/?node_id=600338
      
      Dazu:
      
      Quote
      I find generally that XML::Simple ain't. Try XML::TreeBuilder or XML::Twig instead
      
      Leider wollen diese Module ein für mich zu neues Perl.
      
      Grundsätzlich ist es ja außerdem so, daß XML im Prinzip unendlich verschachtelt sein kann. Man kann daher durchaus nicht jeden XML-Code als CSV darstellen, bzw. in CSV umwandeln.
      Last edited: 2014-01-18 00:54:22 +0100 (CET)
      - rosti
        
        2014-01-18 08:44
        
        User since
        2011-03-19
        3566 articles
        BenutzerIn
        
        Quote
        Grundsätzlich ist es ja außerdem so, daß XML im Prinzip unendlich verschachtelt sein kann. Man kann daher durchaus nicht jeden XML-Code als CSV darstellen, bzw. in CSV umwandeln.
        
        Mit dem richtigen Algorithmus kanst Du auch das: Beliebig tief geschachtelte Datenstrukturen in CSV umwandeln.
        
        --Rosti
        http://blog.rolfrost.de/
        
        The art of steam.
+3 replies

topeg

2014-01-18 18:01

User since
2006-07-10
2611 articles
BenutzerIn

user image

Mal aus der Hüfte geschossen:
more (21.6kb)

Das Script erzeugt aus einer beliebigen XML-Datei CVS Daten.
Aber es ist nicht immer möglich das eine Zeile "Vollständig" ist. Dazu müsste man die Logik noch erweitern und Spezialfälle besonders behandeln.

Manche Strukturen sind gar nicht aufzulösen. Speziell wenn mehere sub-Bäume Listen enthalten. (Siehe dein Beispiel)
Man kann versuchen für jede Kombination aus den Listen eine Zeile zu erzeugen. Das ist aber nicht immer sinnvoll, da die Daten keine direkte Beziehung haben.

Als Dummes Beispiel:
Dein XML-Datensatz zu einem UserAccont, enthält sowohl eine Liste von Buchtiteln, eine Liste von Kontonummer und eine Liste von Gerichten.
Wollte man das in ein CSV übertragen in dem jede Spalte einen "Vollständigen" Datensatz enthält müsste jeder Buchtitel mit jeder Kontonummer mit jedem Gericht kombiniert werden. Was völliger Unsinn ist. :-)

+2 replies

hlubenow

2014-01-18 18:28

User since
2009-02-22
877 articles
BenutzerIn
[default_avatar]

Hey, das ist cool!

Noch zu meinen Versuchen: Ich hab' jetzt doch geschafft, XML::Twig bei mir zu installieren, komme aber noch nicht so recht damit klar.

XML-Verarbeitung hatte ich sonst nur in Python probiert. Meist bin ich diesen Weg gegangen, mit einer rekursiven Funktion. Das Modul dort soll auch nicht mehr so recht das sein, was man heute üblicherweise verwendet. Aber ich bin damit immer noch am besten zurechtgekommen. Es unterscheidet im XML unter anderem "Element-Nodes" und "Text-Nodes".
Zu dem Beispiel bekomme ich eine Ausgabe mit:

Code (python): (dl )

#!/usr/bin/env python
# coding: iso-8859-1

import xml.dom.minidom

xmlstring = """<user>
   <firstName>Sebastian</firstName>
   <telephoneNumber>100</telephoneNumber>
   <associatedDevices>
                  <device>SEP111111111111</device>
                  <device>CSFBLA</device>
                  <device>SEP222222222222</device>
   </associatedDevices>
   <primaryExtension>
                  <pattern>100</pattern>
                  <routePartitionName>PT_Intern</routePartitionName>
   </primaryExtension>
   <associatedGroups>
            <userGroup>
                     <name>Standard CTI Enabled</name>
                     <userRoles>
                        <userRole>Standard CTI Enabled</userRole>
                     </userRoles>
            </userGroup>
            <userGroup>
                     <name>Standard CCM End Users</name>
                     <userRoles>
                        <userRole>Standard CCM End Users</userRole>
                        <userRole>Standard CCMUSER Administration</userRole>
                     </userRoles>
            </userGroup>
    </associatedGroups>
</user>"""

suitablestring = ""

for i in xmlstring: 
    i = i.strip()
    suitablestring += i

dom = xml.dom.minidom.parseString(suitablestring) 
 
def dokument(domina):
    for node in domina.childNodes:
        if node.nodeType == node.ELEMENT_NODE:
            print node.nodeName
        if node.nodeType == node.TEXT_NODE:
            print "Value: " + node.nodeValue.strip()
            print
        dokument(node)
 
dokument(dom)

Ausgabe wäre dann:

Code: (dl )

user
firstName
Value: Sebastian

telephoneNumber
Value: 100

associatedDevices
device
Value: SEP111111111111

device
Value: CSFBLA

device
Value: SEP222222222222

primaryExtension
pattern
Value: 100

routePartitionName
Value: PT_Intern

associatedGroups
userGroup
name
Value: StandardCTIEnabled

userRoles
userRole
Value: StandardCTIEnabled

userGroup
name
Value: StandardCCMEndUsers

userRoles
userRole
Value: StandardCCMEndUsers

userRole
Value: StandardCCMUSERAdministration

Das ist plausibel, aber ich wüßte jetzt nicht, wie man daraus CSV in einer Tabelle mit jeweils einer Überschrift pro Spalte machen sollte, eben wegen der Verschachtelungen.

hlubenow

2014-01-21 01:36

User since
2009-02-22
877 articles
BenutzerIn
[default_avatar]

Lustig, der (altmodische) Python-Weg oben geht auch in Perl, mit XML::DOM:

Code (perl): (dl )

#!/usr/bin/perl

use warnings;
use strict;

use XML::DOM;

my $xmlstring = <<END;
<user>
   <firstName>Sebastian</firstName>
   <telephoneNumber>100</telephoneNumber>
   <associatedDevices>
                  <device>SEP111111111111</device>
                  <device>CSFBLA</device>
                  <device>SEP222222222222</device>
   </associatedDevices>
   <primaryExtension>
                  <pattern>100</pattern>
                  <routePartitionName>PT_Intern</routePartitionName>
   </primaryExtension>
   <associatedGroups>
            <userGroup>
                     <name>Standard CTI Enabled</name>
                     <userRoles>
                        <userRole>Standard CTI Enabled</userRole>
                     </userRoles>
            </userGroup>
            <userGroup>
                     <name>Standard CCM End Users</name>
                     <userRoles>
                        <userRole>Standard CCM End Users</userRole>
                        <userRole>Standard CCMUSER Administration</userRole>
                     </userRoles>
            </userGroup>
    </associatedGroups>
</user>
END

my @xml = split("\n", $xmlstring);
my $suitablestring = "";

for my $i (@xml) {
    $i = strip($i);
    $suitablestring .= $i;
}

my $parser = new XML::DOM::Parser;
my $dom = $parser->parsestring($suitablestring);

sub strip { 
    my $a = shift;
    $a =~ s/^\s+//;
    $a =~ s/\s+$//;
    return $a;
}

sub dokument {
    my $domina = shift;
    my @childNodes = $domina->getChildNodes();
    for my $node (@childNodes) {
        if ($node->getNodeType() == ELEMENT_NODE) {
            print $node->getNodeName() . "\n";
        }
        if ($node->getNodeType() == TEXT_NODE) {
            print "Value: " . strip($node->getNodeValue()) . "\n\n";
        }
        &dokument($node);
    }
}
&dokument($dom);

View all threads created 2014-01-16 14:45.