Datenvisualisierung (XY-Diagramm) (Graphische Oberflächen)

[thread]16839[/thread]

Datenvisualisierung (XY-Diagramm)

Tags: perl5 GUI Tk Similar Threads

Readers: 30

Articles: hide open all | hide show old branches

+15 replies
guest hro

2011-10-22 21:02

Hallo,

ich beschaeftige mich schon laenger mit Perl, arbeite mich aber erst seit kurzem in TK ein.

Derzeit bin ich dabei, eine Messsoftware unter Linux von Labview nach Perl zu portieren.

Mein Problem ist die grafische Darstellung von sehr vielen Messwerten in einem XY-Diagramm ueber die Zeit.
Es koennen z.B. 50 Mio Messwerte x 10 Kanaele im Speicher vorliegen, die beim Eintreffen neuer Messwerte in Echtzeit (< 0,5 sec) zusammen mit den neuen Messwerten am Bildschirm dargestellt werden sollen.

Meine Frage ist nun, wie man das bewerkstelligt, welches Tool ist dazu geeignet?
Hat jemand in dem Bereich Erfahrungen und evtl. sogar Beispielcodes, wie man da herangehen kann?

Erfahrungen habe ich u.a. mit Gnuplot, jedoch nicht mit diesen Datenmengen und nicht mit der Einbindung der Darstellung in Perl/Tk.

Ueber konstruktive Antworten wuerde ich mich freuen.

Gruss hro
Last edited: 2011-10-22 21:49:31 +0200 (CEST)
- +12 replies
- AndiE
  
  2011-10-22 23:36
  
  User since
  2010-10-24
  65 articles
  BenutzerIn
  
  Hallo,
  
  das ist mir noch nicht klar, was du machen willst. Daher habe ich diese Fragen:
  Wieviel Meßwerte werden in 0,5 s je Kanal gesammelt?
  Wie sollen die Meßwerte dargestellt werden: Auflösung in Punkte je Meßwert und je Zeiteinheit.
  Werden die 50 Mio Meßrwerte alle 0,5 s übermittelt?
  - +11 replies
  - guest hro
    
    2011-10-23 05:10
    
    Hallo AndiE,
    
    die Messrate ist. i.d.R. schnellstens 1 sec. Es werden in i.d.R. ca. 10 Messwerte pro Sekunde eingelesen, es koennten aber auch 200 sein.
    Die 50 Mio Messwerte sind alle Messwerte pro Kanal. Die befinden sich im Speicher, die o.g. 10 ... 200 kommen z.B. sekuendlich dazu.
    Dargestellt werden muss jeder Y-Wert (Messwert) von max. 10 Kanaelen gleichzeitig ueber der Zeitachse (X).
    Die 0,5sec bezog ich damit auf die Echtzeit als das ertraegliche Mass, dass die Visualisierung verzoegert sein kann.
    Es muessen spaeter auch noch Zoom-Funktionen in X- und Y-Achse vorhanden sein.
    
    Gruss hro
    Last edited: 2011-10-23 10:09:11 +0200 (CEST)
    - +10 replies
    - AndiE
      
      2011-10-23 22:14
      
      User since
      2010-10-24
      65 articles
      BenutzerIn
      
      Hallo,
      
      wenn das aussehen soll, wie ein Streifenschreiber, oder bei einem Oszilloskop, dann hast du 1000-2000 Pixel zur Darstellung der Zeitachse zur Verfügung. So wie ich das jetzt verstanden habe, bekommst du alle 0,5 sek. eine Anzahl Meßwerte, die sich durch Meßwert und Meßzeitpunkt auszeichnen, und entsprechend dargestellt werden. Ich nehme an, dass die Meßergebnisse in einem Wertebereich liegen können. Um die zehn Kanäle gleichzeitig darstellen zu können, kann die Anzeige je Kanal etwa 75 bis 130 Pixel hoch sein.
      
      Wenn du Werte aus der Vergangenheit anzeigen willst, kannst du , so wie ich das sehe, entweder nur ein Fenster daraus anzeigen, oder durch Mittelwertbildung eine Trendansicht erzeugen.
      
      Sehe ich das so etwa richtig?
      - +9 replies
      - hro
        
        2011-10-24 04:24
        
        User since
        2011-10-23
        5 articles
        BenutzerIn
        
        Nein, es werden von den ausgewaehlten Kanaelen (bis zu 10) alle Daten angezeigt oder auch nur ein Zeitausschnitt. Und alle ausgewaehlten Kanale werden in einem Fenster uebereinandergelegt. Jeder Kanal bekommt seine eigene Farbe.
        Die Anzahl der Pixel ist von der Bildschirmaufloesung abhaengig und kann z.B 1600 x 1000 betragen.
        Dargestellt werden sollen keine Mittelwerte sondern jeder Messwert ueber dem entsprechenden Zeitwert. D.h. in der Konsequenz, dass , wenn die Aufloesung zu klein ist, 2 Messwerte uebereinander dargestelt werden.
        Ein Bild sagt manchmal mehr als 1000 Worte:
        www.ostx.de/perlc/Olten_MIS.png
        
        Gruss hro
        
        +8 replies
        
        Molaf
        
        2011-10-24 08:42
        
        User since
        2007-10-11
        119 articles
        BenutzerIn
        
        Ich habe schonmal was ähnliches gemacht, allerdings um Größenordnungen kleiner. Ein Balken über 50 Stunden, der einige Maschinenparameter und deren Änderungen anzeigt. Dabei waren aber mehrere Minuten (ich glaube jeweils 4 oder 6) zu einem Pixel zusammengefaßt). Das ganze Diagramm habe ich linienweise neu gezeichnet und immer Werte in einem Zeitschlitz zusammengefaßt. Also bei jedem Repeat eine weitere Linie von links nach rechts neu, so sieht dann auch das Scrolling nicht ruckig aus und das Programm zieht trotzdem kaum messbar Rechenzeit (mit dem Taskmanager).
        
        Bei Deinen Datenmengen bin ich aber skeptisch, ob jeder Wert einen eigenen Pixel im Canvas haben sollte, das wird das Programm vermutlich abschiessen.
        
        Gruß,
        Molaf
        
        +7 replies
        
        hro
        
        2011-10-24 08:59
        
        User since
        2011-10-23
        5 articles
        BenutzerIn
        
        Hallo Molaf,
        
        das ist ja auch der Grund, warum ich hier frage.
        Mit den eigenen Plotfunktionen von Tk wird das vermutlich viel zu lange dauern.
        Aber es wird vermutlich darauf spezialisierte Bibliotheken geben, die sowas besser (schneller) koennen.
        Ich habe mir schon gnuplot angeschaut, finde aber die Einbindung ziemlich krampfig und ausserdem sehr unvollstaendig. Und ob es schnell genug ist, alle Messwerte innerhalb 0,5sec neu zu zeichnen, bezweifle ich auch.
        
        Gruss hro
        
        AndiE
        
        2011-10-24 23:10
        
        User since
        2010-10-24
        65 articles
        BenutzerIn
        
        Mir ist eine Idee gekommen:
        
        Auf dem Bild sind ein Tag, also 86400 Meßwerte (eine Messung je Sekunde) in einem Bereich von 1000 Pixel dargestellt. Wenn man jetzt, die Minima und die Maxima für alle 100 sek ermittelt, dann erhält man 864 Wertepaare. Man könnte nun in einer Schleife für jedes Wertepaar eine senkrechte Linie zwischen Minimum und Maximum zeichnen. Dann würde man also 8640 Linien für die zehn Kanäle in 0,5 sek zeichnen müssen. Wäre das zeitlich machbar?
        
        topeg
        
        2011-10-25 00:53
        
        User since
        2006-07-10
        2611 articles
        BenutzerIn
        
        Ich persönlich finde Gtk2 besser. Optisch und in der Programmierung. Leider ist die Doku nicht so gut. Gerade bei Perl.
        
        Wenn es dir um einen Zeitverlauf geht, dann erzeuge ein Bild und verschiebe den Inhalt bei jedem wert um eine Einheit (Image::Magick z.B hat dafür Methoden, gd, auch Tk bietet auch Grafikfunktionen um Bilder zu manipulieren).
        
        Alternativ kannst du Für jede Spalte ein eigenes ImageObjekt erzeugen, das einen Wert enthält. Dann Die stellst du dar und verschiebst sie bei Bedarf, das älteste Imageobjekt befüllst du neu und platzierst es am Ende.
        Versuche bei schnellen Aktionen so wenig Perl wie möglich zu nutzen und mache so viel wie möglich in Methoden des grafischen Framework. Nativer Code ist 100 mal schneller als Perl. Und einige Grafikfunktionen sind noch viel schneller, da Hochoptimiert.
        
        Mal als Beispiel aus meiner Arbeit. Ich sollte Matrizen mit Werten Logisch verknüpfen. Ich habe daraus Bilder gemacht und mit Befehlen einer Grafiklib bearbeitet. Das war rund 1.000 bis 10.000 mal schneller als reiner Perl Code.
        
        Ich würde Vorschlagen, dass du zuerst eine ganz einfache Testapplikation machst in der du die Datenmengen erzeugst und versuchst darzustellen. Wenn Optimierungen nötig sind, dann schaue, wo du PerlCode durch Nativen Code ersetzen kannst. Versuche Konvertierungen oder Doppelte Berechnungen zu vermeiden.
        
        Wenn es zu Engpässen beim Speicher kommt versuche zu Komprimieren, indem du die "Auflösung" verschlechterst (z.B wenn die Werte einen Bereich von 0-2**64 dann reduziere die Größe auf ein darstellbares maß z.B 0-2**16) Wenn die Daten als Zeichenkette vorliegen (viele Laborgeräte liefern Stings ) kannst du sie auch in binäre Daten wandeln (z.B mit pack) Das spart platz (Perls Variablen sind verschwenderisch)
        
        +2 replies
        
        hro
        
        2011-10-25 07:52
        
        User since
        2011-10-23
        5 articles
        BenutzerIn
        
        Danke Euch beiden fuer die Anregungen.
        Ich werde mich die Tage mal damit beschaeftigen.
        
        Gestern habe ich mal Versuche zur Geschwindigkeit gemacht:
        Gnuplot aus Perl aufgerufen (Chart::Gnuplot), 10x30 (!) Messwerte: Dauer > 1sec
        Gnuplot im Terminal 10x37.000 Messwerte: Dauer ca. 2,5sec
        das Gleiche mit 10x370.000 Messwerten: Dauer ca. 20sec
        
        Bei den Versuchen stand dem Prozess ein Kern vom Phenom mit 2,8 GHz zur Verfuegung, den er auch voll ausgelastet hat, RAM war nicht annaehernd ausgelastet.
        Wenn ich daran denke, dass wir auch Einkerner mit 1GHz, 1GB, ja sogar Atome als Messrechner einsetzen ...
        
        Beim Terminal sind da auch die Zeiten drin, die Gnuplot braucht, um die Datei (hier ca. 70MB bei 45x370.000 Messwerten) vom Stick zu lesen und die Werte zur Verarbeitung umzurechnen. Aber wahrscheinlich hing die Datei eh noch im RAM.
        
        Bzgl. des Vorverarbeitens mache ich mir auch schon Gedanken. Wenn man nur wuesste, was der User vorhat ...
        Will er nun einen kleinen Ausschnitt rauszoomen, eine ganzes Jahr gleichzeitig darstellen oder nur eine Stunde ... man weiss es einfach nicht vorher.
        
        Gruss hro
        
        AndiE
        
        2011-10-25 23:12
        
        User since
        2010-10-24
        65 articles
        BenutzerIn
        
        Hallo,
        
        du kannst dem Kunden doch anbieten, in einem Dialog auszuwählen, was er sehen will:
        
        1 Jahr = 4 Quartale
        1 Quartal = 3 Monate
        1 Monat = 3 Dekaden
        1 Dekade = 2 mal 5 Tage
        1 Tag = 4 mal 6 Stunden
        6 Stunden = 3 x 2 Stunde
        2 Stunde = 4 mal 30 min
        30 min = 3 mal 600 s
        
        die Staffelung beträgt dann 1:2, 1:3 oder 1:4.
        
        Wie bei einem "alten Multimeter" würde der Kunde dann den Zeitbereich einstellen, und die anwendung würde die Daten entsprechend darstellen.
        Dann kannst du auch entsprechend die Daten vorbeieten.
        
        +2 replies
        
        Molaf
        
        2011-10-25 07:58
        
        User since
        2007-10-11
        119 articles
        BenutzerIn
        
        Hatte ich gestern vergessen zu erwähnen, Tk::Zink ist vielleicht dann das Mittel der Wahl. Das habe ich hier auf meiner Wunschliste schon ziemlich weit oben, aber bisher ging es mit zusammenfassen (also Auflösungsverschlechterung) und dem normalen Tk-Canvas noch immer irgendwie.
        
        hro
        
        2011-10-25 09:05
        
        User since
        2011-10-23
        5 articles
        BenutzerIn
        
        Das ist ein guter Tipp (heisst uebrigens Tk::Zinc).
        
        Das ist sicher der richtige Ansatz, nicht immer den kompletten Datensatz neu aufzubauen, sondern nur die Aenderungen; das hatten wir ja auch schon weiter oben erkannt.
        
        Ich schaue es mir auf jeden Fall mal an, auch wenn es sehr komplex aussieht. Aber einen Tod muss man sterben.
        
        Also danke fuer den Tipp.
        Gruss hro
- +2 replies
- hro
  
  2011-10-23 09:17
  
  User since
  2011-10-23
  5 articles
  BenutzerIn
  
  Habe mich jetzt mal registriert, da das mit dem Freischalten von Beitraegen natuerlich nervt.
  Aber offenbar geht es heutzutage nicht mehr anders.
  
  Gruss hro
  Last edited: 2011-10-23 10:09:13 +0200 (CEST)
  - pq
    
    2011-10-23 10:27
    
    User since
    2003-08-04
    12208 articles
    Admin1
    
    in vielen foren kann man heutzutage überhaupt nicht als gast posten =)
    Always code as if the guy who ends up maintaining your code will be a violent psychopath who knows where you live. -- Damian Conway in "Perl Best Practices"
    lesen: Wie frage ich & perlintro brian's Leitfaden für jedes Perl-Problem

View all threads created 2011-10-22 21:02.