Web-Testing? (Allgemeine technische Fragen)

[thread]17817[/thread]

Web-Testing?

Leser: 18

Articles: hide open all | hide show old branches

+10 replies
jan

2012-10-06 19:26

User since
2003-08-04
2536 Artikel
ModeratorIn

Hey,

was nutzt ihr für's Web-Testing? Mir geht's primär um generelle Funktionstests als auch um spezifische Applikationstests.
Zabbix (mag ich übrigens seit kurzem sehr) bietet da Web Scenarios, das ist mir aber etwas zu unflexibel. Ich will entsprechend nach Server-Upgrades meine Webseiten durchtesten, ob sie noch funktionieren -- kann ja immer mal sein, dass irgendein PHP-Update irgendwas verunmöglicht hat.

Was nutzt ihr da so? Und Warum das und nicht was anderes?
- +7 replies
- topeg
  
  2012-10-06 20:31
  
  User since
  2006-07-10
  2611 Artikel
  BenutzerIn
  
  Der einfachste Vergleich den ich immer mache wenn es nötig ist:
  Ich neheme eine Liste mit präparierten Links. Damit hole ich das HTML der Webseiten (LWP::Simpe z.B), mache eine Quersumme darüber (md5). Zu jedem Linke speichere ich die Quersumme. Dann mache ich das Update und wiederhole den den Test und prüfe dabei ob sich die Quersumme verändert hat. Bei Jeder Veränderung wird die URL ausgegeben und ich kann das Prüfen.
  
  Das ganze kann man auch grafisch machen, wenn man viel Javascript hat (beim Update von Javascript-Libs kann es ja auch zu Problemen kommen), das Inhalte generiert. Foto von allen Webseiten (Man kann z.B Gtk2::WebKit dafür benutzen) und diese Speichern. Nach dem Update alle Webseiten nochmal abklappern und das alte Bild mit dem neuen per XOR verbinden. Nun noch den Durchschnitt aller Pixel erstellen. Wenn der "Weiß" ist, also den Maximalen Wert hat (oder sehr nahe dran ist). Dann ist alles in Ordnung, wenn das nicht der Fall ist URL und das XOR-Bild anzeigen.
  
  Wenn du einen generellen Test machen willst. Dann kannst du die Webseiten nach PHP-Fehlermeldungen durchstöbern.
  - +6 replies
  - jan
    
    2012-10-06 21:26
    
    User since
    2003-08-04
    2536 Artikel
    ModeratorIn
    
    Klingt gut, aber das funktioniert vermutlich eher nur bei statischen Seiten, oder? Ich mein, wenn ich z.B. eine Seite mit wechselnden Inhalten (Neuigkeiten etc) nehme, ist der hash nie der selbe, und auch das Bild wird sich ordentlich unterscheiden.
    
    Klar, man kann natürlich auch gewisse Comments im HTML einbauen, "ich hab erfolgreich zur DB connected" etc pp, aber das klingt auch nicht ideal. Ist wohl auch ne Sache: wenn ich nur eine Seite habe, die ich überwachen muss, ist das leichter als wenn ich 30 habe bei denen ich die Funktion sicherstellen will.
    - +5 replies
    - topeg
      
      2012-10-06 22:12
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Nun es kommt darauf an wie du es machst. Wenn du die Seite zum Warten vom Netz nimmst und sie damit nur "lokal" erreichbar ist, wird sie sich auch nichts am Inhalt ändern. Zudem kannst du ja die Testdaten so wählen das die Ausgabe immer die selbe sein sollte. (Ich habe dafür einen Testaccount, mit Testdaten verwendet.)
      
      Die Bild-Variante kommt auch mit größeren Veränderungen klar, wenn du die Toleranz entsprechend einstellst (ein bisschen grau/bunt ist erlaubt). Damit können dir natürlich auch Fehler durch gehen.
      Wenn du es komplexer machen willst kannst du nur bestimmte Bereiche vergleichen (z.B Titelzeile und Menu)
      
      Willst du aktive Seiten vergleichen, dann besteht noch die Möglichkeit das HTML zurecht zu stutzen. So könnten unwichtige Daten gelöscht werden und der Rest wird dann verglichen.
      - +4 replies
      - jan
        
        2012-10-07 18:48
        
        User since
        2003-08-04
        2536 Artikel
        ModeratorIn
        
        Ich verstehe, was Du meinst.
        Schwierigkeiten sehe ich aber darin, dass ich z.B. Tests festlegen müsste, die im Idealfall auch nach einem Jahr noch laufen, damit ich sie nicht immer neu schreiben muss. Und das idealerweise in einer Liveumgebung -- denn mich interessiert beides: läuft meine Anwendung überhaupt und läuft sie auch auf für die Welt erreichbar. Wenn sie auf meinem Testsystem schon fehlschlägt, ist das eine wertvolle Information. Aber wenn sie dort läuft aber auf dem Livesystem nicht, bringt's ja auch nichts.
        
        Mit Screenshots, ja, das ist nicht uninteressant. Nimmst Du dann einmal einen Referenzscreenshot und definierst die Teile, die massiv verschieden sein dürfen (z.B. wechselnde Teaser- oder Headerbilder etc) oder wie machst Du das? Hast Du mit den Frameworks wie Selenium schlechte Erfahrungen gemacht oder ist das einfach so "gewachsen", dass Du nicht damit arbeitest?
        
        topeg
        
        2012-10-07 19:56
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Ich habe bisher reine Funktionstest nur auf HTML-Basis gemacht. Mehr war für mich nicht nötig. Wenn es nötig war habe ich den Code mit ein paar Regexp auf das Nötigste zusammengestrichen. Das ist nicht viel Code, zudem leicht zu pflegen und anzupassen.
        
        Bei einem anderen Projekt war es nötig Webseiten als ganzes zu überwachen und Differenzen zu erkennen. Da habe ich ein Programm geschrieben bei dem man eine Webseite aufruft davon ein Bild erzeugte und auf dem man die wichtigen Bereiche mit Rechtecken markieren kann. Diese Werte (URL und markierte Bereiche) werden gespeichert, und ein anderes Tool nutzt das um diese Seiten zu testen. Bei unterschieden gibt es eine Meldung.
        
        Die Idee ist recht einfach, es gab aber ein paar Hürden bezüglich der Browser zu überwinden, die nicht alle So mitspielten wie ich es wollte.
        
        Externe Tools habe ich noch nicht verwendet (brauchte ich bisher nicht). Wenn du so willst ist das ganze einfach so gewachsen.
        Last edited: 2012-10-07 19:58:30 +0200 (CEST)
        
        +2 replies
        
        clms
        
        2012-10-07 23:25
        
        User since
        2010-08-29
        373 Artikel
        BenutzerIn
        
        2012-10-07T16:48:03 jan
        Schwierigkeiten sehe ich aber darin, dass ich z.B. Tests festlegen müsste, die im Idealfall auch nach einem Jahr noch laufen, damit ich sie nicht immer neu schreiben muss. Und das idealerweise in einer Liveumgebung.
        
        Das Interessante an topegs Ansatz für den Test der Live-Umgebung sehe ich darin, dass man die Signaturen automatisch - und damit schnell vor einem Update - erstellen kann. Der Ablauf beim Einspielen eines Updates wäre also
        1. aktuelle Version sichern
        2. Signaturen ermitteln
        3. neue Version einspielen/aktivieren
        4. neue Signaturen ermitteln und vergleichen
        5. bei Problemen auf die alte Version zurück gehen
        
        Da kommt es dann darauf an, wie die "Dynamik" einer Website aussieht.
        In den meisten Fällen wird man während des Updates der Skripte ohnehin den Inhalt kurzfristig für Änderungen sperren.
        
        Probleme sehe ich dann nur in Fällen, wo dies nicht geht, z.B.
        - Uhrzeit erscheint auf der Webseite
        - random-mäßig ausgewählter Inhalt
        - Inhalt kommt aus Quellen, die unabhängig von der Website sind (z.B. Webcam, externe Datenbank) und die man nicht "einfrieren" kann.
        
        topeg
        
        2012-10-08 02:51
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Ja richtig das habe ich nicht so klar gemacht. Es geht mir dabei wirklich nur darum einen Vergleich von kurz vor dem Update und kurz danach zu haben.
        
        Die schon erwähnten absolut dynamischen Bereiche schneide ich mit RegExp heraus, wenn es nötig ist. Meist habe ich sie schon vorher in den Templates markiert ... Das funktioniert Problemlos.
        
        Ich habe bisher auch immer nur kritische Seiten getestet. Für einen Test aller Seiten müsste man das noch mit einem Webspeider verbinden, der alle Links auf der Seite verfolgt. Das war bisher nicht nötig. Meist reicht das Testen von 5-20 Seiten um alle Pfade in den Scripten abzudecken.
- +2 replies
- GwenDragon
  
  2012-10-06 20:38
  
  User since
  2005-01-17
  14533 Artikel
  Admin1
  
  Es besteht die Möglichkeit mit Selenium zu testen.
  Es gab da mal einen Artikel im $foo Magazin.
  //EDIT: UNd auf der YAPC 2012 gab es unter Slides was zum Thema.
  Und du hast schon PerlTestingTutorialWebTest gelesen?
  Last edited: 2012-10-06 20:42:09 +0200 (CEST)
  die Drachin, Gwendolyn
  
  Unterschiedliche Perl-Versionen auf Windows (fast wie perlbrew) • Meine Perl-Artikel
  - jan
    
    2012-10-06 21:23
    
    User since
    2003-08-04
    2536 Artikel
    ModeratorIn
    
    Ja, ich habe mich schon relativ eingehend mit dem Thema befasst, deshalb bin ich ja gerade an praktischen Erfahrungen interessiert. _Was_ es so gibt, weiß ich. Aber welche Schwachstellen man damit nachher im praktischen Betrieb hat, das ist die Frage, die sich eben nicht durch die Theorie beantworten lässt.

View all threads created 2012-10-06 19:26.