[quote=Ronnie,11.07.2005, 17:02]Mal von MCF ausgehend: Das ganze als nette Webapplikation. Eine Datenbank, die Fragen und Antworten verwaltet und die Prüfungen der User, so dass man einen Fortschritt anhand der jeweiligen Prüfungsergebnisse feststellen bzw. auswerten kann. Die Fragen sind dann kategorisiert und bei Schwierigkeiten in bestimmten Bereichen wird auf das entsprechende Tutorial-Material vewiesen?![/quote]
Ich nehm den Telefonjoker! :)

Hier ein Versuch einer Zusammenfassung und der Definition eines Zwischenstandes:

Die Teilnehmer der Diskussion sind sich einig, dass die Erstellung von Prüfungen sinnvoll und in bestimmten Rahmen durchführbar sind. Tests können immer nur Annäherungen an die Realität sein und haben Fehler. Sie dürfen daher nicht überbewertet werden.

Über die Beschaffenheit und den sinnvollen Aufbau von Tests besteht nur teilweise Einigkeit:
- Einige Teilnehmer lehnen Multiple-Choice-Fragen und Aufgaben mit sehr engen Lösungen (Zahleneingabe) ab.
- Fast alle sind sich einig, dass so enge Fragen alleine nicht ausreichend sein können und durch "offenere" Fragen ergänzt werden müssen.
- Darüber wie offene Fragen "getestet" werden sollten, gibt es vage Ideen, die (zumindest mir) bisher nicht vollständig dargestellt wurden.

Fragen, die unsere Diskussion jetzt weiterbringen würden:
- Wie können "offene" Fragen "fair" getestet werden?
- Wie müsste eine Software beschaffen sein (ausser in Perl!), damit Sie solche Tests (und Multiple-Choice) abbilden kann?
- Welche Inhalte sollten sinnvollerweise abgefragt werden? Wie kann man das am besten machen?

Was denkt Ihr dazu?

Was die Kreativität angeht: Die kann man ganz bestimmt nicht per Computer bzw. script messen lassen! Beim Programmieren geht es doch darum, Dinge so ineinander greifen zu lassen, das am Ende das Ergebniss raus kommt, das man haben will. Da sind dem Programmierer doch nahezu keine Grenzen gesetzt. Wenn ihr keinen totalen Perl Crack im Unternehmen habt, der den ganzen Tag davor sitzt und die Programme bewertet, die von den Benutzer geschrieben wurden, kann man eigentlich nur darauf prüfen:
->geht es
->geht es nicht

Es gibt wohl kaum wirklich viele Leute, die alle möglichen Kombinationen und Funktionen von Perl kennen und diese dann auch noch in eine sehr schöne webapplikation einbauen können. Das würde Jahre dauern...
Man kann höchstens dem User eine Hilfestellung geben, sich selbst zu bewerten, aufgrund von Musterlösungen. Dann kann er selber sagen, oha, das ist in der Lösung besser und boah Klasse, das ist bei mir besser. Nur dann habt ihr die Kontrolle wieder nicht...
Aber ich denke mal, anderst ist das nicht wirklich realistisch zu machen!

[quote=kalyxo,11.07.2005, 16:58]Aber wie sollen die ergänzenden Tests für Kreativität aussehen.[/quote]
Die tests an sich sind nicht schwer (siehe unsere alten Quiz der Woche Threads etc.), nur die Bewertung ist halt etwas aufwendig.

Ebenfalls ein indiz fuer viel Kreativitaet ist eine dreistellige Anzahl von CPAN Modulen. :)

[quote=kalyxo,11.07.2005, 17:07]Fragen, die unsere Diskussion jetzt weiterbringen würden:
- Wie können "offene" Fragen "fair" getestet werden?
- Wie müsste eine Software beschaffen sein (ausser in Perl!), damit Sie solche Tests (und Multiple-Choice) abbilden kann?
- Welche Inhalte sollten sinnvollerweise abgefragt werden? Wie kann man das am besten machen?[/quote]
Der multiple choice part ist ne simple Catalyst anwendung.

Aber fuer den offenen kreativen Teil braucht man wohl ein Forum in dem alle Loesungen gemeinsam besprochen und bewertet werden koennen.

UPDATE: Es gibt auch nette IRC Quiz Bots fuer multiple choice!\n\n

<!--EDIT|sri|1121095119-->

Jo, und ich denke mal, je nach Anzahl der User dieses Tutorials, kann das ganz schön in die Knochen gehen...

[quote=sri,11.07.2005, 17:05]Fuer dich als Nicht-Programmierer sind Lernerfolge schwer nachzuvollziehen.
Aber hast du schon dran gedacht deine Programmierer sich gegenseitig bewerten zu lassen? :)[/quote]
Naja, innerhalb einer Firma?? Wenn die Zeiten nicht so rosig sind und vielleicht Mitarbeiter entlassen werden müssen (nicht auf Martins Firma bezogen)?? Dann dürfte wohl jeder den anderen schlechter bewerten als er in Wirklichkeit ist, da es um die eigene Existenz geht...

Ich wage auch zu bezweifeln, dass es eine optimale Lösung gibt, da es viel zu viele unterschiedliche Ansichten und Lerngruppen (Autodidakten etc.) gibt.
Aber es kann sich mit der Zeit etwas entwickeln.

Von daher wäre es vielleicht auch nicht schlecht, wenn am Ende der Tutorien, die Lernenden einen "Feedback-Bogen" ausfüllen dürfen, womit die Initiatoren der Tutorien ihr System evaluieren können.

Quote

Wie können "offene" Fragen "fair" getestet werden?

Wenn es geht ist es gut.
Wenn es modular programmiert wurde sollte man es als besser einstufen, da man Modulares wiederverwenden kann.
Wenn innovative Techniken wie CGI::Application, Cataclyst oder Wx (?) verwendet wurden könnte man einen Bonus geben, muss man aber nicht, das ist Ansichtssache (muss also hier nicht weiter ausgeführt werden). Man kann ja fast alles optional bewerten.
Das ganze geschieht über die Analyse des Quelltextes mit entsprechenden Parsern.
Das das viel Aufwand ist sollte klar sein, aber darum geht es nicht. Es geht darum das Problem zu lösen.

Quote

Darüber wie offene Fragen "getestet" werden sollten, gibt es vage Ideen, die (zumindest mir) bisher nicht vollständig dargestellt wurden.

Igendwo oben habe ich mal die Idee für den CGI-Bereich gebracht.
Mann kann CGIs einfach anhand der Ausgabe prüfen, da CGI-Scripten nunmal i.d.R. HTML zurück liefern. Die Ausgabe kann man noch genauer unter die Lupe nehmen, z.B. in Bezug auf Geschwindigkeit, verwendetes Markup, CSS und oben genanntes bezgl. des Quelltextes.

Hat jemand eine Idee wie man grafische Programme überprüfen köntne?
Eventuell mit automatisierten Klicks auf geforderte Schaltflächen, automatisches Einfügen von Testinhalten in die Applikation um die Robustheit eines Programmes zu testen und Validieren des Ergebnisses um die Korrektheit sicher zu stellen?
Das das auch viel Arbeit ist wurde ja bereits gesagt, aber möglich sollte es doch sein - oder?

Wenn ich lese, was zu den Aufwendungen gesagt wird ...

Quote

Das das viel Aufwand ist sollte klar sein, aber darum geht es nicht. Es geht darum das Problem zu lösen.

... oder ...

Quote

Das das auch viel Arbeit ist wurde ja bereits gesagt, aber möglich sollte es doch sein - oder?

... sehe ich kaum realistische Möglichkeiten für eine Umsetzung. Wäre es nicht tatsächlich am einfachsten, wenn man einfach mal mit den geschlossenen Fragen anfängt und die offenen Fragen und Aufgaben hinten anstellt?

[quote=kalyxo,11.07.2005, 21:01]Wenn ich lese, was zu den Aufwendungen gesagt wird ...

Quote

Das das viel Aufwand ist sollte klar sein, aber darum geht es nicht. Es geht darum das Problem zu lösen.

... oder ...

Quote

Das das auch viel Arbeit ist wurde ja bereits gesagt, aber möglich sollte es doch sein - oder?

... sehe ich kaum realistische Möglichkeiten für eine Umsetzung. Wäre es nicht tatsächlich am einfachsten, wenn man einfach mal mit den geschlossenen Fragen anfängt und die offenen Fragen und Aufgaben hinten anstellt?[/quote]
Wie gesagt, die offenen Aufgaben lassen sich am besten in einem Forum besprechen.
Bestes Beispiel sind Crian's "Raetsel der Woche" in diesem Forum.