[quote=renee,08.03.2004, 19:40]Kann mir einer für "Dummies" mal Support Vector Machines erklären?? Die Treffer, die ich mit Google erreiche, helfen mir nicht wirklich weiter...
Crian, das müsste doch was für Dich sein... Du bist doch Mathematiker, oder habe ich das falsch in Erinnerung??[/quote]
Ja hast Du richtig in Erinnerung. Aber ich kenne die Support Vector Machines nicht, wo finde ich denn was darüber? Na ich werd mal googeln...


Edit: Ich les gerade hier drin herum:  http://www.informatik.uni-bremen.de/~khuebner/pub/neuro.pdf

Edit2: Also soweit ich das verstehe geht es um folgendes: Man hat Punkte im n-Dimensionalen Raum (zur Vorstellung hilft n=3 ein Stück weit), die in zwei Mengen unterteilt sind "dadrüber" und "dadrunter".

Man kann also den Punkten n+1 "Koordinaten" geben, wenn man die "dadrüber" / "dadrunter" Information mit in eine weitere Koordinate einfließen lässt, die dann nur die Werte 1 (dadrüber) oder -1 (dadrunter) haben darf.

Die anderen n Koordinaten beschreiben die Position des Punktes im R^n.

Also im Fall des R^3 hätten wir Punkte der Form

(1, 10, 10, 10)
(-1, 0, 0, 0)

...


(erste Koordinate gibt also dadrüber/darunter an)


Die Aufgabe ist jetzt, eine Hyperebene (das ist ein Raum, der um eine Dimension kleiner ist als der R^n, also ein Raum mit n-1 dimensionen, der im R^n liegt, im R^3 ist eine Hyperebene also eine ganz normale Ebene, die irgendwo zwischen den Punkten liegt, im R^2 (also der zeichenebene) ist eine Hyperebene eine Gerade) zu finden, so dass die Punkte mit "1" auf der einen "Seite" der Hyperebene liegen und die Punkte mit "-1" auf der anderen.

Wenn man das hinbekommen kann, gibt es wahrscheinlich eine ganze Menge solcher Hyperebenen, und dann ist die Frage, welche davon ist die beste in dem Sinne, dass sie nach "menschlichem Ermessen" am besten "zwischen" diesen Punktemengen liegt.

Ausdrück kann man es darüber, dass man sagt, dass die Hyperebene genommen werden soll, die am wahrscheinlichsten auch noch dann "zwischen" den Punktemengen liegt, wenn man annimmt, noch gar nicht alle Punkte dieser Menge zu kennen (es gibt also noch weitere, von denen man aber nicht weiß, wo sie liegen).

Auf der Seite 3 der oben genannten Publikation sieht man ein Bild im R^2 mit weißen und schwarzen Punkten (die darüber/darunter-Mengen) und möglichen Geraden (=Hyperebnenen), die diese Punkte trennen. Die fett gezeichnete Gerade gefällt einem am besten, und dieses "am besten gefallen" möchte man nachbauen können.

Wenn ich das richtig sehe, möchte man neuronale Netze trainieren können, damit sie solche idealen Hyperebenen finden können.
Dafür kann man sie an Trainingsproblemen trainieren, man darf das aber nicht zu intensiv tun, sonst spezialisiert sich das neuronale Netz irgendwann total auf das Trainingsproblem, löst dieses super und andere Probleme schlecht.

Für mich ist der Sinn des ganzen noch nicht ganz klar, aber ich bin ja auch noch nicht durch.



Bei SVR - Support Vektor Regression - geht es darum, eine Menge von gegebenen Punkten im R^n durch eine lineare Funktion möglichst gut zu approximieren.

(Wobei ich allerdings das Problem sehe, dass je höher die Dimension wird, desto schlechter wird eine lineare Funktion die Punkte approximieren können. trotzdem kann man natürlich nach der besten davon suchen.)


Lies Dir am besten die Zusammenfassung auf S. 13 durch, da steht auch etwas zu den Anwendungsgebieten...\n\n

<!--EDIT|Crian|1078824599-->