Optische Objekt-Erkennung (Allgemeines zu Perl)

[thread]13910[/thread]

Optische Objekt-Erkennung

Leser: 29

Articles: hide open all | hide show old branches

+10 replies
Gast Alf

2009-08-23 17:54

Hi zusammen, ich bastel momentan an einem Bot fuer ein Flashgame. Ich hab mit nem Freund gewettet das ich nen Bot schreiben kann der besser spielt als er (er ist ziemlich gut) aber nur Basis von optischen Input und bewegen der Maus/druecken von Tasten(quasie wie ein Mensch also).. Es handelt sich um ne Variante von JungleJewels.. Also immer auf einem Brett Juwelen untereinander vertauschen das sich Reihen ergeben.. Naja das ist auch erstmal kein Problem denn die Spielsteine sind "pixel-perfect".. Ich kann sie also problemlos mit Imager::Search identifizieren.. Bloed wirds nur wenn sich manchmal nen rotierender weißer Stern drueberlegt, die Objekte selber anfangen zu rotieren oder ne Art Glanz symbolisieren.. Dann hilfts leider auch nicht mehr nach Colorwerten zu gehen.. Also hab ich mich mal nen wenig zum Thema Objekt-Erkennung eingelesen.. Alle meine Objekte haben eine eigene Geometrie muessten also ueber geometrische Parameter identifizierbar sein.. Ich bin dann auf den Canny-Algorhytmus + Hough-Transformation gestoßen.. Das sah mir erst ein wenig "overkill" aus allerdings faellt mir echt keine andere Moeglichkeit ein die Geometrie zu extrahieren.. Das hab ich dann mal versucht experimentell umzusetzen mit dem Imager Modul.. Hat auch bis einschließlich den Sobeloperator alles ganz gut geklappt.. Blos war es auch da schon viel zu langsam um es praktisch einzusetzen.. Darum hab ich jetzt erstmal nicht weitergemacht..

Ich hab momentan keine Ahnung wie ich da an besten rangehen koennte.. Vielleicht koennt ihr ja mal ne Runde brainstormen.. Muss nicht unbedingt irgendwie ueber Edge-Detection gehen.. Und bitte fangt auch nicht mit neuronalen Netzen an.. Das waere definitiv overkill..
- +9 replies
- MatthiasW
  
  2009-08-23 18:52
  
  User since
  2008-01-27
  367 Artikel
  BenutzerIn
  
  Wie viele verschiedene Objekte gibt es denn eigentlich in dem Spiel und welche Form und Farbe haben die jeweiligen Objekte? Vielleicht reicht es wenn du eine "Durchschinttsfarbe" für den Bereich des Objekts bildest und dann schaust zu welchem Objekt sie am ehesten passt. Ein kleiner weißer Stern, eine etwas hellere Farbe, oder ein rotierendes Objekt sollten dann eher keine Rolle spielen, oder sind die Unterschiede so immens?
  
  MfG
  perl -E'*==*",s;;%ENV=~m,..$,,$&+42;e,$==f;$"++for+ab..an;@"=qw,u t,,print+chr;sub f{split}say"@{=} me"'
  - +8 replies
  - Gast Alf
    
    2009-08-24 00:52
    
    Naja die Objekte selber sind schon leicht zu identifizeren..
    http://img91.imageshack.us/i/greenshot200908232304...
    
    Das sind sie...
    Die koennen nur leider auch so aussehen:
    
    http://img91.imageshack.us/i/greenshot200908232306...
    http://img220.imageshack.us/i/greenshot20090823230...
    http://img90.imageshack.us/i/greenshot200908232306...
    
    Der Zellenhintergrund bleibt auch nicht immer so schoen schwarz.. Wenn ich die durchschnittlichen Farbwerte nehme sorgt dieser weiße Stern und die wechselnden Hintergruende leider dafuer das sich die RGB-Werte so stark verschieben das es 95% Fehlgriffe sind..
    Nur einen kleinen Ausschnitt der Zelle zu nehmen der aber alle Figuren abdeckt klappt leider auch nur wenn gerade der Stern nicht durch den Bereich rotiert was man ja nicht garantieren kann.. Ziemlich doof das ganze.. Und diese Edge-Detection funktioniert auch nicht weil der Stern die Geometrie ja stoert und ich noch sonst was anstellen muesste um die Geometrie vom Stern rauszufiltern bzw. die Geometrie dahinter zu vervollstaendigen.. *Gnarf*
    - +3 replies
    - topeg
      
      2009-08-24 10:58
      
      User since
      2006-07-10
      2611 Artikel
      BenutzerIn
      
      Schau doch wie viel graue Fläche um ein Objekt herum ist (r=g=b - Helligkeitswert ignorieren) und bestimme ob in dem Feld Rot, Grün, Gelb etc. überwiegt. Damit solltest du immer bestimmen können um welches Objekt es sich handelt auch wenn es "glitzert".
      - +2 replies
      - Gast Alf
        
        2009-08-24 21:51
        
        Hm das hab ich jetzt nicht ganz verstanden.. Der Hintergrund aendert sich ja immer.. Ich kann nicht einfach nach einer bestimmten Farbe suchen..
        
        Vielleicht hast du es ja anders gemeint erklaers doch bitte mal genauer..
        
        topeg
        
        2009-08-24 23:17
        
        User since
        2006-07-10
        2611 Artikel
        BenutzerIn
        
        Guest Alf
        Der Hintergrund aendert sich ja immer..
        
        Wusste ich nicht, ich dachte der Hintergrund ist statisch und grau, das macht die Sache komplizierter.
        
        Kannst du den Hintergrund erkennen und eliminieren?
        Wenn du es schaffst den Hintergrund zu entfernen, kannst du es machen wie ich vorgeschlagen habe.
        Wenn ich die Bilder richtig gesehen habe haben alle Steine einen schwarzen Rand, wenn du den als Begrenzung nehmen würdest und die Fläche zwischen den Steinen einfarbig füllen könntest, hätte man einen gleichförmigen Hintergrund.
        
        Um meinen Vorschlag etwas genauer zu erklären. Wenn der Hintergrund grau einfarbig oder schwach grau schattiert währe, dann könnte man einfach nach einer Farbe und der Fläche um die Steine, jeden Stein genau bestimmen, selbst wenn sich das aussehen leicht ändert (rotiert/"blitzt").
        
        Noch eine andere Idee.
        Wenn sich zwei "Frames" die position der Steine nicht ändert, kannst du ein Differenzbild aus beiden generieren und damit viele zeitliche Störeffekte entfernen. (Unterschiede löschen sich aus).
        Eventuell kannst du drei oder mehr Frames heranziehen.
    - MatthiasW
      
      2009-08-25 16:56
      
      User since
      2008-01-27
      367 Artikel
      BenutzerIn
      
      Du könntest auch jeder Farbe eines Pixels eine von den angegebenen Farben zuordnen, und dann nachsehen, welche Farbe am meisten vorkommt:
      
      Code (perl): (dl )
      
      1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48
      
      #!/usr/bin/perl use strict; use warnings; use Image::Magick; { my @color = ( [ 255, 0, 0 => 'red' ], [ 0, 255, 0 => 'green' ], [ 0, 127, 255 => 'blue' ], [ 255, 0, 255 => 'pink' ], [ 255, 255, 0 => 'yellow' ], [ 255, 127, 0 => 'orange' ], [ 255, 255, 255 => 'white' ], ); my $tolerance = 64; sub get_approximate_color { my( $r, $g, $b ) = map int( ($_+1) / (2**16) * 255 ), @_; for my $c ( @color ) { return $c->[3] if $c->[0]-$tolerance < $r and $c->[0]+$tolerance > $r and $c->[1]-$tolerance < $g and $c->[1]+$tolerance > $g and $c->[2]-$tolerance < $b and $c->[2]+$tolerance > $b; } # for } # get_approximate_color } for my $file ( @ARGV ) { my $img = Image::Magick->new; $img->Read($file); my %col; my( $w, $h ) = ( $img->Get('width'), $img->Get('height') ); for my $y ( 1 .. $h ) { for my $x ( 1 .. $w ) { my $color = get_approximate_color( $img->GetPixel(x=>$x,y=>$y,normalize=>0) ); $col{$color}++ if length $color; } # for } # for my $most = (sort { $col{$b} <=> $col{$a} } keys %col)[0]; print "$file : $most\n"; } # for
      
      Das hat jedenfalls mit den gezeigten Bildern einwandfrei funktioniert.
      
      edit: Code ein wenig verkürzt.
      edit2: Werte für 'blue' und $tolerance modifiziert.
      
      MfG
      Last edited: 2009-08-25 17:32:44 +0200 (CEST)
      perl -E'*==*",s;;%ENV=~m,..$,,$&+42;e,$==f;$"++for+ab..an;@"=qw,u t,,print+chr;sub f{split}say"@{=} me"'
    - +3 replies
    - LanX-
      
      2009-08-25 17:14
      
      User since
      2008-07-15
      1000 Artikel
      BenutzerIn
      
      Die Glitzereffekte sind doch dynamisch, wenn du ein Durchschnittsbild aus mehreren Frames berechnest, mittelt sich das wieder raus, genauso bei der Edgedetection.
      
      Insbesondere kanst du das Farbspektrum des Glitzerns auch ignorieren. Genauso kannst du einen fixen Hintergrund erkennen und ausfiltern auch wenn er nicht schwarz ist.
      
      Du musst davon Abschied nehmen, exakte Bilder zu vergleichen sondern von einem unscharfen Farbbereich ausgehen dem du ein Sprite zuordnen kannst.
      
      Die Farben deiner Juwelen sind z.B. so charakteristisch, dass sogar der Durchschnitts-RGB-Wert immer in klar trennbaren Intervallen liegen sollte, egal wieviel Glitzer drüberliegt.
      
      Mit mehreren solchen charakteristischen Werten erhälst du Vektoren die sich fast 100%ig unterscheiden lassen.
      
      Ich kenn die Methoden jetzt nur aus dem Datamining und Spamfiltern, bei Bilderkennung sollts aber ähnlich gehen.
      Last edited: 2009-08-25 17:16:29 +0200 (CEST)
      me and my writeups
      - +2 replies
      - Gast Alf
        
        2009-08-26 16:17
        
        Hm also ich hatte es so gemacht das ich einfach den Durchschnittswert aller Pixel aus dem jeweiligen Stein mit nem schwarzem Hintergrund gebildet und dann die drei jeweiligen Durchschnitte der RGB-Komponeneten eines unidentifizierten Steins also mit Glitzer und anderem Hintergrund mit den vorher errechneten Durchschnitten verglichen und anhand der groeßten Uebereinstimmung zugeordnet.. War nur leider sehr oft sagen wir mal in 50% der Faelle ne falsche Zuordnung weil der weiße Stern die RGB-Kompontenten soweit verfaelscht das nen anderes Objket erkannt wurde..
        Und der Trick ueber mehrere Frames wuerd glaub ich auch nicht funktionieren da der Stern ja eigentlich konstant groß bleibt, sich nur dreht und daher praktisch immer eine gleichbleibende Flaeche verdeckt..
        
        Hier hab ich nochmal nen Feld in Aktion:
        
        http://img190.imageshack.us/img190/1592/greenshot2...
        
        LanX-
        
        2009-08-26 17:18
        
        User since
        2008-07-15
        1000 Artikel
        BenutzerIn
        
        Ich würd über jeden Stein ein quaratisches nxn Raster legen (sagen wir mal n=10) und alle Messwerte wegschmeißen die wahrscheinlich Glitzer sind. Alle offensichtlichen Hintergrundfarben würd ich auf 0=Schwarz normieren.
        (beides über ne Helligkeitsschranke, lieber zuviel als zuwenig aussortieren)
        
        So jetzt hast du i<100 Messwerte die du mit i anderen pro bekannten Stein vergleichst und einen Abstand berechnest.
        
        So aussem Urin würd ich sagen du berechnest den geometrischen Abstand der i Messpunkte
        
        Also für alle bekannten Steine:
        geo_stein = SUM_i sqrt( (delta R_i)² + (delta G_i)² + (delta B_i)² ) )
        
        So und wenn für keinen der Steine $geo unter einer Genauigkeitsschranke liegt, dann rechnest du noch den nächsten Frame rein und fängst von neuem an.
        
        Wenn das nicht klappt (bezweifle ich sehr) können wir weiter diskutieren...
        
        UPDATE:
        Der Vorteil dieser Rastermethode ist das du sowohl Farbe als auch Geometrie damit erfasst, dreieckige Steine produzieren andere Schwarzwerte als Sechseckige.
        
        (Mir fallen schon Verbesserungsmöglichkeiten ein, aber die brauchst wahrscheinlich eh nicht.)
        
        UPDATE2:
        Und selbst wenn dein Hintergrund noch stärker fluktuiert als in dem verlinkten Bild, kannst du ausnutzen dass ein paar deiner Messpunkte am Rand IMMER den Hintergrund messen, d.h. du kannst den Farbabstand zu diesen Punkten heranziehen um den lokalen Farbbereich des Hintergrunds möglichst genau abzuschätzen.
        Last edited: 2009-08-26 18:13:31 +0200 (CEST)
        me and my writeups

View all threads created 2009-08-23 17:54.