regex: Strings nach Spam filtern: Spamfilter selbstgemacht - #51461 (Allgemeines zu Perl)

Dubu

2003-09-13 11:59

User since
2003-08-04
2145 Artikel
ModeratorIn + EditorIn

user image

[quote=eisbeer,12.09.2003, 16:14]

Code: (dl )

$string =~s/[\w\d \.\-]{3,}//ig;

[/quote]
Das macht nun überhaupt nicht das richtige, denn es löscht jedes Wort mit mehr als zwei Zeichen aus der angegebenen Menge - höchstwahrscheinlich also den ganzen Text!

Ging es nicht eigentlich auch um mehr als drei Zeichen? Drei gleiche Buchstaben hintereinander kommen in der deutschen Sprache (gerade nach der RSReform) recht häufig vor. Auch sollten die Zeichen IMHO nicht einfach gelöscht werden, sondern durch ein einzelnes ersetzt. Sonst wird aus einem "Stillleben" schnell mal ein "Stileben" oder gar "Stieben".
Und warum die Beschränkung auf die angegebenen Zeichen? Sollte jemand zwar kein hundert "x", aber hundert "!" hintereinander schreiben dürfen?

Mir gefällt Ishkas Ansatz am besten, würde ihn aber noch verallgemeinern:

Code: (dl )

s/(.+)\1{3,}/$1/s

Das ersetzt eine beliebige Folge von Zeichen, die mehr als dreimal wiederholt wird, durch eine einzelne dieser Folgen. Das heißt:

Code: (dl )

"Hallo                                           Leser!"
# wird zu
"Hallo Leser!"

blablablablablablabla
# wird zu
bla

Stillleben
# bleibt 
Stillleben