Und was machst Du mit Absätzen wie: Dies ist ein Test.Ohne Leerzeichen geht es weiter... ??

Jaja, so mal eben mit RegEx und Splitten an \w oder \s geht es nicht.
Diverse Ausnahmen werden vorher abgefangen und getaggt (z.B. Daten, Namen - soweit überhaupt möglich, Kompisita und diverse Strukturen wie Zitate, wörtliche Rede, Klammern).

Geht man also davon aus, dass man einen Text hat, der voll von "Ausnahmen" befreit ist würde die obige RegEx greifen. Aber einen solchen Text gibt es höchstens in linguistischen Korpora, nicht in der Realität.

Ich hatte gehofft, vielleicht ein Modul zu finden, dass mir ein bischen Arbeit abnimmt.
Text::ParseWords hat sich als ungeeignet erwiesen. Die anderenmuss ich noch testen.

offtopic: Bin ich der Einzige der unter Wortsegmentierer den politisch korrekten Begriff für einen Menschen der stottert vermutet hat?

Ich denke schon :-D

Versuch mal so: http://search.cpan.org/search?mode=all&query=german

Von Modulen habe ich leider gar keine Ahnung... aber sag' doch mal ein bisschen was zu deiner Problemstellung. Bei den meisten deiner "Ausnahmen" kann ich nicht nachvollziehen, wo du ein Problem siehst... am ehesten noch bei den Namen, wenn du diese nicht als Worte ansehen möchtest.
Und es muss natürlich geklärt sein, welche Voraussetzungen auf Seiten des Textes vorliegen. Soll etwa der Fehler in renees Beispiel toleriert werden? Und natürlich: Was ist ein Wort?

Ein simples Splitten an whitespace + Tokenisierung + Entfernung dessen, was kein Wort ist mit einer RegEx hat schon eine ziemlich hohe Trefferquote. Funktionierte bei einem kleinen Testlauf ohne Fehler.

Gruß, Pida