nun ja, entweder du löschst das verzeichnis selbst komplett oder alle darin befindlichen dateien. zu letzterem brauchst du nunmal zuerst die liste.
wo ist jetzt das problem?
benutz halt glob, wenn dir das mit readdir zu blöd ist. perldoc -f glob oder http://p3rl.org/glob
unlink $_ for glob("verzeichnis/*.txt"); oder so in etwa