Ich habe ebenfalls schonmal ein kleines Skript geschrieben das Duplikate findet und entfernt. Das ganze ist aber rein Konsolenbasiert benötigt allerdiengs auch keine Perl Module die ausserhalb vom Perl Core liegen. Weiterhin sollte es auch einwandfrei unter Windows laufen (ich entwickle/teste ausschlißlich auf Linux).

Vorteil von dem Skript das ich geschrieben habe sehe ich darin das es deutlich schneller Duplikate findet als z.B. das Shell Skript was hier gepostet wurde. Optimieren könnte man es aber immer noch bin aber soweit erstmal zu frieden.

Das ganze hatte ich in einem anderen Forum gepostet. Du findest es hier:
http://forum.ubuntuusers.de/post/1258851/