Viele Debian-Perl-Pakete unter Debian kann man problemlos aus Testing, Unstable oder Experimental nehmen, man muss dann nur mit den Abhängigkeiten aufpassen. Wenn ein Paket nicht in der Distribution ist kann man dh-make-perl verwenden um eigenen Debian-Pakete zu erzeugen.

Es ist immer schlecht wenn man das Paketmanagement umgeht. Wenn du noch weißt welche Module du direkt über cpan installiert hat, dann kannst du sie entfernen und, wie oben angemerkt, neu installieren. Du kannst auch mit "force" über vorhandenen Dateien schreiben, da musst du aber wissen was du machst.

Wenn du das System wirklich bereinigen willst, dann musst du Perl deinstallieren, alle noch vorhandenen Dateien löschen und neu installieren. Das Problem dabei ist, das Perl sehr tief im System sitzt und viele andere Pakte Abhängigkeiten zu Perl haben. Du musst dich mit den Paketmanagement schon gut auskennen, wenn du das System nicht völlig zerschießen willst.

versuche erst mal Perl und alle Pakete zu reinstallieren. Um eine einigermaßen saubere Basis zu bekommen. (ließ dir dazu die Doku von apt durch) dann Erzeuge für alle nicht existenten Module mittels dh-make-perl Pakete und installiere sie. Dann solltest das ganze wieder recht sauber sein.