Also ist es das holen der Metadaten vom CPAN-Mirror, das langsam ist.
Da gibt es Abhilfe. Drei Ideen:

1) Setze cache_metadata auf 1

2) Nimm einen anderen, hoffentlich schnelleren CPAN-Mirror

3) Installier dir CPAN::Mini und baue damit einen lokalen Mirror. Braucht ca. 850MB

HTH,
Moritz