Ich bin mir jetzt nicht sicher ob -r auch bei Verzeichnissen funktioniert, würde es aber mal als zusätzliche Prüfung ausprobieren.
if -d $File::Find::name && -r $File::Find::name

MfG PerlProfi