Mit perl kommt auch Encode::Guess, und auf CPAN gibt es File::LibMagic, das wie file(1) funktioniert. Dann kann das eifrige "Encoding-Raten" losgehen.