Bei CGI.pm kommt es darauf an was für Code da in deiner Anwendung drin ist.

Das Problem ist eher wenn dein Perl-Anwendung als CGI mit suexec geladen wird, dann dauert es schon mal ein bisschen weil ja der Per-Prozess bei jedem Request gestartet werden muss.
Das können schon mal 300-600 ms sein, wenn es sich um eine komplexe Anwendung als CGI handelt wie z.B. Blosxom (ein Perl-Blog).