Ich habe keine Ahnung wie deine ganze Serverkonfiguration aussieht.
Irgendwas ist jedenfalls nicht korrekt, sonst würden deine CGI laufen.

Ich würde die ganze Apache-Konfiguration löschen und den Apache2 deinstallieren und neu installieren und dann die Konfiguration ändern.
Dann hättest du eine saubere Installation.