Du hast die Gasterweiterungen unter Linux auch per Shell wirklich installiert?
Und die VM neu gebootet?

Dann solltest du einfach nur das Fenster in dem die VM läuft, größer machen und die Auflösung ändert sich automatisch.