Du kannst mit xrandr die Auflösung einstellen.
test@kubuntu:~$ xrandr -q
Screen 0: minimum 64 x 64, current 1280 x 1024, maximum 32000 x 32000
VBOX0 connected 1280x1024+0+0 0mm x 0mm
1280x1024 60.0*+ 60.0*
1440x1050 60.0
1280x960 60.0
1152x864 60.0
1024x768 60.0
800x600 60.0
640x480 60.0
test@kubuntu:~$ xrandr --output VBOX0 --mode 1152x864


Wenn du das als User als Default willst, dann folgendes in der Konsole als normaler User (nicht als root!):
echo 'xrandr --output VBOX0 --mode 1152x864' > ~/.xprofile
sudo reboot