Tu consulta, es algo compleja. Si donde tenes el ubuntu server solo va a funcionar para lo que mencionas, para qué instalaste una virtual?
¿Cuánto tiene de memoria RAM? ¿Cuánta RAM le asignaste a la virtual? ¿Cuántos procesadores le asignaste a la virtual? ¿Cuánto espacio de disco le dejaste a la virtual? ¿La virtual está en modo puente o NAT? ¿En la virtual le instalaste los servicios de SSH o como accedes a ella? ¿Tiene una IP fija la virtual? ¿Instalaste la virtual por web con phpVirtualBox?
Encontré esta página, que explica lo que estas haciendo a ver si te brincaste algún paso y puede que te ayude:
VirtualBox 4.3 + PhpVirtualBox en Ubuntu Server 14.04