claro, tienes un servidor con un motor de base de datos determinado (SQLServer, MySQL, Oracle u otro), un servidor web con conexión a la base de datos deseada (muchas veces son la misma máquina). En este servidor web creas tu webservice SOAP, API RESTFull u otro con el cual puedas hacer consultas o escrituras a la base de datos del servidor, de este modo, desde android consumes los distintos métodos del servicio para lograr lo que desees hacer. Para desarrollar el webservice puede usar PHP, ASP.NET, Java o algún otro lenguaje que te acomode para ello. Con respecto a la parte android, puede usar por ejemplo
KSOAP si deseas usar dicho protocolo, o un llamado http si quieres usar una API Restfull.
Espero haberte aclarado algo las cosas.
Saludos