Probablemente estés usado un software con algun error conocido y no lo has actualizado.
Lo primero que tienes que hacer es actualizar el software y los modulos/plugins que utilices a la version mas nueva. Luego revisa que no haya modulos/plugins raros o desconocidos, no vaya a ser que el atacante haya dejado puertas traseras. También tendrias que revisar si alguno de los usuarios registrados tiene permisos de administrador y no deberia (otra puerta trasera). Y cambia los passwords.
En esta web puedes encontrar los exploits que hay disponibles para petar webapps. Si aparece un exploit para la version de tu software está claro que tienes que actualizar cuanto antes:
http://www.exploit-db.com/webapps/
Por ejemplo hay uno con este nombre: "WordPress AdRotate plugin <= 3.6.6 SQL Injection" Si tienes la version 3.6.6 o una inferior del pluguin AdRotate para Wordpress pueden haberte entrado por ahí. Es solo un ejemplo, verás que la lista es muy grande.
Aunque muchas veces el error viene por otro lado. Muchos webmasters utilizan el mismo password para todo, ¿es tu caso? si es así lo mas probable es que alguien haya conseguido tu password por alguna otra vía y lo esté usando en tus cuentas. También podrias estar infectado por algun malware, que captura tu teclado y/o tus comunicaciones. Hay virus que infectan todos los phps y htmls que encuentren en tu ordenador con la esperanza de que acabes subiendolos por ftp a tu web sin darte cuenta.
Si quieres saber mas por donde van los tiros, yo te recomiendo que analices el log del servidor web. Busca las lineas en las que se hace login a tu sistema y mira si las IPs corresponden con las tuyas o las de los admins que tengas. Si no es así, ya sabes por donde buscar
Saludos