Empieza por cancelarle todos los privilegios, y luego dale los que sean sólo para esa base.
Al poner esto:
Le estás dando acceso a todas las bases.
Ceo que no has leido completamente el manual de referncia, ¿no es así?
http://dev.mysql.com/doc/refman/5.1/en/grant.html