Hola:
¿Estás programando una aplicación WEB o Desktop?
Si es una aplicación Web las librerías de tu aplicación deben ir en la carpeta
WEB-INF/lib
o dentro de la carpeta de librerías de tu servidor, en el caso de tomcat es la carpeta 'lib'.
Si estás haciendo una app Desktop necesitaras pasarle como parámetro al comando java el jar del connector de mysql como parte del classpath.
Verifica q el jar tenga dentro la clase "com.mysql.jdbc.Driver", puedes abrirlo con WinRar.
Si te sigue sin funcionar intenta descargar la última versión del connector desde este sitio:
http://dev.mysql.com/downloads/connector/j/
saludos;
Nup_