Antes de instalar una versión nueva como es tu caso .. que "nada menos" cambia del primer dígito (en las versiones de PHP un cambio de x.y.z es importantisimo) deberías haber leido que es lo nuevo que tiene o no tiene PHP versión 5.
En efecto .. Mysql no viene para windows instalada por defecto como "cuerpo" de PHP sino que se ha de instalar como extensión a parte.
Puedes ver más detalles en este mensaje:
http://www.forosdelweb.com/f18/instalacion-php-5-0-sobre-win32-manual-apache-2-50-a-217240/
Un saludo,
PD: No indicas si usas windows o Linux .. deberías indicarlo!.