No confundas que usas un "instalador" que te instaló várias cosas (valga la redundancia) como un servidor HTTP (Apache) uno de Base de datos (Mysql) y el interprete de PHP sobre tu servidor HTTP .. Todo esto es "independiente" .. tiene su configuración y sobre todo sus versiones ..
Lo que corresponde a Mysql .. el soporte directo de Claves foráneas para toda tabla sólo está en Msyql 4.1 en adelante (si mal no recuerdo .. confirmalo en:
www.mysql.com) y para versiones inferiores de Mysql tendrías que usar tablas tipo InnodB (que no son las "MyISAM" que por defecto usa Mysql).
En definitiva .. Ok, ya instalastes todo.. ahora "olvidate" de lo que usastes, centrate en lo que quedó (por ejemplo para que te actualices la versión de Mysql si consideras .. o incluso te plantees usar otro RDBMS como PostgreSQL .. Oracle ..etc ). Es necesario que te fijes que veriones de lo que usas tienes ..por que no tiene mucho sentido usar funcionalidades de cierta versión de PHP o Mysql en "local" en tu PC de "desarrollo" y luego irte a subir tu aplicación a un servicio de hosting que NO usa las mismas versiones (o superiores por lo menos) que tu.
Un saludo,