Neuron ..
Debes ver las páginas web oficiales de todo lo mencionado .. Ahí veras por ejemplo que PHP 5.x es estable ya .. pero tiene sus diferencias con PHP 4 aunque siempre la compatibilidad hacia abajo se asegura (ya te hice el comentario de por qué podrías usar una u otra versión para que lo tengas presente).
Por lo demás .. revisa esta guía de instalación de PHP .. cuando veas como se instala PHP + Apache + Mysql .. ahí si quieres seguir respetando tu estructura de directorios de tu instalación .. podras seguirla. De hecho el tutorial menciona un poco com actuar ante actualizaciones. Eso sí .. se enfoca a Mysql 4.0.x y PHP 4.x o 5.x con Apache 2.x (o 1.3.x) abarca todas esas combinaciones de versiones.
Consejo:
Instala PHP 4.x .. Mysql 4.0 (para que sigas la guía tal cual) y Apache 2.x .. Cuando tengas eso claro .. si lo deseas vas probando a instalar PHP 5.x y cambiando a Mysql 4.1 (pero lee los comentarios de ese tutorial . .por qué hay algunos cambios que no abarca dicho tutorial).
http://www.maestrosdelweb.com/editorial/phpmysqlap/
Un saludo,