A efectos prácticos, tanto tar.bz2 como tar.gz son son archivos comprimidos. Si tienes un descompresor como winrar podrás abrirlos y descomprimirlos.
Lo primero que tienes que hacer es instalar un servidor web. Yo te recomiendo Apache (es que el que utilizo y me va bien). Te lo puedes bajar desde este link:
http://apache.rediris.es/httpd/apache_1.3.37.tar.gz
Instálalo en tu ordenador una vez que te lo bajes.
Lo siguiente que tienes que hacer es bajarte el php y descoprimirlo en un lugar adecuado, como C:/php (no lo guardes en una carpeta que tenga un nombre con espacios).
Lo siguiente que tienes que hacer es leerte el archivo install.txt que viene en PHP con mucho cuidado y siguiendo los pasos. Está en inglés y deberás leerlo de manera detenida. Básicamente, el archivo te dice los pasos a seguir para integrar PHP dentro de tu servidor Apache.
Luego debes instalarte MySQL. Lo podras encontrar aquí:
http://dev.mysql.com/downloads/mysql/5.0.html#win32
Bájate "Windows Essentials (x86).
Esto te permitirá crear aplicaciones en PHP con la opción de guardar información en una base de datos.
Y bueno, después de hacer todo esto, puedes pasarte otra vez por aquí porque seguro que vas a tener algún que otro problema (yo los tuve al principio y sinceramente casi me vuelvo loco).