Hola,
Puedes pasar ambas fechas a unix_timestamp con mktiem() (
www.php.net/mktime) o strtotime() (
www.php.net/strtotime) y realizar la operacion con esos valores del unix_timestamp. El unix_timestamp es el numero de segundos desde el 1-1-70 (creo recordar), asi que la diferencia de 2 unix_timestamp es la diferencia en segundos entre las 2 fechas. Y si añadimos las matematicas para pasar de unidades, ya tienes la diferencia en segundos pasada a horas o dias.
Saludos.