... no es cuestión de la función sino de que simple y sencillamente haces una divición y, como en toda divición, puede no ser exácta.
Si haz comprobado que el proceso es correcto puedes extraer solo la parte entera de dicha divición de la siguiente manera:
Código PHP:
$dias = intval((strtotime(date("Y-m-d"))-strtotime("2004-01-01") ) / (60 * 60 * 24));
print $dias;
Saludos!