En la forma en que lo estás haciendo debes restar los segundos como ya lo estás haciendo y luego dividir para sacar los minutos horas etc.
Un ejemplo con DateTime para el fin del año
Código PHP:
Ver original<?php
$dt1 = new DateTime('2012-12-31 23:59:59');
$dt2 = new DateTime('now');
$int = $dt1->diff($dt2);
echo $int->format('Quedan %m meses %d días, %h horas, %i minutos y %s segundos');
Saludos.