eso siempre depende como tu trates las horas...
 
por ejemplo, yo uso la función sql: DATE_FORMAT 
y el resultado lo paso a una función que me devuelve 3 arrays.. 
la 1ra contiene un campo fecha y un campo hora
la 2nda los 3 campos de fecha (dd,mm,aaaa)
y la ultima los campos hora: hh,mm,ss 
lo unico que haria yo seria 
 Código PHP:
    if (!time(h)-3 >= $array['tiempo']['hora'])
//si no es hora no dejo votar 
    
  y con eso ya lo tienes. 
saludos
nax