Veamos: si usas por ejemplo
este, guardas tu página como ASCII y codificas en la cabecera como ISO-8859-1, verás todos los caracteres correctamente y sin problemas.
Codificando como UTF-8 no creo que debas preocuparte demasiado por lo que te devuelve el spider, porque sencillamente te está devolviendo los datos de tu página en un HTML con el charset ISO. Fíjate en la codificación de tu navegador al ver el resultado del spider, y verás que aparece como ISO; fuérzalo a que se vea en UTF-8 y todo se verá correcto.
Es decir, los carateres raros no UTF son porque el HTML que te devuelve no es UTF, sino ISO, lo cual no afecta en absoluto a tu página ni a cómo la ve en realidad el spider.