Pero .. para ir concretando:
El archivo te llega al servidor? .. lo has comprobado?
Código PHP:
echo "<pre>";
print_r($_FILES);
echo "</pre>";
El resto de variables .. deberías tomarlas por el método que llegan .. POST en tu caso:
por ejemplo
$mail -> AddAddress ($_POST['to']);
No usar a ser posible el extract() ....
E $key del "$tmp_name = $_FILES["archivos"]["tmp_name"][$key];" .. no veo de donde sale (tal vez esté en el "enjambre de HTML" que tienes ahí .. pero no consigo verla .. intenta por tu bien colocar el código HTML que sea "legible" .. sino te costará ver problemas y nos costará a los que pretenden ayudarte a verlo también).
Un saludo,