Prueba esto:
Coloca el archivo robots.txt en la raiz de tu servidor, por ejemplo:
/var/www/html/robots.txt
Agrega las siguientes lineas a tu archivo httpd.conf:
Código:
#Excluir robots para todo el servidor con robots.txt
<Location "/robots.txt">
SetHandler None
</Location>
Alias /robots.txt /ruta/al-archivo/robots.txt