Las "conexiones" que hacen tus "Robots" al entrar a tu sitio son por HTTP (que son las mismas que dá como resultados tus estadísticas de tu servidor HTTP que analizas con algún otro software tipo webalizer o similar ...)
Lo que "ve" tu "robot" es lo mismo que si tu pides ese .php por HTTP con tu navegador en la barra de direcciones:
http://www.tal.tal/nose.php .. NUNCA el código fuente PHP .. sólo la "salida" resultante: HTML/javacript/Flash o lo que uses ..
Un saludo,