warning por robots.txt

[Dundee]

Hola gente ,viendo los logs de mi servidor Apache , me he topado con un warning que no se interpretar, haber si alguien me echa una mano a intentar entender el warning.

[Wed Mar 27 27:88:09 2009] [error] [client 467.46.399.22] File does not exist: /var/www/vhosts/midominio.com/httpdocs/robots.txt

Dice que el archivo robots.txt no existe , ¿pero porque lo busca si yo no le he indicado que lo hiciera?, ¿es obligatorio tener el robotos.txt? ¿desde cuando?.

Por cierto por un warning no debe de dejar de funcionar una aplicación web ¿verdad?. Si no estoy muy equivocado cuando deja de funcionar es con los errores ¿cierto?.
PD: los valores de ls ips lógicamente son falsos (lo digo por si alguien me dice que no estan correctos :( )
Mil gracias

[abimaelrc]

Eso lo buscan los buscadores como por ejemplo google. No debes preocuparte pero es bueno que tengas alguno creado con alguna regla para los buscadores.

[Dundee]

Iniciado por abimaelrc

Eso lo buscan los buscadores como por ejemplo google. No debes preocuparte pero es bueno que tengas alguno creado con alguna regla para los buscadores.

Gracias compañero se lo que hace robots y para que sirve, lo que no se es porque el apache me tira ese warning, ya que yo creía que ese archivo puedo usarlo o no según me convenga.

Gracias de todos modos.

[abimaelrc]

Es así, pero apache te indica ese warning porque hay algún buscador que hizo esa petición y no lo encontró. Es como si tratara de hacer una búsqueda de algún archivo en tu servidor y ese archivo no existiera.

[Dundee]

Iniciado por abimaelrc

Es así, pero apache te indica ese warning porque hay algún buscador que hizo esa petición y no lo encontró. Es como si tratara de hacer una búsqueda de algún archivo en tu servidor y ese archivo no existiera.

Ok mil gracias , eso es justo lo que necesitaba comprender.
Un saludo

[GatorV]

Tema movido desde PHP a Web Hosting