Pregunta sobre los robots.

[jariscano]

Hola a todos. Tengo una duda. Hoy he echo un simulacro con un spider para ver que paginas indexaba. Mi sorpresa es que solo indexan las paginas del primer nivel. Bueno los enlaces que hay directamente en el index pero no navega hasta ese enlace y recorre las de esa web.

¿Es eso normal?¿Y como se puede hacer que recorra todos los enlaces de todas las web internas?.

Saludos.