21/04/2010, 10:37
|
| | | Fecha de Ingreso: enero-2008
Mensajes: 381
Antigüedad: 16 años, 3 meses Puntos: 19 | |
| Respuesta: Es legal Indexar contenidos de otras paginas?
Las paginas permiten a google indexar o guardar la cache, o prohibirselo. Para eso esta el robots.txt.
Si quieres hacer un spider debes detectar la configuración de robots.txt y en el user-agent poner la url de información sobre tu spider y proporcionar un mecanismo para la gente que no quiera ser indexada (normalmente por robots.txt).
No sé hasta cuanto de legal es esto, pero en los blogs que tengo entran montones de robots poco conocidos y la mayoria funcionan así.
Saludos. |