evitar que extraigan contenido

[primary]

Hola resulta que cada cierto tiempo entran en mi web con un robot y me extraen contenido buscando por toda la web, quedria saber como evitarlo, bloquear los robot no me sirve ya que necesito que los buscadores rastrean mi web.

Tendría que ser una solución en php.
Saludos

[pateketrueke]

La única forma de bloquear dicho acceso es que conozcas algo de el mismo, ¿qué datos tienes disponibles para identificarlo?

Sin eso es imposible determinar porque sencillamente no existen formas de "adivinar" nada.

[Malenko]

Puedes mirar por el user-agent, por accesos repetidos desde una única ip, o si la ip siempre es la misma...

[primary]

Quien me extrae contenido solo lo hace una vez es decir que necesito evitar que lo hagan sin saber nada del robot.
Saludos.

[pateketrueke]

Iniciado por primary

Quien me extrae contenido solo lo hace una vez es decir que necesito evitar que lo hagan sin saber nada del robot.
Saludos.

Pues es complicado, mas no imposible.

¿Con qué frecuencia un usuario podría revisar a totalidad tu contenido?

Vamos, ningún ser humano puede revisar más de 2 páginas en menos de 10 segundos.

Ahí tienes una clave: analiza la frecuencia de acceso por usuario, y si la frecuencia es alta entonces es un robot.

[primary]

Hola paketetrueke, como lo debería hacer igual los buscadores debería dejarlos que rastreen mi sitio.
Saludos.

[pateketrueke]

Pues sí, pero ellos sí se identifican, así que no veo problema ahí.

Yo sólo bloquearía a quienes no se identifican, de entrada es más simple.

Si conoces los user-agent de los robots que te indexan entonces ahí tienes una white-list, todos aquellos que no se identifican entran automáticamente al black-list.

Ahora, los que se identifiquen pero que no estén en la white-list tendrás que analizarlos al momento de consumir tu contenido, etc.

[primary]

Gracias paketetrueke, ya tengo la idea ahora lo pondre a la práctica cualquier duda regreso.
Saludos.