Foros del Web » Programando para Internet » PHP »

detectar robot en mi web con php

Estas en el tema de detectar robot en mi web con php en el foro de PHP en Foros del Web. Como puedo detectar si entra el robot de los buscadores más importante? Es para enviarme un email del día que indexan mi web....
  #1 (permalink)  
Antiguo 11/03/2015, 10:52
 
Fecha de Ingreso: mayo-2011
Mensajes: 1.201
Antigüedad: 12 años, 11 meses
Puntos: 10
detectar robot en mi web con php

Como puedo detectar si entra el robot de los buscadores más importante?
Es para enviarme un email del día que indexan mi web.
  #2 (permalink)  
Antiguo 11/03/2015, 10:54
Avatar de NueveReinas  
Fecha de Ingreso: septiembre-2013
Ubicación: No tan Buenos Aires
Mensajes: 1.101
Antigüedad: 10 años, 7 meses
Puntos: 145
Respuesta: detectar robot en mi web con php

¿No tienes definidos los "robots.txt" y/o la metatag "Revisit-after"?
  #3 (permalink)  
Antiguo 11/03/2015, 11:18
 
Fecha de Ingreso: mayo-2011
Mensajes: 1.201
Antigüedad: 12 años, 11 meses
Puntos: 10
Respuesta: detectar robot en mi web con php

Hola, no tengo definido el robot.txt ya que estoy en proceso de desarrollo pero quiero contar las visitas de los robots de los buscadores una vez entra en el sitio, no se a que te refires con el metatag revisit-after.
  #4 (permalink)  
Antiguo 11/03/2015, 11:25
Avatar de NueveReinas  
Fecha de Ingreso: septiembre-2013
Ubicación: No tan Buenos Aires
Mensajes: 1.101
Antigüedad: 10 años, 7 meses
Puntos: 145
Respuesta: detectar robot en mi web con php

Cita:
Iniciado por pithon Ver Mensaje
Hola, no tengo definido el robot.txt ya que estoy en proceso de desarrollo pero quiero contar las visitas de los robots de los buscadores una vez entra en el sitio, no se a que te refires con el metatag revisit-after.
Bien, entonces simplemente añade una array con los bots en PHP y revisa si el USER AGENT del visitante es igual a los bots.

Como se explica aquí: http://www.fabio.com.ar/5461

Código PHP:
function is_bot(){
 
    
$bots = array(
        
'Googlebot''Baiduspider''ia_archiver',
        
'R6_FeedFetcher''NetcraftSurveyAgent''Sogou web spider',
        
'bingbot''Yahoo! Slurp''facebookexternalhit''PrintfulBot',
        
'msnbot''Twitterbot''UnwindFetchor',
        
'urlresolver''Butterfly''TweetmemeBot' );
 
    foreach(
$bots as $b){
        if( 
stripos$_SERVER['HTTP_USER_AGENT'], $b ) !== false ) return true;
 
    }
    return 
false;

Esa metatag hace que los buscadores [que estén habilitados a indexar tu web] revisen el contenido de la misma cada X días.
Por ejemplo;

Código:
<meta name="Revisit-after" content="1 days">
  #5 (permalink)  
Antiguo 11/03/2015, 11:34
 
Fecha de Ingreso: mayo-2011
Mensajes: 1.201
Antigüedad: 12 años, 11 meses
Puntos: 10
Respuesta: detectar robot en mi web con php

Hola gracias por tu colaboracion y la explicacion de esa meta que parece ser muy importante, saludos.
  #6 (permalink)  
Antiguo 11/03/2015, 12:31
Avatar de lauser
Moderator Unix/Linux
 
Fecha de Ingreso: julio-2013
Ubicación: Odessa (Ukrania)
Mensajes: 3.278
Antigüedad: 10 años, 9 meses
Puntos: 401
Respuesta: detectar robot en mi web con php

Cita:
esa meta que parece ser muy importante
Tan solo es una indicación... osea hacen lo que quieren. De echo creo que google, no hace caso de esa meta.
__________________
Los usuarios que te responden, lo hacen altruistamente y sin ánimo de lucro con el único fin de ayudarte. Se paciente y agradecido.
-SOLOLINUX-
  #7 (permalink)  
Antiguo 12/03/2015, 06:48
Avatar de NueveReinas  
Fecha de Ingreso: septiembre-2013
Ubicación: No tan Buenos Aires
Mensajes: 1.101
Antigüedad: 10 años, 7 meses
Puntos: 145
Respuesta: detectar robot en mi web con php

Cita:
Iniciado por lauser Ver Mensaje
Tan solo es una indicación... osea hacen lo que quieren. De echo creo que google, no hace caso de esa meta.
A mí sí me hace caso, incluso teniendo la búsqueda de mi web en caché, cuando actualizo, por ejemplo, la descripción del sitio (con metatags), a las pocas horas lo cambia en los resultados de búsqueda.
  #8 (permalink)  
Antiguo 12/03/2015, 12:19
Avatar de lauser
Moderator Unix/Linux
 
Fecha de Ingreso: julio-2013
Ubicación: Odessa (Ukrania)
Mensajes: 3.278
Antigüedad: 10 años, 9 meses
Puntos: 401
Respuesta: detectar robot en mi web con php

Los buscadores son bastante inteligentes y hoy en día normalmente no hacen caso de ninguna de estas metas. Se siguen colocando por tradición.
Cita:
a las pocas horas lo cambia en los resultados de búsqueda
Seguro, seguro... que no es por la meta Revisit-after.


Código Metas-Inocuas:
Ver original
  1. <meta name="language" content="es" />
  2. <meta name="revisit-after" content="1 month" />
  3. <meta name="rating" content="General" />
  4. <meta name="author" content="Nombre del autor" />
  5. <meta name="owner" content="Nombre del propietario de la pagina" />
__________________
Los usuarios que te responden, lo hacen altruistamente y sin ánimo de lucro con el único fin de ayudarte. Se paciente y agradecido.
-SOLOLINUX-
  #9 (permalink)  
Antiguo 12/03/2015, 14:14
Avatar de Daniel Ulczyk
Super Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.263
Antigüedad: 19 años, 1 mes
Puntos: 2114
Respuesta: detectar robot en mi web con php

Cita:
Iniciado por lauser Ver Mensaje
Tan solo es una indicación... osea hacen lo que quieren. De echo creo que google, no hace caso de esa meta.


Google visita tu Web según la frecuencia de rastreo que tenga asignada el sitio y esa directiva se la pasa bien por alto.

__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)
  #10 (permalink)  
Antiguo 13/03/2015, 10:01
Avatar de NueveReinas  
Fecha de Ingreso: septiembre-2013
Ubicación: No tan Buenos Aires
Mensajes: 1.101
Antigüedad: 10 años, 7 meses
Puntos: 145
Respuesta: detectar robot en mi web con php

Cita:
Iniciado por Daniel Ulczyk Ver Mensaje


Google visita tu Web según la frecuencia de rastreo que tenga asignada el sitio y esa directiva se la pasa bien por alto.

¿Y dónde se establece esa frecuencia de rastreo?
  #11 (permalink)  
Antiguo 13/03/2015, 11:36
Avatar de Daniel Ulczyk
Super Moderador
 
Fecha de Ingreso: febrero-2005
Ubicación: Buenos Aires
Mensajes: 9.263
Antigüedad: 19 años, 1 mes
Puntos: 2114
Respuesta: detectar robot en mi web con php

Cita:
Iniciado por NueveReinas Ver Mensaje
¿Y dónde se establece esa frecuencia de rastreo?
La frecuencia de rastreo es un valor interno que Google maneja, no es declarativo por parte del usuario.

No obstante desde las Herramientas para Webmasters → Configuración (el engranaje arriba, a la derecha) → Configuración del Sitio → Frecuencia de rastreo (Crawl Rate) → Limitar la frecuencia de rastreo máxima de Google → Establecer parámetros

Este tipo de configuración será válida durante los siguientes 3 meses, luego vencerá y volverá a la configuración predeterminada de Google.
__________________
—Somos lo que hacemos repetidamente. La excelencia, entonces, no es un acto sino un hábito. (Aristóteles dixit)

Etiquetas: robot
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 23:07.