detectar robot en mi web con php

[pithon]

Como puedo detectar si entra el robot de los buscadores más importante?
Es para enviarme un email del día que indexan mi web.

[NueveReinas]

¿No tienes definidos los "robots.txt" y/o la metatag "Revisit-after"?

[pithon]

Hola, no tengo definido el robot.txt ya que estoy en proceso de desarrollo pero quiero contar las visitas de los robots de los buscadores una vez entra en el sitio, no se a que te refires con el metatag revisit-after.

[NueveReinas]

Iniciado por pithon

Hola, no tengo definido el robot.txt ya que estoy en proceso de desarrollo pero quiero contar las visitas de los robots de los buscadores una vez entra en el sitio, no se a que te refires con el metatag revisit-after.

Bien, entonces simplemente añade una array con los bots en PHP y revisa si el USER AGENT del visitante es igual a los bots.

Como se explica aquí: http://www.fabio.com.ar/5461

Código PHP:

  function is_bot(){
 
    $bots = array(
        'Googlebot', 'Baiduspider', 'ia_archiver',
        'R6_FeedFetcher', 'NetcraftSurveyAgent', 'Sogou web spider',
        'bingbot', 'Yahoo! Slurp', 'facebookexternalhit', 'PrintfulBot',
        'msnbot', 'Twitterbot', 'UnwindFetchor',
        'urlresolver', 'Butterfly', 'TweetmemeBot' );
 
    foreach($bots as $b){
        if( stripos( $_SERVER['HTTP_USER_AGENT'], $b ) !== false ) return true;
 
    }
    return false;
}  
   

Esa metatag hace que los buscadores [que estén habilitados a indexar tu web] revisen el contenido de la misma cada X días.
Por ejemplo;

Código:

<meta name="Revisit-after" content="1 days">

[pithon]

Hola gracias por tu colaboracion y la explicacion de esa meta que parece ser muy importante, saludos.

[lauser]

esa meta que parece ser muy importante

Tan solo es una indicación... osea hacen lo que quieren. De echo creo que google, no hace caso de esa meta.

[NueveReinas]

Iniciado por lauser

Tan solo es una indicación... osea hacen lo que quieren. De echo creo que google, no hace caso de esa meta.

A mí sí me hace caso, incluso teniendo la búsqueda de mi web en caché, cuando actualizo, por ejemplo, la descripción del sitio (con metatags), a las pocas horas lo cambia en los resultados de búsqueda.

[lauser]

Los buscadores son bastante inteligentes y hoy en día normalmente no hacen caso de ninguna de estas metas. Se siguen colocando por tradición.

a las pocas horas lo cambia en los resultados de búsqueda

Seguro, seguro... que no es por la meta Revisit-after.

Código Metas-Inocuas:

<meta name="language" content="es" />
<meta name="revisit-after" content="1 month" />
<meta name="rating" content="General" />
<meta name="author" content="Nombre del autor" />
<meta name="owner" content="Nombre del propietario de la pagina" />
 

[Daniel Ulczyk]

Iniciado por lauser

Tan solo es una indicación... osea hacen lo que quieren. De echo creo que google, no hace caso de esa meta.

Google visita tu Web según la frecuencia de rastreo que tenga asignada el sitio y esa directiva se la pasa bien por alto.

[NueveReinas]

Iniciado por Daniel Ulczyk

Google visita tu Web según la frecuencia de rastreo que tenga asignada el sitio y esa directiva se la pasa bien por alto.

¿Y dónde se establece esa frecuencia de rastreo?

[Daniel Ulczyk]

Iniciado por NueveReinas

¿Y dónde se establece esa frecuencia de rastreo?

La frecuencia de rastreo es un valor interno que Google maneja, no es declarativo por parte del usuario.

No obstante desde las Herramientas para Webmasters → Configuración (el engranaje arriba, a la derecha) → Configuración del Sitio → Frecuencia de rastreo (Crawl Rate) → Limitar la frecuencia de rastreo máxima de Google → Establecer parámetros

Este tipo de configuración será válida durante los siguientes 3 meses, luego vencerá y volverá a la configuración predeterminada de Google.