Cita:
Iniciado por pithon 
Hola, no tengo definido el robot.txt ya que estoy en proceso de desarrollo pero quiero contar las visitas de los robots de los buscadores una vez entra en el sitio, no se a que te refires con el metatag revisit-after.
Bien, entonces simplemente añade una array con los bots en PHP y revisa si el USER AGENT del visitante es igual a los bots.
Como se explica aquí:
http://www.fabio.com.ar/5461 Código PHP:
function is_bot(){
$bots = array(
'Googlebot', 'Baiduspider', 'ia_archiver',
'R6_FeedFetcher', 'NetcraftSurveyAgent', 'Sogou web spider',
'bingbot', 'Yahoo! Slurp', 'facebookexternalhit', 'PrintfulBot',
'msnbot', 'Twitterbot', 'UnwindFetchor',
'urlresolver', 'Butterfly', 'TweetmemeBot' );
foreach($bots as $b){
if( stripos( $_SERVER['HTTP_USER_AGENT'], $b ) !== false ) return true;
}
return false;
}
Esa metatag hace que los buscadores [que estén habilitados a indexar tu web] revisen el contenido de la misma cada X días.
Por ejemplo;
Código:
<meta name="Revisit-after" content="1 days">