Hola comunidad.
Recientemente he terminado un sistema de estadísticas web en php.
Lo único que me falta es una lista completa con los nombres de los spider-bots de los buscadores más imaportantes.
Por ejemplo: Google -> Googlebot
Código PHP:
$this->se_def = array(
'MSN' => array('MSN', 'msnbot', 'msn.', 'http://www.msn.com', 'http://search.msn.com/msnbot.htm', 'q='),
'Yahoo!' => array('Yahoo!', 'Yahoo', 'yahoo.', 'http://www.yahoo.com', 'http://help.yahoo.com/help/us/ysearch/slurp', 'p='),
'AOL' => array('AOL', '', 'search.aol.', 'http://www.aol.com', 'http://www.aol.com', '&query='),
'Google' => array('Google', 'Googlebot', 'google.', 'http://www.google.com', 'http://www.google.com/bot.html', 'q='),
'Dog Pile' => array('Dog Pile', '', 'dogpile.', 'http://www.dogpile.com', 'http://www.dogpile.com', 'Web/'),
'MetaCrawler' => array('MetaCrawler', '', 'metacrawler.', 'http://www.metacrawler.com', 'http://www.metacrawler.com', 'web/'),
'Ask Jeeves' => array('Ask Jeeves', '', 'ask.', 'http://www.ask.com', 'http://www.ask.com', 'q='),
'All The Web' => array('AllTheWeb', '', 'alltheweb.', 'http://www.alltheweb.com', 'http://www.alltheweb.com', 'q='),
'Google Image' => array('Google Image', 'Googlebot-Image', 'images.google.', 'http://images.google.com', 'http://www.google.com/bot.html', 'q='),
'Altavista' => array('Altavista', 'Scooter', 'altavista.', 'http://www.altavista.com', 'http://www.altavista.com', 'q=')
);
Es la lista incompleta que pude lograr hasta ahora pero verán que algunos todavía les falta en el [1] el nombre del bot.
Alguien sabe de alguna lista actualizada con esta info?
Gracias espero sus aportes.