Depende para que quieras las tags. Por ejemplo yo usaba.
<meta name="robots" content="index, follow"> y algunos motores indexaban un tipo de páginas siguiendo un tipo de vinculos, luego lo cambié a <meta name="robots" content="index, all"> y los spiders indexaban otro tipo de vínculos y por último terminé usando <meta name="robots" content="index, follow, all"> y me indexaron casi todas las páginas del web, sobre todo, los cuerpos de texto que se extraen de una BD. Conclusión, muchos buscadores parecen ignorar las tags y en realidad las usan para indexar otros datos como el texto, caso de google por ejemplo. Pero todo esto depende del resto de la página, o sea, el tag follow de este caso, no serviría si no tenés vínculos simples de texto, y el tag all no serviría si no tubieras varias index en varios directorios, y a su vez, si las usaras independientemente una u otra, no harían falta estas condiciones. Digamos que las meta tags no sirven de nada si no se aplican a una determinada distribución de las páginas del web y a una cantidad específica de coincidencias en el cuerpo de texto de las sub-páginas de tu site.
Espero que esto te resuelva algo en vez de complicártelo, pero esto es cuestión de experimentar.
Saludos.
Zero Zen.
<p><a href="http://www.clasificario.com/">Visite clasificario.com avisos
clasificados gratis.</a></p>