robots.txt es un archivo de texto plato en donde se le indica a los robots de busquedas (spiders) a que directorios pueden ingresar y a cuales no, esto es util si tu sitio tiene directorios que son para administradores o para depositar scripts para el funcionamiento del sitio, todo ese contenido no deberia estar en un buscador, bueno, con los robots puedes excluirlo.
Aca tenes sobre el tema:
http://www.programacion.net/html/articulo/tw_robotstxt/
Bueno, con el tema de los meta, te diria que no te mates pensando en ellos, hoy en día lo unico que sirve para estar arriba en un buscador es un buen contenido (tanto en archivos como en calidad), de lo contrario ningún meta te salva...