Habría que saber si quieres que los robots no te indexen contenido, pero lo que un archivo robots.txt habitualmente debe llevar es lo siguiente:
Código HTML:
User-agent: *
Disallow:
Sitemap: http://www.tupaginaweb.com/sitemap.xml
Todo lo demás, está de más.
Para más información:
Web oficial de robots.txt