El SiteMap es para decirle a Google la estructura de tu sitio.
Ahora las ligas externas las tienen que poner los webmasters en sus sitios, apuntando a alguna página tuya, esas links son las que toma en cuenta Google para el PageRank.
Te sugiero le des una revisada a la documentación que Google tiene, además de:
google.dirson.com/pagerank.php
www.google.com/intl/en/technology
Saludos.