mmmm
Hay varios temas mezclados por tanto es bueno ir por partes, y como no se el formato nuevo y antiguo tu trasladas mi ejemplo al tuyo, ahí vamos...
Convertir URLs antiguas a nuevas, si por ejemplo tenias:
sitio.com/vertupost.php?id=123
y ahora tienes:
sitio.com/hermoso-post-recontra-seo/123/
debes hacer una redirección 301 vía htacces y/o con PHP (una de dos o ambas juntas de ser necesario), de la antigua a nueva.
OJO, no debes quitar vía robot las antiguas !!!! (ahí puede ser tu primer error)
Déjalas, no las quites, Google debe leer las antiguas, y apoyado por tu nuevo sitemap con el nuevo formato, y con tus redirecciones 301 correctamente realizadas, actualizara el indice. Pero no prohíbas las antiguas, si no se queda cojo en la conversión :(
Siguiente caso...
Si tienes URLs del tipo:
sitio.com/verlistapost.php?categoria=12&ordenado=nombre
y
sitio.com/verlistapost.php?categoria=12&ordenado=id
ahí, tienes contenido duplicado, ya que muestras lo mismo en diferente Orden, lo correcto es usar URLs canónicas.
O sea especificar algo como:
<link rel="canonical" href="http://sitio.com/verlistapost.php?categoria=12" />
de esa forma, independiente del orden=id o orden=nombre, sabrá por tu HTML con el canonical en el header que la que vale es la neutra sin orden o con orden por defecto. Más info:
Especifica tus urls canónicas
Otro ejemplo:
Si tienes URLs con Tags, Categorias, o Paneles de administración, o archivos que no quieres que vean e indexe como swf, pdfs, etc, ahí si le pones el robot
Para un directorio:
User-agent: *
Disallow: /admin/
para un archivo
Disallow: /login.php
Esto también puede aplicarse a URLs que contengan session id, algo típico de PHP cuando pasas logueos por Session, urls onda:
tusitio.com/usuario.php?sid=2349fhe777aabb888
Espero quede claro ;)
cualquier cosa pega el grito.