contar resultados repetidos

[gnzsoloyo]

Ese ya es otro nivel de problemas...
ORDER BY y GROUP BY no son realmente buenos para combinar, porque suelen tener un resultado inesperado en MySQL al juntarlos.
Lo que te conviene es transformar todo eso en una subconsulta, y aplicar el ORDER BY en esa etapa:

Código MySQL:

SELECT autor, totpages, validado, cancelado
FROM 
  (SELECT 
      autor,  
      COUNT(autor ) totpages, 
      SUM(IF(estado = 2, 1, 0)) validado,  
      SUM(IF(estado = 3, 1, 0)) cancelado
  FROM navitool
  WHERE estado IN (2, 3)
  GROUP BY autor ) T1
ORDER BY totpages DESC, autor ASC, cancelado DESC
LIMIT 50