A mi me parece que en cuanto a calidad se ve mejor el primero, ¿no te parece? Lo que tienes que hacer es jugar tanto con la resolución como con el bitrate que uses. Prueba a hacerlo de unos 700-800 KB y con una resolución de 540x360 a ver qué sale, apuesto que quedará bastante mejor
Con video sin compresión seguramente sí afectará la resolución, pero sólo en ese caso... en el momento que metes compresión, ya el espacio disponible en el bitrate se va repartiendo entre los píxeles...