Ya esta solucionado, no era cosa del numero de registros, si no de que si el tercer registro tenia la misma fecha que el cuarto me ponia 4, si tambien tenia la misma fecha que el quinto me ponia 5 y asi.
Bueno, le he cambiado el order by fecha Desc por order by id Desc, y aunque no era exactamente lo que yo queria, no se nota mucho
.
Un saludo