Pues creo que deberías de cambiar tu código a la hora de guardar el archivo de esta manera:
$filename = "contador.txt";
$archivo = file($filename,"r");
$contador = $archivo[0];
$contador++;
$guardar = "&votos1=".$contador."&";
$fp = fopen( $filename,"w");
fwrite($fp,
$guardar);
fclose($fp);
Aunque ahora también tendrías que cambiar la forma en que lo lees, no lo se, tal vez realizando un explode. Suerte