Es que estas usando el operador de concatenacion .= . Aplicar ese operador a una variable, digamos $var .= "hola" es lo mismo que hacer $var = $var."hola";. Por lo tanto, $var debe estar definida antes de utilizar ese operador para que no te de ese warning. Probá asignarle una cadena nula antes:
Código PHP:
<?
$contador = "";
$contador .= "<img alt='$imagen ' src='$imagen.gif'>";
?>
Saludos.