Division Por 0

[piponazo]

Buenas a todos, os mando lineas de código con las que realizo un fichero para calcular un par de variables que representar coordenadas para otro método posterior:

for ( int y = 1; y < 480 ; y++){
for ( int x = 1; x < 640; x++){
if (avg[y][x] > 200){
x1=x;
y1=y;}
while (avg[y][x] > 200){x++;}
xm=x-x1;
x=x1;
y=y1;
while (avg[y][x] > 200){y++;}
ym=y-y1;
ra = xm/ym;
if (4 <= ra & ra <= 5) break;
}}

El problema es la línea subrayada, me indica error de / by zero, que es división por cero que obviamente se que incorrecto, pero el tema es que no debería, según mis condiciones existir la posibilidad de que eso se produzca, ¿que ocurre?, ¿que tengo mal?, ¿como puedo solucionarlo de manera sencilla?