Problemas en la red Wi-fi

[canon666]

Buen día a todos,
Resulta que estoy configurando la red para una empresa donde tengo un router principal que está encargado de enrutar y hacer de servidor DHCP sus puertos son giga, un switch de 24 puertos Ethernet al que están conectados algunos equipos y 3 routers con wi-fi y dos puertos giga donde uno de ellos sale la conexión al router principal.
Los 3 router están configurados como puente para realizar Itinerancia, tienen el mismo SSID y la misma contraseña, wpa con AES, 20 MHz están distribuidos en los canales 1, 6 y 11.
El problema que se está presentando es el siguiente, los equipos conectados al switch ingresan a un servidor que está conectado al router principal y al realizar ping la respuesta es de 1 ms. Pero los equipos conectados a los router se demoran en ingresar o a veces ni pueden y el ping oscila entre 5 ms y 500 ms y no tengo idea a que se debe este problema.
Muchas gracias por su colaboración.