En PHP, si no usas varios procesos (a través de fork), es complicado atender "adecuadamente" a multiples usuarios concurrentes en un server listen socket, una alternativa es utilizando socket no bloqueantes, de esta manera, no se bloquea el socket a la espera de la respuesta de un cliente, si no, continua el flujo (y podemos atender a otro cliente), de todas formas, el rendimiento no es muy grande.
Código PHP:
stream_set_blocking($socket,0);
De esa forma, vas a notar, que si uno de los clientes demora en responder, no bloqueas al resto de las conexiones.
Ahora realmente si necesitamos un mayor performance, lamentablmente la opción es migrar a otro lenguaje con mejor manejo de hilos.
Saludos