No es posible desde la base de datos.
Por un lado, no hay modo de restringir la cantidad de registros de una tabla, ni aún usando los parámetros propios del CREATE TABLE. Si revisas el manual verás que MAX_ROWS no lo hace.
Cita: MAX_ROWS
Máximo número de registros que planea almacenar en la tabla. No es un límite absoluto, sino un indicador que la tabla debe ser capaz de almacenar al menos estos registros.
Por otro lado, MySQL no tiene recursos para "expulsar" un usuario logueado correctamente.
No es la primera vez que alguien pregunta esto, pero en todos los casos hemos terminado aconsejándole la misma solución: Manejalo en el programa, por programación. MySQL no puede hacer nada como lo que quieres.