Bueno si no entiendo mal , tenias el modem conectado a tu maquina con Debian y realizabas el ppoe con debian hacia el modem...correcto ...
Bueno ahora que tienes router, el modem no va conectado directamente ala maquina Debian , si no al router , entonces con el router realizas el pppoe hacia el modem y de ahi en fuera a compartir con los demas equipos en la red.
Espero que no ande perdido...
Saludos.
edito: en el router conecta el ethernet en el puerto "internet" y de ahi al modem.