Finalmente lo resolví de la manera inicial, utilizando diferentes adaptadores en el PC. Creo que me salió bastante barato, ahora me falta solamente comprar extensores para los USB o para los audifonos, pero ya es lo de menos. Programé una miniaplicación en Python que permite seleccionar la entrada y salida de audio de cada "intercom", y asi el audio se envia a los otros dispositivos sin escucharse así mismo y asi sucesivamente con los otros.
Si alguien quiere descargarlo (funciona con
python), aquí está:
http://sandbox.mox.cl/intercom/main.py