Despues de trabajar con servidores que tienen minimo 50GB en ram y 12 cores otras configuraciones se me hacen pequeñas, pero para el tamaño de la base de dagtos que tienes 12GB es mas que suficiente, ahora parece que tu problema esta relacionado mas con la parte de windows que con sql server, revisa este link:
http://dba.stackexchange.com/questio...-53rd-leads-to
si te fijas exponen un caso muy parecido al tuyo(100 replicaciones, las primeras funcionan bien, despues de setear la 50 empiezan los problemas) y este link te direcciona a este KB
https://support.microsoft.com/en-us/kb/949296
Espero que con eso puedas solucionar tu problema