Veamos... Lo que quieres es cerrar el acceso a Internet a todo dios. Y habilitar determinadas URLs.
Suponiendo que tienes un router para salir a Internet, puedes cerrar la salida en ese propio router (suelen tener filtros IP incorporados), dejando que SOLO una IP salga hacia los puertos 80 y 443 (la del servidor).
En el servidor instalas un proxy open source (squid, por ejemplo) y en cada PC dices que para salir a Internet (en el navegador) deben usar como proxy la IP/puerto del proxy en el servidor.
Esa es la opción "rápida y chapucerilla", pero cómoda dado que no te supone instalar prácticamente nada nuevo, tan solo cerrar en salida tu router. En el servidor puedes instalar SQUID (excelente proxy open source) - versión para windows oficial:
http://squid.acmeconsulting.it/
La opción buena pasa por que cuentes con una máquina (no muy potente, en absoluto), le instales un Linux (debian, por ejemplo) y con dos tarjetas de red (todo MUY barato) con iptables y squid.
Actives el IP forwarding.
Configures el iptables para denegar todo el tráfico en FORWARD entre interfaces.
Configures el squid para que SOLO permita salir hacia determinadas URLs (ACLs triviales)...
Conectes la segunda tarjeta de red al router (Que será el UNICO cable que entre en el router desde la LAN) y la primera tarjeta al switch donde estan todos los equipos y el servidor...
Y pongas como puerta de acceso la IP de esa tarjeta de red (IP interna de tu nuevo firewall) en todos los equipos (lo lógico es que pongas aquí la IP que tenía antes el router y que cambies la IP interna del router para otra subred, misma subred en la que tendrás la tarjeta externa de tu nuevo y flamante firewall/proxy)... La IP nueva del router será la puerta de enlace por defecto SOLO del firewall.