Es una limitación natural de algunos routers, puede que a través de tu ip pública vos no puedas ver el server, pero desde fuera de la red si, si ese es el caso no te hagas problema, lo importante es que se pueda acceder desde el exterior.
Para verificar podés hacer lo siguiente, usá algún sistema de navegación anónima, que use un proxy, por ejemplo
http://www.vtunnel.com/ desde tu PC, e intentá acceder via IP pública, en teoría, y si el xampp está en orden, tendrías que poder acceder
Saludos