Entiendo perfectamente, pero ese es el riesgo de querer "ocultar" la url original usando un seudo-proxy, entiende que PHP no fue diseñado para ello, es un pre-procesador de hipertexto, no un proxy-encoder para streaming de video.
Piensa en esto:
(a) es el cliente
(b) es el medio (php)
(c) es el fin (el video)
Si quitas a (b) de la ecuación es natural.
Si usas a (b) como intermediario primero tiene que descargar al 100% de (c), para luego procesarlo y volver a reenviar dicho recurso hacia (a) ¿notas el desperdicio de recursos?