Hola, en Java hay varios caracteres especiales que significan "cosas", por ejemplo el * que pones, como ves no busca el * sino lo sustituye por su "significado"
Para que funcione tienes que poner:
Código:
randHash = getFirstMatch(source,"video\\|(.*?)\\|8080");
Saludos