Una expresión regular puede contener el caracter / sin ningún problema. Lo único que hay que tener cuidado es en escapar con la contrabarra \ los caracteres que puedan ser conflictivos (como la propia contrabarra, el paréntesis... etc.) Si te da problemas / (no debería) prueba con escaparlas. Tu expresión regular sería la siguiente
Código:
^http\:\/\/www\.ejemplo\.com\/pagina\.php
Ojo con los puntos, hay que escaparlos que si no simbolizan "cualquier caracter".
Otra manera (más sencilla) de hacerlo es con la función indexOf:
cadena.indexOf("http://www.ejemplo.com/pagina.php")==0
Si eso da true, es que
cadena empieza por esa URL, y si da false, que no empieza por esa URL.
Un saludo.