youtube utiliza la propiedad css3 2border-radius", y además con una propiedad 'privativa' de firefox:
-moz-border-radius:7px;
Hay otras técnicas que dicen ser "
multinavegador".
Haz una búsqueda por
"curved corner" o términos similares.
En
www.araudi.net tienes algún ejemplo realizado por Mikmoro.
Un saludo