Del lado del servidor vas a necesitar una serie de programas: FFMpeg, Ruby on Rails, codecs de audio y video, etc...
Guia de instalacion (en ingles)
Scripts tipo youtube hay muchos, solo tienes que buscar en google, aunque la mayoria son de paga como PHPMotion, PHPYouTube o vShare.