Tienes que tener instalado en el servidor el ffmpeg, mencoder, flvtool..y luego seria bueno leerte algun que otro manual del ffmpeg que hay por la red..
ESTE es un buen manual, todo eso que ves son comandos que se ejecutan mediante la funcion exec() de php..Un saludo y espero que te sirva.