Holas:
1.- Servidor bastante potente? sólo si procesarás los videos, como por ejemplo convertirlos a otro formato. En este caso sería adquirir otro servidor aparte dedicado unicamente a la conversion de los videos. Con respecto al ancho de banda, siempre es recomendable una buena capcidad y más aún si se trata de videos.
2. Hay dos aspectos acá, el formato de video que se mostrará en la web y la que subirás al server. Con respecto al primero lo recomendable es FLV, mp4 ya que es universal, pues de optar por la otra opción el usuario deberá tener los reproductores para cada uno de los formatos. El otro aspecto, podrías subir cualquier formato al server y éste podría convertirlo al formato que hayas elegido para que se muestre en la web, o bien podrías subir ya de plano en flv o mp4, para así ahorrarle trabajo al servidor.
3. Flowplayer está bien, aunq creo que tiene una marca de agua (logotipo del producto), yo uso el ToobPlayer, acá te dejo el link:
http://blogsbazaar.com/2008/07/toobp...nuestro-sitio/ , en este blog sólo dice que funciona con youtube, pero tambien funciona con videos propios, yo lo probé hace un año mas o menos y funciona.
No olvides el karma, gracias.