Tienes que tener varios formatos ya que según el navegador, se pueden reproducir unos u otros. Aquí tienes una lista de lo que soporta cada cual:
https://developer.mozilla.org/en-US/..._media_formats
Verás que lo ideal es al menos tener los formatos
webm y
mp4.