Hola
Para OGM necesitas el OGG Direct Show, este:
http://tobias.everwicked.com/oggds.htm
Si ya lo tienes, además de ese necesitas el codec de video que tenga tu archivo, o sea, DivX, XviD, etc. El codec OGG es sólo para que te reconozca el archivo y para escuchar el audio, por eso necesitas también el de video.
Y por otro lado volvemos a lo de siempre... probar en varios reproductores a ver qué pasa: Windows Media, Bsplayer, Media Player Classic...
Si instalando todo esto no va, prueba a desinstalar todo, reiniciar, y volver a instalarlo.