Eso es por el overlay de tu tarjeta de video.
La mejor solucion es usar el BsPlayer para reproducir el archivo, y si te fijas tiene una opción de capturar cuadro, que te permitirá hacer la captura.
www.bsplayer.org
Si no funciona (a veces da problemas con xvid) tienes el ViPlay, muy parecido.
www.urusoft.net
Saludos