Problema con avg, tiempo medio en ms

[alberto2]

Buenas a todos, necesito saber el tiempo medio en ms de los 10 productos que tengo en la BD y necesito saberlo del dia actual, de ayer, de antes de ayer y de hace 3 días. El problema es que la media me da un numero raro, es decir no me hace bien la media, por ejemplo: 2 y 4 la media tendria que ser 3 y me da menos a tres por ejemplo 1 o 1,5...no me da 3...
Hago la siguiente query:

Código MySQL:

SELECT producto, AVG(CASE WHEN fecha = '2015-10-09' THEN tiempomedioenms ELSE 0 END) AS hoy
, AVG(CASE WHEN fecha = '2015-10-08' THEN tiempomedioenms ELSE 0 END) AS ayer 
, AVG(CASE WHEN fecha = '2015-10-07' THEN tiempomedioenms ELSE 0 END) AS anteayer
, AVG(CASE WHEN fecha = '2015-10-06' THEN tiempomedioenms ELSE 0 END) AS hace4dias
FROM tabla
GROUP BY producto;
 

Me podeis decir como sería la query correcta?? Muchas gracias a todos los que me ayuden.
Saludos.