Ok, no soy un experto en procesamiento de imágenes, pero te recomendaría analizar el histograma de la imagen.
Para esto te recomiendo primero que leas sobre
histogramas RGB, una vez que captes el concepto veras que es justamente lo que necesitas, para hacer esta búsqueda por color.