Si no recuerdo mal, MATLAB tiene una toolbox de proceso de imagen, aunque (creo) es opcional y hay que pagar por ella. Si no dispones de esa toolbox, de todos modos hay funciones que te permiten un procesado básico de imágenes. Básicamente, lo que buscas es un reconocimiento de bordes (creo que se llama así). Busca por la red, mira otros programas similares a MATLAB (por ejemplo, SCILAB es muy parecido, es gratuito, y puede que encuentres algo parecido a lo que buscas).
Lamento no poder indicarte nada más, no tengo MATLAB ni me dedico al proceso de imagen, pero si miras en la web de Scilab (
http://www.scilab.org/), en Resources, Scilab help (Online help for Scilab functions), arriba tienes una entrada llamada ATOMS, que te lleva a otra página de la que puedes descargar contribuciones externas a Scilab, una de ellas es Image Processing, echa un ojo porque ahí es probable que encvuentres lo que buscas.
Saludos,