No (pero depende de tus necesidades), por que al agregarle integridad referencial, la base de datos se toma el trabajo de verificar la integridad de la información antes de ejecutar cualquier sql.
Tambien es posible que le agregues mas tamaño a la cache para que el motor de datos no redunde en las consultas y aceleres el proceso.
En todo caso es mucho mas segurdo trabajar con integridad referencial. (InnoDB)
Por otro lado si lo que quieres es rapidez usa el formato MyISAM para tus tablas.
--
navisoft
http://www.titiqaqa.com/navisoft