a ver dejame entender algo, estas guardando los contactos en este formato (1,2,3,4,5)???
Porque no creas un registro para cada contacto?
quedando algo asi:
id_grupo id_contacto
1 1
1 2
Creo que te hace falta diseñar mejor tus tablas..... podria quedar algo como esto:
Grupos
id_grupo
nombre
grupos_contactos
id_grupo
id_contacto
contactos
id_contacto
datos
ahora al momento de unirlas podras obtener los contactos dependiendo el grupo :)