Primero: Hay un foro específico de SQL Server. Deberías haber posteado la pregunta allí, y con 188 mensajes en tu haber, es algo que ya deberías saber...
 
Segundo, el propio mensaje de error ya te dice dónde estas metiendo la pata:  
 Cita:  Operand data type varchar is invalid for avg operator.
    ¿No te parece lógico que 
no se puede aplicar una función 
matemática a un campo que es de 
cadena de texto? 
Eso sin contar con que promediar un campo que es PRIMARY KEY, francamente no tiene sentido. 
 Cita:  El campo que estoy buscando es un primary key