Te hablo desde mi experiencia.
En todas las paginas que he hecho siempre he puesto este.
Donde nombreico sera el nombre que tenga tu icono (no tiene porque ser favicon) y la extensión del icono a de ser .ico, nunca he probado poniendo un png, jpg o gif así que no se si funciona con otra extensión, pero diría que no.
Yo los hago con photoshop con tamaño 24x24 si no recuerdo mal y los guardo con extension .ico con un plugin que hay para photoshop (pero no me acuerdo del nombre
).