Eso es el Favicon, tendrías que colocar entre las etiquetas <head> de tus páginas el :
Código:
<link rel="shortcut icon" href="http://www.elnombredetusitio.com/favicon.ico">
y luego subís tu archivo favicon.ico en la raíz de tu sitio, que sería la figurita o logo que querés que aparezca.
Si no sabés cómo hacer un archivo .ico, podrías usar este servicio:
http://tools.dynamicdrive.com/favicon/
podés subir cualquier imagen gif, jpg, png, y bmp con un máximo de 150 KB y al subir la imagen te dará un botón de descarga de tu favicon.ico