Eso se llama favicon, en tus páginas debes poner el siguiente código en las etiquetas <head>:
<link rel="shortcut icon" href="http://www.tu_pagina_web.com/favicon.ico">
Luego creas tu favicon con extensión .ico y lo colocas en la raiz de tu web, que es lo que está indicando la dirección arriba.
Podés crear tu ícono en línea en esta página web:
http://www.html-kit.com/favicon/