vayamos por partes.
para ampliar las fotos en un div flotante con un bonito efecto, necesitas
jQuery y un plugin como por ejemplo
ThickBox.
para los bordes redondeados, tienes varias opciones.
puedes editar las imágenes, añadirles un borde y guardarlas como png o puedes utilizar un poco de css (
border-radius). con eso y un poco de padding para ocultar las esquinas de las imágenes lograrías el mismo efecto.
el problema de border-radius es que no es compatible con internet explorer.
otra técnica sería crear los bordes en imágenes y utilizarlas de fondo en una capa. luego un poco de padding y listo.
hay muchos tutoriales de como hacer todo esto. buscando un poco encontrarás mucho.
un saludo