Hola:
Mediante funciones aleatorias tienes que crear la cadena clave (código captcha) y con las librerías GD usar una imagen de fondo y sobre escribir la cadena aleatoria, que tienes que guardar en variables de sesión... entonces la validación sería algo así:
$ok = $_SESSION["captcha"] == $_POST["captcha"];
Como verás, esas imágenes se llaman captcha, y en estos foros hay algunos mensajes sobre ellas... te aconsejo que busques usando esa palabra clave; encontrarás mucha y muy interesante información.
Saludos
