La verdad que es un tema bastante sencillo, estoy seguro de que hay muchos tutoriales y foros donde puedes encontrar la respuesta.
Lo que preguntas es tan fácil como hacer una consulta con los valores introducidos y comprobar si devuelve algún resultado, si es así, es que ese nombre ya está en la base de datos y entonces deberás mostrarle al usuario un mensaje de error.
Código PHP:
$result = $mysqli->query("SELECT nombre FROM datos WHERE nombre='$nombre' OR email='$email'");
if($result->num_rows > 0){
//ERROR: Ya existe alguien con ese nombre o ese email
}else{
//CORRECTO: Puedes completar el registro
}