Exactamente.
Yo asumo que ya te conectaste a la BD.
Luego donde dice "// Y haces la inserción", habría que ejecutar la sentencia que está en $sql.
Código PHP:
// conexión
$con = mysql_connect("localhost", "usuario", "password");
mysql_select_db("nombre de db", $con);
//Lees el archivo a un array:
$array_urls = file("tu_archivo.txt");
//Insertas cada posición del array en un registro en la tabla:
foreach($array_urls as $url){
// Suponiendo que la tabla tiene dos campos:
// Uno "id" (autoincremental) y otro "url"
$sql = "INSERT INTO tabla(id,url) VALUES('','$url')";
// Y haces la inserción.
mysql_query($sql,$con) or die(mysql_error());
}
Saludos