Con este códido a mi me salen uno debajo del otro y con el link.
Es el que se explica al principio con la modificación añadida en la línea "the_title" para que tenga el permalink.
Código PHP:
<?php require_once("./wordpress/wp-config.php"); ?>
<?php $my_query = new WP_Query('showposts=4');
while ($my_query->have_posts()) : $my_query->the_post();
$do_not_duplicate = $post->ID;?>
<a href="<?php echo get_permalink() ?>" rel="bookmark" title="Enlace Permanente a <?php the_title(); ?>"><?php the_title(); ?></a>
<?php the_time('j \d\e F \d\e Y'); ?>
<?php the_content(); ?>
<?php endwhile; ?>