Las variables del formulario debes de recibirlas con $_POST en caso de que el formulario tenga method=post, o con $_GET en caso de que el method=get.
Con todo esto y ordenando un poco, quedaría algo así:
archivo.php
Código PHP:
<html>
<body>
<table border="1">
<tr><td>Rut</td><td>Nombre</td><td>Apellido</td></tr>
<?php
include ("lib.php");
conectar();
$query = mysql_query("SELECT * from cliente WHERE rut = '" . $_POST['txtrut'] . "'");
while ($row = mysql_fetch_array($query)){ ?>
<tr>
<td><?php echo $row["rut"]; ?></td>
<td><?php echo $row["nombre"]; ?></td>
<td><?php echo $row["apellido"]; ?></td>
</tr>
<?php } ?>
</table>
</body>
</html>
<?php
mysql_free_result($query);
mysql_close();
?>