la otra opcion seria convertir tu archivo b.html en un codigo javascript y asi podrias llamarlo con:
<script type="text/javascript" src="b.js"></script>
ejemplo:
Código HTML:
b.js ____________________
document.write('codigoHTMLqueQUIERASincluir');
a.html _________________
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1" /> <title>Documento sin título</title>
</head>
<body>
<script type="text/javascript" src="b.js"></script>
</body>
</html>