Hola consulta sobre Robots

[b44]

Tengo el siguiente archivo robots:

Código:

<!-- BEGIN Developer Shed™ Network's Robots.txt Generator -->
<!-- Copyright 2001-2007 Developer Shed™, LLC All Rights Reserved -->


<table border="0" cellspacing="0" cellpadding="0">
  <tr>
   <td valign="top">
      <table width="300" border="0" cellspacing="0" cellpadding="0">
        <tr>
          <td width="16" height="16"><img src="http://images.devshed.com/sc/seotools/image_01.gif" width="16" height="16"></td>
          <td width="130" height="16" background="http://images.devshed.com/sc/seotools/bckg06.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="130" height="16"></td>
          <td width="118" height="16" background="http://images.devshed.com/sc/seotools/bckg06.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="150" height="16"></td>
          <td width="40" background="http://images.devshed.com/sc/seotools/bckg06.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="40" height="16"></td>
          <td width="18" height="16"><img src="http://images.devshed.com/sc/seotools/image_02.gif" width="16" height="16"></td>
        </tr>
        <tr>
          <td height="30" background="http://images.devshed.com/sc/seotools/bckg07.gif"> </td>
          <td class=toolbox width="*" bgcolor="#CCCCCC" colspan=2 valign=top>
          <B><font size=+1>Robots.txt Generator Tool</font></b> © <a href="http://www.seochat.com">SEO Chat™</a>
          <font size="2" face="Courier New, Courier, mono">
			    <form action="http://www.seochat.com/" method="GET" name="form"><input type=hidden name=go value=1><input   tabindex=1  type="hidden" name="option" value="com_seotools"><input   tabindex=2  type="hidden" name="tool" value="21"><p><b>Allowed User Agent</b><br>Select user agent or use default for all agents<br><select  tabindex=3   name="usera" id="usera" size=""><option value="*" >All Agents</option><option value="ia_archiver" >Alexa Agent</option><option value="Scooter" >AltaVista Agent</option><option value="ArchitextSpider" >AOL Netfind/Excite Agent</option><option value="Googlebot" >Google Agent</option><option value="Slurp" >HotBot Agent</option><option value="InfoSeek Sidewinder" >InfoSeek Agent</option><option value="Lycos_Spider_(T-Rex)" >Lycos Agent</option><option value="MSNBot" >MSN Search Crawler</option><option value="Gulliver" >Northern Lights Agent</option><option value="WebCrawler/3.0" >Webcrawler Agent</option></select><p><b>Enable All Webpages</b><br><input   tabindex=4  type="radio" name="allpages" id="allpages" value="1" > Yes<br><input   tabindex=5  type="radio" name="allpages" id="allpages" value="0" checked="checked"> No<br><p><b>Exclude These URL's</b><br>Enter URLs you wish to exclude<br><textarea  tabindex=6   name="exclude_list" cols=30 rows=5>/cgi-bin/
/images/</textarea><p><b>Enter Captcha To Continue</b><br>To prevent spamming, please enter in the numbers and letters in the box below<br><input type=text  tabindex=7   name="imageverify" size=32 value=""><input   tabindex=8  type="hidden" name="timehsh" value="vb7KxMA="><p><img	src=http://www.seochat.com/includes/showcaptcha.php?bd=rb22ysY= border=1><p><input  tabindex=9   type=submit name="toolsubmit" id="toolsubmit" value="Create"></form>
          </font>
          </td>
          <td width="40" valign="top" bgcolor="#CCCCCC"></td>
          <td width="18" background="http://images.devshed.com/sc/seotools/bckg03.gif"> </td>
        </tr>
        <tr>
          <td width="16"><img src="http://images.devshed.com/sc/seotools/image_03.gif" width="16" height="16"></td>
          <td colspan="3" width="*" height="16" background="http://images.devshed.com/sc/seotools/bckg04.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="16" height="16"></td>
          <td width="18"><img src="http://images.devshed.com/sc/seotools/image_04.gif" width="16" height="16"></td>
        </tr>
      </table>
    </td>
  </tr>
</table>

<!-- END Developer Shed™ Network's Robots.txt Generator -->

El nombre es Robots.txt pero no se que significa ese codigo ni que tengo que hacer con él.

[roc2107]

Eso no parece ser un robots.txt te recomiendo que pases por esta página y los hagas ahí:
http://www.mcanerin.com/search-engine/robots-txt.htm

[b44]

Gracias ya tengo el archivo robots.txt ( ¿ SE ESCRIBE TODO EN MINISCULA ? )

Que tengo que hacer ahora con él.

Me ha dado este código.

Código:

# robots.txt generated at www.mcanerin.com
User-agent: Googlebot
Disallow: 
User-agent: Googlebot-Image
Disallow: 
User-agent: MSNBot
Disallow: 
User-agent: Slurp
Disallow: 
User-agent: Teoma
Disallow: 
User-agent: Gigabot
Disallow: 
User-agent: Scrubby
Disallow: 
User-agent: Robozilla
Disallow: 
User-agent: Nutch
Disallow: 
User-agent: ia_archiver
Disallow: 
User-agent: baiduspider
Disallow: 
User-agent: yahoo-mmcrawler
Disallow: 
User-agent: psbot
Disallow: 
User-agent: asterias
Disallow: 
User-agent: yahoo-blogs/v3.9
Disallow: 
User-agent: *
Disallow: 
Disallow: /cgi-bin/
Disallow: http://angelescalleja.eresmas.com/spain/Clientes/AccesoClientes.html
Disallow: http://angelescalleja.eresmas.com/english/Clientes/AccesoClientes.html

Gracias

[multirest]

eso no es un robots.txt. Eso es un txt con etiquetas de HTML que las metieron dentro de un archivo llamado robots.

un claro ejemplo de cómo usar el archivo robots http://www.conectarnos.com/robots.txt

de hecho, si quiers bajatelo y editalo segun los directorio de su sitio que quieras que el buscador no indexe.

saludos,

[b44]

Hola:
He colocado el archivo para que pueda entrar en todos los navegadores.
pero al editarlo con el navegador no sale igual.
aqui esta el enlace
Que es lo que esta mal?

http://angelescalleja.eresmas.com/robots.txt

[multirest]

editalo con el boc de notas. No uses ningún editor gráfico o web como el Dreamweaver

saludos,

[b44]

Dos preguntas.

La primera aqui tengo el archivo robots.txt, yo quiero que se permita indexar en todos los navegadores para todas las carpetas menos para la carpeta Cliente en la carpeta spain y la carpeta Clientes en la carpeta english

Si podeis mirarlo aqui esta el codigo del archivo robots.txt.Si no fuera así por favor decidmelo.

http://personales.ya.com/angelescalleja/robots.txt

Segunda pregunta si es el mismo archivo, ¿porque se ve en uno (http://personales.ya.com/angelescall...bots.txt)igual que lo edito en Word pad y el otro no se ve bien.(http://angelescalleja.eresmas.com/robots.txt)? ¿? Hay algun problema por verlo todo seguido.?

[multirest]

Está perfecto, pero donde permites a todos los buscadores lo solucionabas con

User-agent: *
Allow: /

Si para todos permites los mismos accesos no es necesario que menciones a cada uno


saludos,