Foros del Web

Foros del Web (http://www.forosdelweb.com/)
-   SEO (http://www.forosdelweb.com/f64/)
-   -   Hola consulta sobre Robots (http://www.forosdelweb.com/f64/hola-consulta-sobre-robots-471818/)

b44 10/03/2007 16:50
Hola consulta sobre Robots
 
Tengo el siguiente archivo robots:
Código:
<!-- BEGIN Developer Shed™ Network's Robots.txt Generator -->
<!-- Copyright 2001-2007 Developer Shed™, LLC All Rights Reserved -->


<table border="0" cellspacing="0" cellpadding="0">
  <tr>
  <td valign="top">
      <table width="300" border="0" cellspacing="0" cellpadding="0">
        <tr>
          <td width="16" height="16"><img src="http://images.devshed.com/sc/seotools/image_01.gif" width="16" height="16"></td>
          <td width="130" height="16" background="http://images.devshed.com/sc/seotools/bckg06.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="130" height="16"></td>
          <td width="118" height="16" background="http://images.devshed.com/sc/seotools/bckg06.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="150" height="16"></td>
          <td width="40" background="http://images.devshed.com/sc/seotools/bckg06.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="40" height="16"></td>
          <td width="18" height="16"><img src="http://images.devshed.com/sc/seotools/image_02.gif" width="16" height="16"></td>
        </tr>
        <tr>
          <td height="30" background="http://images.devshed.com/sc/seotools/bckg07.gif"> </td>
          <td class=toolbox width="*" bgcolor="#CCCCCC" colspan=2 valign=top>
          <B><font size=+1>Robots.txt Generator Tool</font></b> © <a href="http://www.seochat.com">SEO Chat™</a>
          <font size="2" face="Courier New, Courier, mono">
                            <form action="http://www.seochat.com/" method="GET" name="form"><input type=hidden name=go value=1><input  tabindex=1  type="hidden" name="option" value="com_seotools"><input  tabindex=2  type="hidden" name="tool" value="21"><p><b>Allowed User Agent</b><br>Select user agent or use default for all agents<br><select  tabindex=3  name="usera" id="usera" size=""><option value="*" >All Agents</option><option value="ia_archiver" >Alexa Agent</option><option value="Scooter" >AltaVista Agent</option><option value="ArchitextSpider" >AOL Netfind/Excite Agent</option><option value="Googlebot" >Google Agent</option><option value="Slurp" >HotBot Agent</option><option value="InfoSeek Sidewinder" >InfoSeek Agent</option><option value="Lycos_Spider_(T-Rex)" >Lycos Agent</option><option value="MSNBot" >MSN Search Crawler</option><option value="Gulliver" >Northern Lights Agent</option><option value="WebCrawler/3.0" >Webcrawler Agent</option></select><p><b>Enable All Webpages</b><br><input  tabindex=4  type="radio" name="allpages" id="allpages" value="1" > Yes<br><input  tabindex=5  type="radio" name="allpages" id="allpages" value="0" checked="checked"> No<br><p><b>Exclude These URL's</b><br>Enter URLs you wish to exclude<br><textarea  tabindex=6  name="exclude_list" cols=30 rows=5>/cgi-bin/
/images/</textarea><p><b>Enter Captcha To Continue</b><br>To prevent spamming, please enter in the numbers and letters in the box below<br><input type=text  tabindex=7  name="imageverify" size=32 value=""><input  tabindex=8  type="hidden" name="timehsh" value="vb7KxMA="><p><img        src=http://www.seochat.com/includes/showcaptcha.php?bd=rb22ysY= border=1><p><input  tabindex=9  type=submit name="toolsubmit" id="toolsubmit" value="Create"></form>
          </font>
          </td>
          <td width="40" valign="top" bgcolor="#CCCCCC"></td>
          <td width="18" background="http://images.devshed.com/sc/seotools/bckg03.gif"> </td>
        </tr>
        <tr>
          <td width="16"><img src="http://images.devshed.com/sc/seotools/image_03.gif" width="16" height="16"></td>
          <td colspan="3" width="*" height="16" background="http://images.devshed.com/sc/seotools/bckg04.gif"><img src="http://images.devshed.com/sc/seotools/spacer.gif" width="16" height="16"></td>
          <td width="18"><img src="http://images.devshed.com/sc/seotools/image_04.gif" width="16" height="16"></td>
        </tr>
      </table>
    </td>
  </tr>
</table>

<!-- END Developer Shed™ Network's Robots.txt Generator -->
El nombre es Robots.txt pero no se que significa ese codigo ni que tengo que hacer con él.

roc2107 11/03/2007 13:29
Re: Hola consulta sobre Robots
 
Eso no parece ser un robots.txt te recomiendo que pases por esta página y los hagas ahí:
http://www.mcanerin.com/search-engine/robots-txt.htm

b44 12/03/2007 09:19
Re: Hola consulta sobre Robots
 
Gracias ya tengo el archivo robots.txt ( ¿ SE ESCRIBE TODO EN MINISCULA ? )

Que tengo que hacer ahora con él.

Me ha dado este código.

Código:

# robots.txt generated at www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: Googlebot-Image
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: http://angelescalleja.eresmas.com/spain/Clientes/AccesoClientes.html
Disallow: http://angelescalleja.eresmas.com/english/Clientes/AccesoClientes.html
Gracias

multirest 12/03/2007 09:32
Re: Hola consulta sobre Robots
 
eso no es un robots.txt. Eso es un txt con etiquetas de HTML que las metieron dentro de un archivo llamado robots.

un claro ejemplo de cómo usar el archivo robots http://www.conectarnos.com/robots.txt

de hecho, si quiers bajatelo y editalo segun los directorio de su sitio que quieras que el buscador no indexe.

saludos,

b44 12/03/2007 13:01
Re: Hola consulta sobre Robots
 
Hola:
He colocado el archivo para que pueda entrar en todos los navegadores.
pero al editarlo con el navegador no sale igual.
aqui esta el enlace
Que es lo que esta mal?

http://angelescalleja.eresmas.com/robots.txt

multirest 12/03/2007 13:19
Re: Hola consulta sobre Robots
 
editalo con el boc de notas. No uses ningún editor gráfico o web como el Dreamweaver

saludos,

b44 13/03/2007 05:03
Re: Hola consulta sobre Robots
 
Dos preguntas.

La primera aqui tengo el archivo robots.txt, yo quiero que se permita indexar en todos los navegadores para todas las carpetas menos para la carpeta Cliente en la carpeta spain y la carpeta Clientes en la carpeta english

Si podeis mirarlo aqui esta el codigo del archivo robots.txt.Si no fuera así por favor decidmelo.

http://personales.ya.com/angelescalleja/robots.txt

Segunda pregunta si es el mismo archivo, ¿porque se ve en uno (http://personales.ya.com/angelescall...bots.txt)igual que lo edito en Word pad y el otro no se ve bien.(http://angelescalleja.eresmas.com/robots.txt)? ¿? Hay algun problema por verlo todo seguido.?

multirest 13/03/2007 05:55
Re: Hola consulta sobre Robots
 
Está perfecto, pero donde permites a todos los buscadores lo solucionabas con

User-agent: *
Allow: /

Si para todos permites los mismos accesos no es necesario que menciones a cada uno


saludos,


La zona horaria es GMT -6. Ahora son las 01:55.

Desarrollado por vBulletin® Versión 3.8.7
Derechos de Autor ©2000 - 2026, Jelsoft Enterprises Ltd.