en robots.txt pongo los includes?

[cribelo]

Hola, tengo una pagina con php mysql.
Las paginas proncipales estan el public_html
encuestas.php
frases.php
noticias.php
index.php
articulos.php


pero as su ves tengo las carpetas
encuestas
frases
noticias
articulos


frases.php por ejemplo es asi:
<?
include("includes/head.php");

include("includes/left.php");
include("frases/body.php");
include("includes/right.php");
include("includes/pie.php");
?>

se ve, el cuerpo de frases.php lo saca de la carpeta frases,
ahora mi pregunta es.
Debo poner en robots.txt que no ingrese a la carpeta frases?


asi?

User-agent: *
Disallow:
Disallow: /cgi-bin/
Disallow: /admin/
Disallow: /includes/
Disallow: /frases/

esto lo mismo para encuestas, noticcias, etc


bueno graciasss

[Daniel Ulczyk]

Robots.txt es un archivo de directivas restrictivas; por lo que declará en el mismo las carpetas a los cuales negarás acceso a los bots.
Lo que por lógica, entonces, no se indexará en los resultados de búsquedas orgánicas.

Finalemente, el protocolo está explicado en robotstxt.org

[cribelo]

Hola, gracias por responder.
Si se lo que es el archivo robots.txt, lo que no se si le tengo que dejar a el robot que indexe
www.mipagina.com/frases.php
y dejar que indexe
www.mipagina.com/frases/body.php

o solo dejando que indexe la primera ya es suficiente (www.mipagina.com/frases.php)

Se entiende?
graciasss

[Daniel Ulczyk]

Ahora sí te entiendo
En mi opinión, debieras restringir el acceso; de otra manera Google interpretaría contenido duplicado.

Saludos