mensaje de alerta de google webmaster tool

virtualpc · #1 (**permalink**) 21/03/2013, 22:42

buenas compañeros del foro es que estoy muy preocupado

ya que hoy entro a google webmaster tool y me aparece el siguiente mensaje

Se han detectado incidencias graves relacionadas con el estado de tu sitio

me dice que el archivo robots.txt esta bloqueando paginas importantes
Googlebot se encuentra bloqueado para [url=http://peliculas-movies.net/]peliculas-movies.net[/url]

mi sitio antes no tenia ningún archivo robots.txt fisico si no uno virtual que lo creaba wordpress automáticamente y que me mostraba esto:

Código HTML:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

pero resulta que había un directorio el cual me estaba indexando y no lo quería así que
me cree un archivo físico en la raíz del dominio por ftp lo llame robots.txt igual al que ya existía pero virtual y le puse esto

Código HTML:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /stream/

las mismas lineas que tenia antes pero ahora le agregue que me blokeara el directorio stream

y es ahora donde me aparece este gran problema
ayudándome por favor echen me una mano que hice mal ?

saludos y gracias :)

por el momento acabe de borrar el archivo robots.txt físico que había echo a modo de desesperación esperando que al menos google pueda entrar a indexar mi sitio espero se arregle por el momento

pero seguiría con el problema de bloquear el directorio stream y sus derivados

mi pagina [url=http://peliculas-movies.net/]peliculas-movies.net[/url]
el robots.txt [url]http://peliculas-movies.net/robots.txt[/url]
el directorio que quiero bloquear [url]http://peliculas-movies.net/stream/[/url]

hasdpk · #2 (**permalink**) 22/03/2013, 03:24

Yo en tu archivo robots.txt no veo ningún fallo. Podrías comprobar los meta datos de tu Wordpress, a lo mejor ahí está el fallo.

De todos modos date cuenta que Google pasa cada X tiempo por la página, aunque gracias a Webmaster tools puede forzarlo a que lo haga.

virtualpc · #3 (**permalink**) 22/03/2013, 08:14

Cita:

Iniciado por hasdpk

Yo en tu archivo robots.txt no veo ningún fallo. Podrías comprobar los meta datos de tu Wordpress, a lo mejor ahí está el fallo.

De todos modos date cuenta que Google pasa cada X tiempo por la página, aunque gracias a Webmaster tools puede forzarlo a que lo haga.

amigo y como comprobar los meta datos de mi wordpress ?

amigo lo que pasa es que el robots.txt físico que cree ere este

Código HTML:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /stream/

pero en el panel de control de webmaster tool me muestra este robots.txt

Código HTML:

User-agent: *
Disallow: /

que no se donde pudo tomar google ese robots.txt y que me muestra que esta bloqueado el acceso a la pagina principal con el /
e mirado la herramientas para webmaster para solucionarlo y pues ya no se cual se el problema ya que al mismo tiempo que cree mi robos.txt físico
1) también camufle las dns del dominio a cloudflare y las cachee con este mismo y
3) también al mismo tiempo active el plugin wp super cache para cachear toda la pagina el cual me le hizo una modificación al archivo htacces a modo que me quedo así

Código HTML:

<IfModule mod_rewrite.c>
RewriteEngine On
</IfModule>   
LimitRequestBody 10240000  


# BEGIN WPSuperCache
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
#If you serve pages from behind a proxy you may want to change 'RewriteCond %{HTTPS} on' to something more sensible
AddDefaultCharset UTF-8
RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteCond %{HTTPS} on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html.gz -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html.gz" [L]

RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTP:Accept-Encoding} gzip
RewriteCond %{HTTPS} !on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html.gz -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html.gz" [L]

RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTPS} on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index-https.html" [L]

RewriteCond %{REQUEST_URI} !^.*[^/]$
RewriteCond %{REQUEST_URI} !^.*//.*$
RewriteCond %{REQUEST_METHOD} !POST
RewriteCond %{QUERY_STRING} !.*=.*
RewriteCond %{HTTP:Cookie} !^.*(comment_author_|wordpress_logged_in|wp-postpass_).*$
RewriteCond %{HTTP:X-Wap-Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP:Profile} !^[a-z0-9\"]+ [NC]
RewriteCond %{HTTP_USER_AGENT} !^.*(2.0\ MMP|240x320|400X240|AvantGo|BlackBerry|Blazer|Cellphone|Danger|DoCoMo|Elaine/3.0|EudoraWeb|Googlebot-Mobile|hiptop|IEMobile|KYOCERA/WX310K|LG/U990|MIDP-2.|MMEF20|MOT-V|NetFront|Newt|Nintendo\ Wii|Nitro|Nokia|Opera\ Mini|Palm|PlayStation\ Portable|portalmmm|Proxinet|ProxiNet|SHARP-TQ-GX10|SHG-i900|Small|SonyEricsson|Symbian\ OS|SymbianOS|TS21i-10|UP.Browser|UP.Link|webOS|Windows\ CE|WinWAP|YahooSeeker/M1A1-R2D2|iPhone|iPod|Android|BlackBerry9530|LG-TU915\ Obigo|LGE\ VX|webOS|Nokia5800).* [NC]
RewriteCond %{HTTP_user_agent} !^(w3c\ |w3c-|acs-|alav|alca|amoi|audi|avan|benq|bird|blac|blaz|brew|cell|cldc|cmd-|dang|doco|eric|hipt|htc_|inno|ipaq|ipod|jigs|kddi|keji|leno|lg-c|lg-d|lg-g|lge-|lg/u|maui|maxo|midp|mits|mmef|mobi|mot-|moto|mwbp|nec-|newt|noki|palm|pana|pant|phil|play|port|prox|qwap|sage|sams|sany|sch-|sec-|send|seri|sgh-|shar|sie-|siem|smal|smar|sony|sph-|symb|t-mo|teli|tim-|tosh|tsm-|upg1|upsi|vk-v|voda|wap-|wapa|wapi|wapp|wapr|webc|winw|winw|xda\ |xda-).* [NC]
RewriteCond %{HTTPS} !on
RewriteCond %{DOCUMENT_ROOT}/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html -f
RewriteRule ^(.*) "/wp-content/cache/supercache/%{SERVER_NAME}/$1/index.html" [L]
</IfModule>

# END WPSuperCache




# BEGIN WordPress
#RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
#OTRO BORRAR
# END WordPress

y pues ya no se que puede estar pasando ni como hago para que google me deje de mostrar esa alerta

hasdpk · #4 (**permalink**) 23/03/2013, 03:05

Para comprobar los meta datos abres tu página web, le das al botón derecho (en cualquier espacio en blanco) y haces click en "ver código fuente". Te aparecerá el mismo y sólo tendrás que leer en la parte de los meta a ver si aparece algo por ahí.

zanguanga · #5 (**permalink**) 23/03/2013, 18:21

¿Has comprobado que no tienes activada la opción disuadir a buscadores en Ajustes > Lectura?

virtualpc · #6 (**permalink**) 23/03/2013, 22:18

Cita:

Iniciado por hasdpk

Para comprobar los meta datos abres tu página web, le das al botón derecho (en cualquier espacio en blanco) y haces click en "ver código fuente". Te aparecerá el mismo y sólo tendrás que leer en la parte de los meta a ver si aparece algo por ahí.

gracias por sus respuestas

Cita:

Iniciado por zanguanga

¿Has comprobado que no tienes activada la opción disuadir a buscadores en Ajustes > Lectura?

claro que lo e comprobado y ya logre dar con el problemas

era el siguiente que el robots.txt que yo estaba creando estaba correcto sin ningún problema pero mi sitio lo tengo con cloudflare y no me había fijado que tenia que purgar el cache de cloudflare y era por eso que me estaba arrojando el error

pero muchAS GRACIAS POR RESPONDER

zanguanga · #7 (**permalink**) 24/03/2013, 14:34

Cita:

tenia que purgar el cache de cloudflare y era por eso que me estaba arrojando el error

Gracias por postear la solución, hace tiempo tuve mis sitios en Cloudflare y cuando iba, iba muy bien pero tenía muchas caídas y algunos problemas ¿qué tal va ahora, aparte de lo del caché has notado algún problema?