Problemas con robots.txt

[tokens74]

Hola amigos que tal, vengo por aqui por que me paso algo que nose bien como resolverlo. hoy entre a las herramientas para webmaster de google y me encuentro con que me dice que el archivo robots.txt esta bloqueando al robots de google.
Asique hice otro con un generador online, me gustaria saber si esta bien hecho o no este es el nuevo.
# robots.txt generated at http://www.mcanerin.com
User-agent: Googlebot
Disallow:
User-agent: googlebot-image
Disallow:
User-agent: googlebot-mobile
Disallow:
User-agent: MSNBot
Disallow:
User-agent: Slurp
Disallow:
User-agent: Teoma
Disallow:
User-agent: twiceler
Disallow:
User-agent: Gigabot
Disallow:
User-agent: Scrubby
Disallow:
User-agent: Robozilla
Disallow:
User-agent: Nutch
Disallow:
User-agent: ia_archiver
Disallow:
User-agent: baiduspider
Disallow:
User-agent: naverbot
Disallow:
User-agent: yeti
Disallow:
User-agent: yahoo-mmcrawler
Disallow:
User-agent: psbot
Disallow:
User-agent: asterias
Disallow:
User-agent: yahoo-blogs/v3.9
Disallow:
User-agent: *
Disallow:
Disallow: /administracion/
Disallow: /includes/
Disallow: /piwik/
Disallow: /chat/
Disallow: /img/
Sitemap: http://www.mipagina.com/sitemap.xml

Por favor denme una ayuda con esto.
Saludos y gracias

[ol771]

Sí, porque se bloquea googlebot-image y googlebot-mobile + otro

Para Google debe ser eliminado: Disallow: User-agent: googlebot-image
Disallow: User-agent: googlebot-mobile

disallow significa bloqueado

[Usuarios466]

Iniciado por ol771

disallow significa bloqueado

Si te fijas en la página web oficial de robots.txt dice claramente que la forma exacta de permitir el acceso es:

User-agent: *
Disallow:

Y la forma de denegar el acceso es:

User-agent: *
Disallow: /

La diferencia es la barra inclinada (/), puedes poner perfectamente el "disallow" sin nada más y permitir el acceso.

[tokens74]

Ok pero en el codigete dice
User-agent: Googlebot
Disallow:

No posee la barra.

[Acerino]

Esto esta bien???

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Gracias por responder.

[Daniel Ulczyk]

Iniciado por Acerino

Esto esta bien???

Estará bien en la medida que quieras denegar el acceso a lo que consideres oportuno. No existe un robots.txt universal que satisfaga las necesidades del mundo todo.

No obstante, es posible llevar a cabo comprobaciones en tiempo real utilizando las Herramientas para Webmasters → Rastreo → URLs bloqueadas; lo cual permite llevar a cabo pruebas para ver si algunas URLs están debidamente bloqueadas para los agentes de usuario requeridos