Lentísima indexación.....

DragonX · #1 (**permalink**) 04/01/2010, 14:28

Hemos rediseñado un sitio bastante grande, un sitio de aproximadamente 500 url's y hace aproximadamente 2 meses que lo hemos subido, actualizamos el robots.txt, el sitemap, validamos el sitio nuevo y reenviamos el sitemap.

Cada vez que aparecen URL's que dan error o no se encontraron las elimino (de esta manera voy borrando las paginas viejas) y desde hace 2 meses solo me indexó 3 URL's de 500!!! ¿porque puede estar sucediendo esto? ¿Existe alguna solución para acelerar el proceso de indexación?

Gracias y un abrazo!

Daniel Ulczyk · #2 (**permalink**) 04/01/2010, 16:01

A mi no se me ocurre nada—así en frío ¿no es cierto?— si querés muevo el post a Sugerencias de SEO (el sub-foro que está invisible a los spiders, crawlers y otras yerbas)

Lespaul777 · #3 (**permalink**) 04/01/2010, 16:51

A veces el Sandbox de Google dura más tiempo, y lo único q te ha indexa es el index de la página. Paciencia, si tienes Site maps y tus menus son accesibles por el robot, no tardará en indexar todo
Saludos

HiAll · #4 (**permalink**) 05/01/2010, 01:32

Habla de un rediseño. No de una página nueva. Es posible que la web tenga 5 años de antiguedad y hayan cambiado el diseño... hablar de SandBox con los datos que tenemos, es precipitado... y parece la respuesta fácil.

Es posible que Google aun tenga indexadas las páginas antiguas, y hasta que no desindexe, no indexe el nuevo contenido. O bien lo que ocurre es que con el nuevo rediseiño se está encontrando contenido duplicado... Creo que harían falta más datos para sacar alguna conclusión...

#5 (**permalink**) 05/01/2010, 01:54

Cita:

Iniciado por HiAll

Es posible que Google aun tenga indexadas las páginas antiguas, y hasta que no desindexe, no indexe el nuevo contenido.

¿Pero eso te refieres cuando a parte de modificar el diseño antiguo por uno nuevo, también modificas las url?

A lo que me refiero es que no entiendo por qué tiene que haber conflicto cuando se hace un nuevo diseño (sino se modifica la url) ya que lo único que debe de cambiar es la cache una vez pase el robot.

HiAll · #6 (**permalink**) 05/01/2010, 03:59

Yo entiendo por lo que dice DrangonX es que han cambiado la estructura por completo de la web. Por ello rehace el robots, el sitemap, y vuelve a validar la web. No es una web nueva ( dominio nuevo ) sino que se trata de uno ya en uso que se ha modificado para adecuarlo mejor a las necesidades actuales. :)

De todas formas el efecto SandBox lo que hace es "no mostrarte" en las SERP de palabras clave, pero eso no quiere decir que no te indexe. Si haces un site: seguro que deben de salir páginas... entonces el tema puede ser otro.

Habria que ver la situación real para no especular.

DragonX · #7 (**permalink**) 05/01/2010, 07:40

Muchas gracias a todos por sus respuestas....., les pongo un poco mas claro el panorama.

Como bien dice HiAll es un rediseño, no un nuevo dominio. Es un sitio extremadamente grande, con un catálogo de mas de 350 productos y demás yerbas.

Anteriormente el sitio estaba todo en la index (con cada click esta redibujaba el contenido) y tenía url's como estas:

www.elsitio.com/index.php?sec=1555&prod=555&LANG=Esp

Hoy hemos creado URL's diferentes para todo y hemos optimizado al máximo el contenido del sitio de cara al SEO.

www.elsitio.com/productos/categoria=11 (algo así quedó)

El tema es que el sitio esta desde Noviembre online y solo tengo 3 URL's Indexadas.

Como no recuerdo las 500 url's anteriores y no tengo el sitemap antiguo, no puedo borrar todas las url que ya no existen, asi que lo que estoy haciendo es revisar cada X días en la herramientas de Web master de google que URL's no fueron encontradas y las elimino desde este mismo lugar (Herramientas de Web Master de Google).

Si necesitan saber algo más para orientarme, preguntenme

Muchas gracias a todos
un abrazp
DX

Daniel Ulczyk · #8 (**permalink**) 05/01/2010, 07:58

Cita:

Iniciado por DragonX

Como no recuerdo las 500 url's anteriores y no tengo el sitemap antiguo, no puedo borrar todas las url que ya no existen, asi que lo que estoy haciendo es revisar cada X días en la herramientas de Web master de google que URL's no fueron encontradas y las elimino desde este mismo lugar (Herramientas de Web Master de Google).

Con un sitio con ese volumen de URLs puede que sea un proceso largo y tedioso.

La query en Google site:nombre-dominio te tendría que aportar inmediatas respuestas en cuanto a las URLs que debieras borrar o redireccionar.

¿No hay resultados por ese lado?

DragonX · #9 (**permalink**) 05/01/2010, 08:11

si Dani, el site:nombre-dominio me da como resultado mas de 10 paginas de google, vos decis que copie todas esas URL´s (las viejas) y las elimine desde las herramientas de google?

Eso ayudaría a la indexacción del nuevo contenido?

un abrazo!

Daniel Ulczyk · #10 (**permalink**) 05/01/2010, 08:28

Cita:

Iniciado por DragonX

Eso ayudaría a la indexacción del nuevo contenido?

En mi experiencia, cuanto menos errores en las Webmasters Tools más rápido va todo... además dále un empujón al crawler con alguna pequeña—aunque buena—campaña de links. Esto es no sólo a la Home, a alguna página interna también.

zero zen · #11 (**permalink**) 05/01/2010, 11:45

Cita:

Iniciado por DragonX

Como no recuerdo las 500 url's anteriores y no tengo el sitemap antiguo, no puedo borrar todas las url que ya no existen, asi que lo que estoy haciendo es revisar cada X días en la herramientas de Web master de google que URL's no fueron encontradas y las elimino desde este mismo lugar (Herramientas de Web Master de Google).

Hay un inconveniente, las páginas que tengan links externos volverán a aparecer una y otra vez mientras el link exista, si bien coincido con Daniel en que tener menos errores en webasters tool es beneficioso, en este caso es muy trabajoso.

Lamentablemente, ya he visto esto y es solo cuestión de esperar. A google le lleva algunas pasadas del robot determinar si las páginas ya no existen o es un sitio dado de baja o un server que ese día no responde. La nueva indexación va de la mano con esta corroboración y lleva tiempo.

Saludos.
Zero Zen.

tunait · #12 (**permalink**) 07/01/2010, 04:43

Asumiendo que he entendido bien el asunto es una pena perder todo ese tráfico de esas urls indexadas y que no llevan a ninguna parte. ¿No existe algún patrón concreto de formato que pueda re-escribir esa url vieja al formato nuevo al llegar al servidor?

es decir, si antes era algo así

index.php?sec=1555&prod=555&LANG=Esp

que re-escriba la petición a su equivalente actual con mod-rewrite (si usais apache) e indicais en el documento la url canonica con el formato nuevo para que el buscador actualice la url en la página indexada.

/productos/producto=555

o verificar los parámetro de la querystring en la index y si detecta los antiguos que haga una redireccion 301 a la nueva.

Con eso no se pierde el tráfico de las urls indexadas y con el tiempo lo que ya está indexado actualiza las urls.

Corríjanme si me equivoco

un saludo

Daniel Ulczyk · #13 (**permalink**) 07/01/2010, 10:44

Cita:

Iniciado por tunait

¿No existe algún patrón concreto de formato que pueda re-escribir esa url vieja al formato nuevo al llegar al servidor?

A mi juicio y razonamiento, no hay que reescribir las URLs.

De hecho hay que jugar con las viejas y las nuevas URLs y para eso tenemos la redirection 301 mediante .htaccess

En la presunción que el tráfico; sea en forma directa, referido o mediante una búsqueda orgánica se quiera llegar a la URL index.php?sec=1555&prod=555&LANG=Esp mediante una 301 le decimos al agente de usuario (browser, bot o crawler) que vaya a la nueva que por forma tiene /productos/producto=555

Código txt:

Ver originalredirect 301 index.php?sec=1555&prod=555&LANG=Esp http://www.nombre-del-sitio.com/productos/producto=555

Nótese que en la página destino es obligatorio informa el nombre del dominio+página. Mientras que en la primer parte sólo carpeta+página (o sólo página si el documento estaba en el root)

Esto lo comento y, aclaro: desconozco si puede aplicarse un patrón mediante programación. Si aporta por aquí un genio codiguero tal vez nos ilumine.

De otra manera mediante una query en Google sobre las páginas indexadas el sitio yo hago las 301 eso antes que nada, sólo para evitar luego tener que separar a pulmón y a mano las URLs anteriores de las nuevas.

tunait · #14 (**permalink**) 07/01/2010, 10:59

Cita:

Iniciado por Daniel Ulczyk

De hecho hay que jugar con las viejas y las nuevas URLs y para eso tenemos la redirection 301 mediante .htaccess

Tal vez no me expliqué del todo bien.

Por re-escribir las urls me refiero a hacerlo de forma interna desde el htaccess usando el mod-rewrite

es decir, si llega una petición para index.php?sec=1555&prod=555&LANG=Esp (que por lo visto ese formato ya no funciona) que re-escriba la petición a su equivalente en el otro formato /productos/producto=555

De esa forma no devuelve un 404 y se accede al documento. En la url se mantiene la dirección antigua (index.php?sec=1555&prod=555) pero está cargando la nuev. Indicamos la url canonica para que los buscadores (que la usen) para que actualice la url a ese documento y listos.

La otra forma pues es la que tú comentas, hacer una redirección 301.

Dependiendo del caso he utilizado ambas formas en casos distintos con buenos resultados

Daniel Ulczyk · #15 (**permalink**) 07/01/2010, 11:15

Cita:

Tal vez no me expliqué del todo bien.

Nah! que va... tal vez yo entendí mal... je je!

Aún así prefiero la redirección 301, es lo más sano desde el punto de vista de los motores de búsqueda.

Pero sí; estamos de acuerdo que hay que evitar, sí o sí, devolver un error 404

zero zen · #16 (**permalink**) 07/01/2010, 11:24

Cita:

Iniciado por Daniel Ulczyk

Nah! que va... tal vez yo entendí mal... je je!

Aún así prefiero la redirección 301, es lo más sano desde el punto de vista de los motores de búsqueda.

Pero sí; estamos de acuerdo que hay que evitar, sí o sí, devolver un error 404

Existe también, de cara al usuario, la posibilidad de usar la "mejora 404" de google, que en vez de mostrar la página de error envía al usuario al contenido más coincidente en la web con respecto a lo que se buscaba en esa página. Lógico que en el hosting debe existir la posibilidad de utilizar un 404 personalizado. Aparte de la mejora para el usuario, debo decir que no tengo idea de como afecte esto a los bots, por lo que caemos en lo mismo de siempre, meterle mano a htaccess.

Saludos.
Zero Zen.