Organizar sitemaps para sitio web muy muy grande

[chancha]

Tengo un sitio web que funciona bajo bases de datos, y tengo mas de 200.000 registros que indexar en los sitemaps.
A su vez, diariamente esos registros sufren actualizaciones, y también se van agregando nuevos. Entre las actualizaciones y las altas en la base de datos, son cientos y hasta miles los registros que pueden llegar a sufrir algún cambio por día.

Estoy armando una aplicación para esto, así que no tengo problemas con generadores online automáticos y esas cosas.

Mi duda está en como organizar esa información en los sitemaps.

Tendré un archivo indice, para poder volcar la info en varios archivos sitemaps, hasta ahí todo bien.

Pero como ordeno cada sitemap teniendo en cuenta que los registros?. Las ideas que me dan vuelta por la cabeza son:

- Establezco rangos de ID por archivo sitemap?

- Las modificaciones de los registros pueden ser de ID's muy variados. Es decir, que es probable que de tener los archivos con sitemaps por rango de ID, tenga que modificar el 80% de los sitemaps generados a diario, lo cual generaría una carga del servidor importante. Como puedo hacer para que el servidor no genere tantos archivos xml a diario?

- Teniendo en cuenta la cantidad de actualizaciones y altas que sufre la base de datos, debería tener un sitemap exclusivo para los registros que sufrieron cambios, y así optimizar el uso de transferencia por parte de goolge ya que descargaría un solo archivo?.
Esto es muy difícil, por que tendría que sacar esos archivos que quedaron en un xml aparte, de los xml ya existentes (a fin de evitar urls duplicadas).

- Es necesario tener los 200.000 registros en los sitemaps?, o puedo tener sitemaps con lo nuevo y actualizado durante la semana y, una vez que google lo indexa, ya puedo sacarlos para dejar lugar a los nuevos registros?.

- se borra lo indexado por google si un link desaparece de mis sitemap?


Desde ya muchas gracias por tomarse la molestia en leer este largo mensaje, y ponerse a pensar alguna idea. Supongo que son muchos los sitios con cientos de miles de registros que usan sitemap, y de algún modo los deben tener organizados, no?.

[popobcn]

NO es necesario generar SITEMAPS con todas las URLS de tu página / portal.

De hecho, si tu página sufre tantas altas de registros diarios, yo te recomiendo que subas un SITEMAP sencillo, básico y bien priorizado con las categorias de tu portal / web. El hecho de que una URL no este introducida en el SITEMAP no significa que no vaya a ser indexada.

De esta manera, te ahorras estar generando miles de ficheros xml de tanto en tanto o de forma automatizada, evitas sobrecargas al bot de google y a tu propio server y riau!

Saludos

[chancha]

En realidad no tengo secciones o links mas importantes que otros. Los 200.000 registros tienen casi la misma importancia por igual.

No se me ocurre como discriminar o seleccionar material para el sitemap realmente.

[popobcn]

chancha, tienes 200.000 registros de un MISMO TEMA?! Cual es tu web?!

Saludos!

[chancha]

Es una web de libros. Algunos libros tienen un tema asignado, otros no. La mayoría no lo tiene.

Realmente es casi imposible discriminar que libros deberían ir en el sitemap, y cuales no. Si bien hay libros mas importantes que otros, es una tarea imposible de automatizar de momento.

[popobcn]

Chancha... tu problema no es de OPTIMIZACIÓN sino de CATEGORIZACIÓN.

El hecho de tener mucha información mal categorizada no es productivo... En ningún escenario. Tal y como lo planteas, yo haría lo siguiente:

1.- Categorizaría los registros
2.- Generaria SITEMAPS dinámicos para cada una de las categorias.

En el caso supuesto de que el volumen de registros de altas / bajas fluctue en exceso, pasaría en un único sitemap las categorias principales y listos. Pero tal y como tienes estructurada la información, optimizarla es simplemente... COMPLICADO. .oO(Por lo menos, para mi)

Saludos

[chancha]

1. Es imposible categorizar todos los libros. Necesitaría tener 3 o 4 libreros con muchos años de experiencia para poder categorizar semejante cantidad de libros con sus temas específicos. Ya que no son libros generales, sino de libros especializados y nuestro indice temático es muy pormenorizado, lo cual es un trabajo que debe hacer gente capacitada. Y esto es económicamente inviable de momento.

Si bien se tematizan diariamente libros de nuestra base de datos, dista mucho la cantidad tematizada con la cantidad de libros que se van modificando y agregando.


2. Quizás podríamos generar sitemaps no por categoría, sino por editorial. Cada libro tiene asignada una editorial. El tema es que tenemos mas de 1.000 editoriales, lo cual implicaría mas de 1.000 archivos de sitemap.

[popobcn]

chancha, en tal caso tan solo te queda aplicar la famosisima solución.... 42!*

Categorización por temática = Imposible
Categorización por editorial = Impensable
Categorización alfabética = OK!

Generar los sitemaps de forma dinámica. Subid los básicos aunque tan solo contengan un URL. Google ya accederá a posteriori e irá pillando los enlaces

Saludos

* Solución 42: La respuesta a el sentido de la vida, el universo y todo lo demás

[chancha]

Jajaja, no conocía la solución 42 ;)

No entiendo muy bien si proponés generar sitemap para todos los registros, o no.

[popobcn]

Iniciado por chancha

Jajaja, no conocía la solución 42 ;)

No entiendo muy bien si proponés generar sitemap para todos los registros, o no.

La respuesta a tu pregunta es... SI

Partiendo de la base de que cualquier tipo de información con titulo es categorizable por orden alfabético yyyyyyyyyyyyyyyyyyyyy que podemos hacer un script en PHP m de fácil para agregar de forma automatizada todas las entradas existentes en un sitemap`de forma dinámica y automatizada .oO(Nuevo registro = nueva entrada en el sitemap), yo haría lo siguiente:

1.- Crear un script en php que generé los sitemaps con las URLS de los libros ordenados por orden alfabético de forma individual (Libros con titulo A...loquesea al sitemap a.xml y así, sucesivamente )
2.- Revisar que el peso del sitemap generado es correcto dentro de las politicas del señor Google.
3.- Subir los sitemaps
4.- Modificar el código de las altas de los libros con el fin de que:

4.1.- Detecte la letra inicial del titulo
4.2.- Revise el PESO del archivo ANTES de la inserción con el fin de generar o no otro sitemap.
4.3.- Lo inserta en el sitemap.
4.4.- En caso de generar un sitemap nuevo, puedes hacer que te remita una notificación al correo electrónico de forma automátizada con el fin de subir el nuevo sitemap.

Y pim pam pum... Bocadillo de tún! Alguna idea mejor?

[chancha]

No me gusta mucho la idea que, ante cada alta o actualización, tener que generar los sitemaps de nuevo. Es un trabajo bastante arduo para el server tener que generar todo un archivo sitemap por cada alta o modificación. Los archivos son bastante grandes.

Pero el orden alfabético no es mala. Eso si, hay letras donde tendré que armar mas de un sitemap por superarlos límites que impone Google por archivo. Es decir tendré sitemap_a1.xml, sitemap_a2.xml, etc.

Lo voy a pensar. Ahora tengo 3 opciones:
- Orden alfabético.
- Establecer rangos de ID para cada archivo xml.
- Un archivo por editorial.

Pregunta: cuando se actualiza un registro, es necesario actualizar también la fecha de dicho registro en el sitemap?. O google cada tanto entra en las urls del sitemap por mas que no haya sufrido modificaciones dicho archivo o url?.
Digo, el no tener que estar regenerando tantos archivos xml por las actualizaciones, ya sería un ahorro para el server importante. Solo estaría editando las altas.

[popobcn]

NO tendrás que enviar cada vez que des de alta un libro el sitemap correspondiente. A ver, Google revisa de tanto en tanto el contenido de los sitemaps. Si te fijas en las WebMastertools observarás que aparece la última fecha en la cual Google reviso el contenido del mismo. Es por este motivo que el mantenimiento y gestión de los sitemaps dinámicos es GENIAL para casos como el tuyo.

1.- Tanto como si aplicas como sino la categorización, tendrás que controlar la subida de los nuevos sitemaps
2.- Si generas un archivo por editorial, puuuuffff... francamente? NO SE. Estamos hablando de más de 1000 archivos en frente a los 24 que te ofrece el abecedario .oO(Eran 24 ¿no? xD)
3.- Montando un sistema de notificación, la tarea de mantenimiento y subida de los nuevos sitemaps no será tan engorroso como piensas

Por otro lado, quizás TODO ESTO SEA INNECESARIO. Me explico, si existe el acceso a la bbdd, si existe la posibilidad de efectuar una categorización de la misma y se puede linkar desde el home de la página, Google indexará todo el contenido páginado o no.

Es por este motivo por el que te recomiendo encarecidamente que realices una categorización de tu información.

Saludos =

[suntus]

yo tambien tengo aproximadamente 150.000 paginas creadas desde una DB dinamicamente y te explico lo que hago.

A diferencia de ti, mi actualizacion es minima, quiza unos 50 o 100 registros semanales.

como tengo 150.000 paginas, divido el total en lotes de 50.000 que es maximo que google permite por sitemap

sitemap1.xml
sitemap2.xml
sitemap3.xml

ahora ejecuto automaticamente y semanalmente un pequeño script que basicamente se encarga de:
1º elimina los sitemap actuales, los cuales estan comprimidos y se llaman sitemapX.xml.gz
2º vuelve a crear los sitemapX.xml, en mi caso 3 de 50.000 enlaces
3º comprime los sitemapX.xml a sitemapX.xml.gz

los sitemap sin comprimir ocupan aproximadamente 6 o 7 megas cada uno, compridos no llegan a 0.5megas cada uno, mi servidor ni se inmuta para hacer esto, por lo que si lo haces diariamente no tendrias ningun problema.

Saludos.

[lure]

Disculpad que entre en este hilo, pero creo que se asemeja mucho a la duda que tengo, si es "off topic" en este hilo, borrarla y creo de nuevo la consulta, xD.

El caso es que, mi site, no es tan grande como los que comentais aqui, pero ha habido un comentario que creo que ira bien al mio:

NO es necesario generar SITEMAPS con todas las URLS de tu página / portal.

De hecho, si tu página sufre tantas altas de registros diarios, yo te recomiendo que subas un SITEMAP sencillo, básico y bien priorizado con las categorias de tu portal / web. El hecho de que una URL no este introducida en el SITEMAP no significa que no vaya a ser indexada.

Ese es el comentario, no es necesario generar SITEMAPS con todas las urls de la página/portal.
Mi site es un portal, el cual contiene categorias y un foro adjunto.
Mi idea seria la de generar el SITEMAP (no he generado nunca ninguno para mi site....snif....) que contenga todas esas categorias que tiene la web, incluida el foro, pero no todas las urls del foro, actualmente contiene unos 55.000 mensajes, eso equivaldria a algo menos, pero si un elevado número de páginas. A parte, páginas que crecen cada dia, porque cada dia, hay temas/posts nuevos.

Entonces, expuesto esto, creeis buena idea la que acabo de exponer? Siendo asi, conoceis alguna utilidad que me genere el SITEMAP de ese modo?
Muchas preguntas son las que posteo, en un hilo que no aporto nada....
Conozco este site para generarlos: http://www.xml-sitemaps.com
Pero creo que se me queda pequeño ya que, en principio me añade todo el foro completo (con sus correspondientes paginas/url's) y ello me conlleva a sobrepasar las 500 páginas de limite, que si es por pagar por la aplicación se paga, pero mi web, si le quito todas las url's de todos los temas del foro, no sobre pasa las 500 páginas (o eso creo).

Salu2 :)

[suntus]

para sitios grandes en mi opinion deberias crear tu propio script para generar sitemap.

otra cosa
si http://www.xml-sitemaps.com ve tu web, osea te crea el sitemap, google no es menos, tambien vera tus paginas y las indexara.

para mi usar sistemas como .xml-sitemaps.com lo veo totalmente inutil.

ahora volviendo a tu tema:
tal como popobcn, no es necesario añadir todas las url, si le das a google la ur de una categoria, y dentro de esa url tienes 100 urls mas a los temas de esa categoria esta claro que con darle la url de la categoria deberia SOBRAR

por lo tanto si tus categorias no se crean dinamicamente, osea son siempre las mismas, crea tu sitemap con las urls hacia esas categorias y listo, ojo, siempre y cuando google pueda desde esa url acceder a los temas de esa categoria.

[chancha]

Iniciado por popobcn

Si te fijas en las WebMastertools observarás que aparece la última fecha en la cual Google reviso el contenido del mismo. Es por este motivo que el mantenimiento y gestión de los sitemaps dinámicos es GENIAL para casos como el tuyo.

Googlebot visita mi site TODOS los días sin falta. Siempre. En octube, googlebot consumió 40GB de transferencia él solo.

Por que dices que es genial en mi caso?.

Iniciado por popobcn

2.- Si generas un archivo por editorial, puuuuffff... francamente? NO SE. Estamos hablando de más de 1000 archivos en frente a los 24 que te ofrece el abecedario .oO(Eran 24 ¿no? xD)

No tanto. Pensá que en muchísimas letras, voy a necesitar generar mas de un sitemap por letra, por superar el límite de tamaño de archivo o urls. Así que tendré sitemap_a1.xml, sitemap_a2.xml, sitemap_a3.xml, sitemap_b1.xml, sitemap_b2.xml, etc .
Esto gnerará bastaaaaaaante mas que 24 archivos.

Respecto a las editoriales, mi idea en realidad es generar un archivo por editorial siempre y cuando ésta tenga mas de 200 libros. Esto me generará 20 xml, 20 editoriales con su xml exclusivo.
Las editoriales que tengan menos de 200 libros, si agruparlas en xml "masivos".
El límite de libros por editorial para tener o no un xml individual, podría aumentarlo desde ya.

Esto me sirve por que, generalmente, se actualizan los libros por editorial. Es decir, hoy se carga el listado completo de libros de editorial A, B y C. Entonces, a la noche cuando se ejecute el script de los sitemap, sólo modificará los archivos de dichas editoriales (si es que tienen archivo indiviudal), y no tendré que modificar tantos archivos sueltos como si tuviera los XML por orden alfabético.

Con esto, estaré optimizando la tarea de escritura de los xml en muchísimos menos archivos, pero tampoco me cierra del todo.

Iniciado por popobcn

Por otro lado, quizás TODO ESTO SEA INNECESARIO. Me explico, si existe el acceso a la bbdd, si existe la posibilidad de efectuar una categorización de la misma y se puede linkar desde el home de la página, Google indexará todo el contenido páginado o no.

Justamente esto no ocurre y por eso creo que el sitemap en mi caso sería de gran ayuda.

Solamente son accesibles desde links del site, aquellos libros que tienen uno o mas temas. Es decir, navegando por el índice temático, googlebot puede llegar a esos libros.

Pero la inmensa mayoría de libros no tienen un tema asignado, y por eso son sólo accesibles desde el buscador. Es humanamente imposible para nosotros poder asignar temas a la mayoría de libros, salen mas libros nuevos que aquellos que podemos tematizar.

[chancha]

post por error, perdón

[chancha]

post por error, perdón

[lure]

Iniciado por suntus

para sitios grandes en mi opinion deberias crear tu propio script para generar sitemap.

Esa es una buena cuestión, de la que debo buscar info, porque no se muy bien como crearme un script para generar mi sitemap....snif...

Iniciado por suntus

ahora volviendo a tu tema:
tal como popobcn, no es necesario añadir todas las url, si le das a google la ur de una categoria, y dentro de esa url tienes 100 urls mas a los temas de esa categoria esta claro que con darle la url de la categoria deberia SOBRAR

por lo tanto si tus categorias no se crean dinamicamente, osea son siempre las mismas, crea tu sitemap con las urls hacia esas categorias y listo, ojo, siempre y cuando google pueda desde esa url acceder a los temas de esa categoria.

Si, eso es lo que yo creo, a parte, las categorias no son dinamicas, son categorias fijas en el site, rara vez puede cambiar una, en ese caso, le generaria sitemap nuevo, pero si cambia, es porque he cambiado una categoria/sección en el site, y eso, lo hago muy poquitas veces en un año.
Creo que google puede acceder a las urls dependientes de esas categorias sin problemas, sigo creo, porque ya he visto alguna url indexada en google.

Pero todo pasa por lo de antes, crearme mi sitemap con las urls hacia esas categorias...crearme el script....no tengo mucha idea no.

Muchas gracias y un saludote! :)

[popobcn]

Iniciado por chancha

Googlebot visita mi site TODOS los días sin falta. Siempre. En octube, googlebot consumió 40GB de transferencia él solo.

Por que dices que es genial en mi caso?.

Por que no existe una categorización y por consiguiente, la información puede que no sea completamente visible de cara a Google .oO(Especulando voy, especulando vengo... como no veo la web, yo me entretengooooooooo xD juaaaaaas)

Iniciado por chancha

No tanto. Pensá que en muchísimas letras, voy a necesitar generar mas de un sitemap por letra, por superar el límite de tamaño de archivo o urls. Así que tendré sitemap_a1.xml, sitemap_a2.xml, sitemap_a3.xml, sitemap_b1.xml, sitemap_b2.xml, etc .
Esto gnerará bastaaaaaaante mas que 24 archivos.

De entrada, menos que editoriales si tienes por lo menos 1000.

Iniciado por chancha

Justamente esto no ocurre y por eso creo que el sitemap en mi caso sería de gran ayuda.

Solamente son accesibles desde links del site, aquellos libros que tienen uno o mas temas. Es decir, navegando por el índice temático, googlebot puede llegar a esos libros.

Pero la inmensa mayoría de libros no tienen un tema asignado, y por eso son sólo accesibles desde el buscador. Es humanamente imposible para nosotros poder asignar temas a la mayoría de libros, salen mas libros nuevos que aquellos que podemos tematizar.

Una cosa es la estructuración actual de tu página y otra distinta es que HECHO que añadas UN INDICE por titulo / tema de Libro por orden alfabético = Listas todo = Google lo indexa = Problema resuelto .oO(Pim, pam, pum... Bocadillo de atún )

Saludos