Foros del Web » Creando para Internet » Diseño web »

opiniones y sugerencias para sistema de directorios para almacenamiento

Estas en el tema de opiniones y sugerencias para sistema de directorios para almacenamiento en el foro de Diseño web en Foros del Web. Estoy lidiando con lo que antes o después nos encontraremos en una aplicación que va a crecer Los límites del sistema operativo Estoy desarrollando un ...
  #1 (permalink)  
Antiguo 22/04/2011, 04:06
Avatar de juanito1712  
Fecha de Ingreso: mayo-2010
Ubicación: Valencia
Mensajes: 1.108
Antigüedad: 7 años, 7 meses
Puntos: 66
opiniones y sugerencias para sistema de directorios para almacenamiento

Estoy lidiando con lo que antes o después nos encontraremos en una aplicación que va a crecer
Los límites del sistema operativo

Estoy desarrollando un sitio en el que los usuarios podrán subir fotos y me vi en la necesitad de montarme un modo que permitiese almacenar todas las fotos sin alcanzar ningún límite.

Estoy basándome sobre ext3 y las únicas limitaciones que he encontrado y que me afectasen son

El límite de la ruta y el límite de subdirectorios

He pensado en el siguiente sistema:

Una vez hayas seleccionado todas las fotos que quieras subir y las envíes al servidor, se tomará la fecha y hora de la carga y se creará una ruta similar a la actual

./año/mes/dia/hora/usuario/archivo.jpg

Espero explicarme con esa línea, he pensado esto porque si el limite son algo más de 10.000 subdirectorios, supongo que serán 10.000 subdirectorios hijos por directorio padre, no sé si estaré en lo cierto y son 10.000 subdirectorios en todo el sistema porque no he encontrado mayor explicación y 10.000 directorios para un sistema operativo completo no me parece mucho la verdad

También me ha gustado este sistema porque en el momento que aumenten mucho los usuarios, (tendrían que subir más de 10.000 usuarios distintos fotos en la misma hora), añadiría los minutos, segundos.... y podría ir añadiendo sin fin y sin la necesidad de reorganizar niveles superiores.

Mi pregunta es ¿he reinventado la rueda y encima la he hecho cuadrada, o es un buen sistema?ya que si son 10.000 subdirectorios en todo el sistema estoy creando una cantidad ingente de subdirectorios "que me sobran"

Última edición por juanito1712; 22/04/2011 a las 04:15
  #2 (permalink)  
Antiguo 22/04/2011, 09:13
Avatar de KoswiDigital  
Fecha de Ingreso: abril-2011
Ubicación: Galicia - España
Mensajes: 220
Antigüedad: 6 años, 7 meses
Puntos: 37
Respuesta: opiniones y sugerencias para sistema de directorios para almacenamiento

Hola.

Creo, no estoy seguro, que son 10 mil subdirectorios por carpeta. Pero bueno, siempre se puede optimizar un poco para no saturar los discos.

Igual es más cómodo usuario/año-mes-dia_hora/archivos.jpg. Te ahorras unos cuantos subdirectorios y utilizando siempre el mismo formato para la fecha (aa-mm-dd_hh:mm:ss) no tendrías problemas.

Es una idea... Igual te sirve :)


Un saludo.
__________________
http://www.koswidigital.com - Diseño web, Programación web, Fotografía profesional, Retoque digital.
  #3 (permalink)  
Antiguo 22/04/2011, 09:55
Avatar de ZoroRoronoa  
Fecha de Ingreso: marzo-2011
Ubicación: California, USA
Mensajes: 823
Antigüedad: 6 años, 8 meses
Puntos: 116
Respuesta: opiniones y sugerencias para sistema de directorios para almacenamiento

y eso basta.
Ya que con el simple echo que no pueden existir dos usuarios igual.
Podrias usar.

usuario/intAuto.jpg

Una ruta que contenga el nombre de usuario y el valor de la fot que subio que podria ser 00001.jpg, el cual se asigna automaticamente, y cada q sube una foto, este se incrementa a 00002.jpg, 00003.jpg, para que nunca haya una igual.

Existen muchas maneras, es lo que creo :)
__________________
Programador jQuery & PHP
  #4 (permalink)  
Antiguo 22/04/2011, 12:58
Avatar de juanito1712  
Fecha de Ingreso: mayo-2010
Ubicación: Valencia
Mensajes: 1.108
Antigüedad: 7 años, 7 meses
Puntos: 66
Respuesta: opiniones y sugerencias para sistema de directorios para almacenamiento

@KoswiDigital
en un principio me había gustado la idea. pero al pensarla mas detalladamente pierde eficiencia, ya que se crearía un subdirectorio por carga, todos al mismo nivel, cada vez que alguien suba algo se volvería a crear la carpeta mas alta que tenga en el grupo y acabaría "con subdirectorios repetidos".

supongamos que tu y yo subamos fotos ya no el mismo dia sino el mismo año
se crearían 2 subdirectorios en el mismo directorio que empezarían con el mismo año. Siempre, podría elegir a que altura cortar, pero en todos los casos terminaría igual en algun punto duplicando y perdiendo.


@ZoroRoronoa
esa fue la primera opción pero con ese modelo me limito a 10.000 usuarios ya que no podría crear mas de 10.000 y pico directorios antes de que empiecen a dar errores, la intención es poder soportar a 2 millones de usuarios por tanto esto se nos queda corto rápido.
La solución sería que podria agrupar las carpetas de usuarios en franjas por ejemplo

>fotos
>>1-30.000
>>>1-10.000
>>>10.001-20.000
>>>20.001-30.000
>>>30.001-40.000
>>>40.001-50.000
>>50.001-120.000
>>>50.001-60.000
y asi asi hasta el infinito

lo agruparé de una forma que pueda terminar con una cantidad desmesurada de usuarios y listo,creo que utilizaré este método para ahorrar directorios, pero no se, este método me inquietaba un poco y no se porqué, es esa sensación de que hay algo que se te escapa pero aun no lo has visto

gracias por todo a los 2
  #5 (permalink)  
Antiguo 25/04/2011, 23:22
Avatar de Nemutagk
Colaborador
 
Fecha de Ingreso: marzo-2004
Ubicación: México
Mensajes: 2.633
Antigüedad: 13 años, 8 meses
Puntos: 406
Respuesta: opiniones y sugerencias para sistema de directorios para almacenamiento

Cita:
Iniciado por juanito1712 Ver Mensaje
@KoswiDigital
en un principio me había gustado la idea. pero al pensarla mas detalladamente pierde eficiencia, ya que se crearía un subdirectorio por carga, todos al mismo nivel, cada vez que alguien suba algo se volvería a crear la carpeta mas alta que tenga en el grupo y acabaría "con subdirectorios repetidos".

supongamos que tu y yo subamos fotos ya no el mismo dia sino el mismo año
se crearían 2 subdirectorios en el mismo directorio que empezarían con el mismo año. Siempre, podría elegir a que altura cortar, pero en todos los casos terminaría igual en algun punto duplicando y perdiendo.


@ZoroRoronoa
esa fue la primera opción pero con ese modelo me limito a 10.000 usuarios ya que no podría crear mas de 10.000 y pico directorios antes de que empiecen a dar errores, la intención es poder soportar a 2 millones de usuarios por tanto esto se nos queda corto rápido.
La solución sería que podria agrupar las carpetas de usuarios en franjas por ejemplo

>fotos
>>1-30.000
>>>1-10.000
>>>10.001-20.000
>>>20.001-30.000
>>>30.001-40.000
>>>40.001-50.000
>>50.001-120.000
>>>50.001-60.000
y asi asi hasta el infinito

lo agruparé de una forma que pueda terminar con una cantidad desmesurada de usuarios y listo,creo que utilizaré este método para ahorrar directorios, pero no se, este método me inquietaba un poco y no se porqué, es esa sensación de que hay algo que se te escapa pero aun no lo has visto

gracias por todo a los 2
Creo que estas "solucionando" ese "error" con un parche, si de verdad piensas llegar a tener 2 millones de usuarios créeme que ese servidor te va a quedar muy chico, ni si quiera vas a llegar al limite de 10,000 carpetas, porque, muy sencillo, si tienes 2 millones de usuarios de estos cuantos van a estar conectando al mismo tiempo, y de estos cuantos van a estar subiendo archivos al mismo tiempo, por lo cual vas a desbordar ese servidor, para estos casos se utiliza una granja de servidores y balanceo de carga (OJO, no por ser granja se refiere a cientos de servidores)

Todo esto es claro, teniendo en cuenta que quieras tener un servicio rápido, sin interrupciones y la menor cantidad de fallos
__________________
Listo?, tendría que tener 60 puntos menos de IQ para considerarme listo!!!
-- Sheldon Cooper
http://twitter.com/nemutagk
PD: No contestaré temas vía mensaje personal =)

Etiquetas: almacenamiento, directorios, opiniones, sistema, sugerencias
Atención: Estás leyendo un tema que no tiene actividad desde hace más de 6 MESES, te recomendamos abrir un Nuevo tema en lugar de responder al actual.
Respuesta




La zona horaria es GMT -6. Ahora son las 03:39.