¿Necesidad de los cubos?

[skanskan]

Buenas.

Estaba viendo un videotutorial de como crear cubos con SQL Server, con ayuda del SQL Server Data Tools o del Business Intelligence Development Studio...

En ese tutorial al acabar usan el cubo para crear unas bonitas tablas en el solution explorer, y en otros tutoriales usan el cubo desde Excel para crear Pivot tables.

Mi pregunta es:
¿Por qué necesitamos crear el cubo y no hacemos las pivot table directamente conectando a la base de datos?

¿El cubo simplemente te precalcula "aggregations" o simplemente lo indexa todo para que luego sea todo más eficiente o hay algo más?
No entiendo porque le dan tanto bombo.

¿Cuál es la diferencia entre "measure group table" y "fact table"?

saludos.

[Libras]

No soy experto en BI, pero si te digo una cosa un cubo procesa informacion en forma de reportes mucho mas rapido que la base de datos "tradicional" porque si te fijaste en el tutorial las bases de datos de los cubos no estan normalizadas por lo que las consultas son mucho mas rapidas y eficientes.....

[iislas]

Como bien dice LIBRAS, no puedes hacer el "truco" de "jugar" con la información, haciendo vistas en Excel como PIVOT TABLES directamente a una base transaccional.

¿Qué pasaría?

No tendría la capacidad de estar creando las consultas con eficiencia (rapidez) como se hace a una base de datos de BI (Analisys Services).

Simplemente saturarías al servidor transaccional, que tiene como objetivo atender a los usuarios comunes de actualización de información.

Imagínate que estuvieras en la fila para pagar tus mercancías y la cajera te dijera, "No podemos cobrarle, hasta que pasen 20 minutos, están procesando la información para un cubo", simplemente seria impráctico.

En cuanto a la diferencia de las "measure group table" y "fact table", te recomiendo este articulo:

http://msdn.microsoft.com/es-es/library/ms174792.aspx

[skanskan]

Iniciado por iislas

Como bien dice LIBRAS, no puedes hacer el "truco" de "jugar" con la información, haciendo vistas en Excel como PIVOT TABLES directamente a una base transaccional.

¿Qué pasaría?

No tendría la capacidad de estar creando las consultas con eficiencia (rapidez) como se hace a una base de datos de BI (Analisys Services).

Simplemente saturarías al servidor transaccional, que tiene como objetivo atender a los usuarios comunes de actualización de información.

Imagínate que estuvieras en la fila para pagar tus mercancías y la cajera te dijera, "No podemos cobrarle, hasta que pasen 20 minutos, están procesando la información para un cubo", simplemente seria impráctico.

En cuanto a la diferencia de las "measure group table" y "fact table", te recomiendo este articulo:

http://msdn.microsoft.com/es-es/library/ms174792.aspx

Hola.

Interesante.
De todos modos estaba pensando en un caso ... un SQL Server montado en un PC o pequeño servidor con la intención de hacer cálculos sobre una base de datos, ordenar, crear tablas resumen multidimensionales, gráficas, etc...

No me refería a un caso con muchos usuarios accediendo al servidor.
Pero la verdad es que no tengo ni idea de todo esto.

Entonces, ¿Siempre que queramos hacer esas cosas debemos procesar el cubo antes?

Supongo que con otras bases de datos más especializadas, como MonetDB, LucidDB o Hadoop ya no hace falta todo esto, ¿No?

Gracias

[gnzsoloyo]

Entonces, ¿Siempre que queramos hacer esas cosas debemos procesar el cubo antes?

No exactamente, el uso del cubo es precisamente para liberar de carga la base transaccional, y dejar todo en un DW. OLAP funciona sobre almacenes de datos desnormalziados pero por sobre todo históricos, es decir, se trata de datos que no cambian en el tiempo, porque ya están consolidados.
No se hace antes, sino después...

Supongo que con otras bases de datos más especializadas, como MonetDB, LucidDB o Hadoop ya no hace falta todo esto, ¿No?

LucidDB es un RDBMS orientado a DW y por consecuencia a OLAP, pero no implica que no se deba usar cubos, sino que apunta a su uso.
MonetDB no implica la inexistencia de OLAP.

[skanskan]

¿Y qué desventaja tiene hacer cubos aparte del tiempo necesario para procesarlos?

Saludos y gracias, en este foro sois muy eficientes y respetuosos con los que queremos aprender.


Cuando acabe de repasar SQL Server quiero mirarme alguna otra base de datos, como Hyerpdex, AeroSpike, MonetDB (que creo que tiene el problema de que sólo puede manejar lo que quepa en memoria). Hadoop está de moda pero me parece un poco empalagoso y no me gusta que esté basada en Java.
Lo quiero para hacer optimizaciones sobre datos meteorologicos e hidrograficos (3 dimensiones+tiempo) que ocupan unos 5TB (aunque debería ser extendible a 100 o 1000TB pero de momento no dispongo de más hardware)

[iislas]

Hadoop, es para BIG DATA, ¿tienes PB de información?, piensa en HADOOP.

BI, es una forma eficiente de trasformar la información y convertirla para explotarla de forma grafica, comúnmente.

Hoy en dia, se están desarrollando equipos mucho mas poderosos para las grandes corporaciones que requieren de una explotación de información ON-LINE.

Hay una explosión de datos a nivel mundial, ya no se habla solo de CLIENTES y VENTAS, INVENTARIOS.

Hoy en dia, se hacen análisis de mercados por las redes sociales, por ejemplo:

Coca-Cola, envía un nuevo empaque de su producto al mercado, le pone nombres de personas, al final, quiere saber, que se dijo mediante las redes sociales, estamos hablando de una explotación de información ON-LINE y de MILLONES DE REGISTROS.

Ya no solo es la forma transaccional, hoy en dia, se requieren de otras formas de ver la información.

Actualmente, HP y DELL, se asociaron con Microsoft para lanzar al mercado una APPLIANCE (BLACK BOX), para explotar la información en línea.

APS.- Analytics Platform System, que tiene la capacidad, no solo de almacenar, si no procesar de forma paralela hasta un máximo de 7 PB.

Antes se conocía como PDW (Parallel Data Warehouse).

Lee un poco sobre como el BI esta cambiando la forma de ver la información.

[skanskan]

Iniciado por iislas

Hadoop, es para BIG DATA, ¿tienes PB de información?, piensa en HADOOP.

En realidad de los que he puesto Hyperdex y AeroSpike también es para BigData.
Ya que aprendo una nueva base de dados no me importa que sirva para big data y sea distribuida, ¿Qué desventaja tiene?.
No lo voy a poder usar "a tope" en mi ordenador pero me puede servir para el futuro y de paso me puede servir para casos más locales, ¿No?.
Algo me he estudiado sobre Hadoop pero no me gusta.
El problema es que hay demasiadas cosas diferentes, y cada año salen 100 más.

[iislas]

Cada motor de base de datos tiene un propósito especifico, ejemplo

Access, es para pequeñas bases de datos locales a nivel escritorio
SQL Server, para medianas y grandes bases de datos 100% transaccionales
APS with SQL Server 2012, para almacenamiento de grandes cantidades de datos, comúnmente PB y procesos en paralelo.

Entonces, cuando dices que si podrias instalar HADOOP en tu maquina local (supongo una laptop), la respuesta es NO, ya que no cumplirías con los requerimientos de hardware.

Es como si quisieras comprar un nuevo motor para tu auto, te preguntaran la marca, modelo, etc., no te van a ofrecer un motor de barco o de avión.

¿Me explico?

Ahora bien, entre mas almacenamiento, mayor el costo.

[skanskan]

Iniciado por iislas

Entonces, cuando dices que si podrias instalar HADOOP en tu maquina local (supongo una laptop), la respuesta es NO, ya que no cumplirías con los requerimientos de hardware.

Es como si quisieras comprar un nuevo motor para tu auto, te preguntaran la marca, modelo, etc., no te van a ofrecer un motor de barco o de avión.

Hombre no sería muy eficiente pero para aprender y experimentar sí.

¿Qué recomiendas para analizar series temporales y datos geográficos de digamos de 100 a 1000TB?

[iislas]

SQL SERVER 2012 Standard Edition

[skanskan]

Buenas

Sin embargo he visto otro videoturial
https://www.youtube.com/watch?v=b6T0KgJIAE0
en el que se saltan el paso de crear el cubo, si que crean la conexión y la vista pero luego usan la opción "estructura de mineria de datos".

[iislas]

Ese se un lenguaje para la estructura de minería de datos (DMX)

Creo que deberías leer un poco mas sobre BI

[skanskan]

Eso estoy haciendo.

[skanskan]

Buenas

Insisito, ¿Por qué para hacer minería de datos con SSAS no se usan los cubos?
O eso parece en los tutoriales que he visto,
como fuente de datos para la minería crean vistas pero no cubos.