Presentación del proyecto

Este blog va a documentar paso a paso el diseño y construcción de un datawarehouse («Almacén de datos» o «Bodega de Datos» en español, de ahora en adelante, «DW»), empleando herramientas y tecnologías de Código Abierto («Open Source»). Para ello vamos a utilizar Pentaho BI, una suite de Business Intelligence que incluye casi todo lo necesario para desarrollar y recolectar información almacenada en un DW, y como base de datos, Infobright (almacenaje en columnas).

Tras leer algunos libros sobre el tema (recomiendo el de Ralph Kimball y el de Claudia Imhoff), así como muchos whitepapers de algunos portales con mucha información (en especial 2: Information Management y B-eye Network), veo que los ejemplos más comunes incluyen un típico modelo de Ventas para alguna empresa dedica a la venta al por menor.

Nosotros vamos a utilizar un enfoque nuevo, con un modelo de datos muy simple, pero esperamos que sea bastante potente. Nuestra idea comprende el uso de datos de Bolsa, y se incluirá información relativa al precio de las acciones del IBEX-35 (el índice de la Bolsa de Madrid). Con ello accedemos a una cantidad no despreciable de datos públicos que pueden ser fácilmente almacenados. Una vez tengamos los datos procederemos a utilizar análisis estadístico para buscar tendencias de compra-venta de acciones.

En mi experiencia profesional, he visto que el uso de Data Mining no es una prioridad en los proyectos de datawarehousing, sin darse cuenta que esta disciplina es el fin de cualquier enfoque de datawarehouse, ya que permite cerrar el ciclo de la inversión realizada, aumentando los retornos del mismo. En este proyecto vamos a intentar centrarnos en esta disciplina. Con este fin, hemos planteado un modelo de datos muy sencillo como punto de partida, que veremos más adelante como escalamos para hacerlo más complejo.

Realizaremos un análisis estadístico sobre datos de acciones en mercados de valores para crear modelos y tendencias, enfoque que utilizan empresas de inversión como AHL (www.ahl.com) con muy buenos resultados, basado en la creencia de que existen imperfecciones en los mercados bursátiles que pueden ser explotados mediante el análisis estadístico.

La visualización de los datos será en un entorno web, realizando una aplicación que permita desde cualquier punto, acceder a nuestros datos, sin ser necesario instalar ningúna aplicación cliente.

Por lo tanto, las características que definen el proyecto son:

1. tecnologías open source
2. sencillo modelo de datos
3. hincapié en el data mining
4. movilidad a traves de la web