CURSO BIG DATA ECOSISTEMA HADOOP

Caso de estudio

El siguiente caso nos muestra como aplicando Big Data ha podido ayudar a una empresa como
Vestas (empresa de energa elica) a maximizar la generacin de energa y reducir los costos.

El objetivo de este caso es que los estudiantes lo lean detenidamente y presenten una
arquitectura con Apache Hadoop que pueda simular a la solucin presentada por IBM.

No se requiere entrar a mayor detalle tcnico debido a que no se cuenta con el 100% de la
informacin, para eso podran asumir algunos detalles y dejar de lado algunos puntos que
consideren no tan importantes para la solucin.

Debe ser una arquitectura sencilla pero que demuestre a grandes rasgos como ustedes podran
hacer un preliminar de una posible solucin de Big Data para este caso.

Fecha de entrega: 18/09/2017

CASO VESTAS

Datos de los sensores

Este es un estudio de caso proporcionado por IBM y adaptado a este libro. En este estudio de
caso vemos cmo Vestas utiliza tcnicas de procesamiento de Big Data utilizando las
plataformas BigInsights y Hadoop para aprovechar los datos climticos para predecir el uso
ptimo de la energa elica a sus clientes.

Resumen

El desafo con el procesamiento de datos de todo el mundo para rastrear el movimiento del
viento y el tiempo para predecir el uso ptimo de las turbinas para aprovechar la energa fue un
desafo para Vestas. El procesamiento de grandes volmenes de datos constantemente no era
un ejercicio factible sobre plataformas y metodologas establecidas. Esto es cuando se volvieron
a usar Hadoop y las soluciones IBM BigInsights, para crear una plataforma de Big Data y
aprovechar las tcnicas de procesamiento que hicieron que los requerimientos completos de
volumen y complejidad de datos desaparecieran o se convirtieran en un desafo muy manejable.
A medida que lea este estudio de caso, mire cuidadosamente cmo se alinearon el caso de
negocio y el ROI en todo el ejercicio.

Vestas

Convertir el clima en capital con Big Data.

Visin de conjunto

Vestas quiere sealar la ubicacin ptima de las turbinas elicas para maximizar la generacin
de energa y reducir los costos de energa. La colocacin precisa de una turbina elica puede
afectar su rendimiento y su vida til. Para Vestas, la mayor empresa de energa elica del mundo,
la obtencin de nuevos negocios depende de la respuesta rpida y la entrega de valor comercial.
Para tener xito, Vestas utiliza uno de los superordenadores ms grandes del mundo, junto con
una nueva solucin de modelado Big Data para reducir semanas los tiempos de procesamiento
de datos y soportar diez veces la cantidad de datos para decisiones ms precisas de colocacin
de turbinas. La precisin mejorada proporciona a los clientes de Vestas una mayor seguridad en
los casos de negocio, resultados ms rpidos y una mayor previsibilidad y fiabilidad en la
generacin de energa elica.

Durante siglos, los marineros han visto lo voluble que puede ser el viento. Fluye y fluye como la
marea y puede permitir que los buques viajen grandes distancias o permanezcan en el mar. Pero
a pesar de la naturaleza caprichosa del viento, los nuevos avances en ciencia y tecnologa
permiten a los productores de energa transformar el viento en una fuente de energa confiable
y firme, que muchos creen que ayudar a aliviar los problemas del creciente consumo de energa
en el mundo. lars Christian Christensen, vicepresidente de Vestas Wind System A/S, afirma:

La energa elica es una de las fuentes de energa renovable ms importantes de hoy. Los
combustibles fsiles acabarn agotndose. El viento es renovable, previsible, limpio y
comercialmente viable. Para 2020, hasta el 10% del consumo mundial de electricidad ser
satisfecho por la energa elica, y creemos que la energa elica es una industria que estar a la
par con el petrleo y el gas.

Produccin de electricidad a partir del viento

Hacer del viento una fuente de energa confiable depende en gran medida de la colocacin de
los aerogeneradores utilizados para producir electricidad. La localizacin ms ventosa puede no
generar el mejor producto y los ingresos para las compaas de energa. La turbulencia es un
factor significativo, ya que comprime los componentes de la turbina, hacindolos ms propensos
a fallar. Evitar bolsas de turbulencia puede prolongar la vida til de las turbinas y reducir los
costos de operacin, lo que reduce el costo por kilovatio hora de energa producida.

La seleccin de emplazamientos de aerogeneradores es una ciencia que Vestas entiende bien.

Desde 1979, esta empresa danesa se dedica al desarrollo, fabricacin, venta y mantenimiento
de sistemas elicos para generar electricidad. La compaa ha instalado ms de 43.000
aerogeneradores terrestres y offshore en 66 pases de seis continentes.

Hoy en da, Vestas instala un promedio de una turbina de viento cada 3 horas, 24 horas al da, y
sus turbinas generan ms de 90 millones de megavatios-hora de energa por ao, lo que es
suficiente electricidad para abastecer a millones de hogares. Christensen, quien encabeza la
divisin de la compaa responsable de determinar la ubicacin de los aerogeneradores, afirma:

Los clientes quieren saber cul ser su retorno de la inversin y quieren la certeza del caso de
negocio. Para lograr la certeza de los casos de negocio, necesitamos saber exactamente cmo
se distribuye el viento a travs de los sitios potenciales y tenemos que comparar estos datos con
las especificaciones de diseo de la turbina para asegurarse de que la turbina puede operar con
una eficiencia ptima en esa ubicacin.
Qu sucede si los ingenieros seleccionan una ubicacin subptima? Segn Christensen, el
costo de un error puede ser tremendo:

En primer lugar, si las turbinas no funcionan de la manera prevista, nos arriesgamos a perder
clientes. En segundo lugar, colocar las turbinas en la ubicacin incorrecta afecta nuestros costos
de garanta. Las turbinas estn diseadas para funcionar en condiciones especficas y pueden
romperse si funcionan fuera de estos parmetros.

Para Vestas, el proceso de establecer un emplazamiento comienza con su biblioteca de vientos,

que incorpora datos de sistemas meteorolgicos mundiales con datos recopilados de turbinas
existentes. Combinado, esta informacin ayuda a la empresa no slo a seleccionar el mejor sitio
para la colocacin de la turbina, sino que tambin ayuda a pronosticar el viento y la produccin
de energa para sus clientes. Christensen explica:

Recogemos datos de 35.000 estaciones meteorolgicas dispersas alrededor del mundo y de

nuestras propias turbinas. Eso nos da una imagen del escenario de flujo global. Esos modelos
son entonces adoquinados a modelos ms pequeos para el nivel regional, llamados modelos
de mesoescala. Los modelos de mesoescala se utilizan para establecer nuestra enorme
biblioteca de viento para que podamos identificar como ubicacin especfica a una hora
especfica del da y decir lo que el clima era como.

La anterior biblioteca de vientos de la compaa proporcion informacin detallada en un patrn

de cuadrcula con cada cuadrcula de 17 x 17 millas (aproximadamente 27 x 27 kilmetros).
Usando modelos de dinmica de fluido computacional, los ingenieros de Vestas pueden
entonces bajar an ms la resolucin - hasta 32 x 32 pies (10 x 10 metros) - para establecer el
patrn de flujo de viento exacto en un lugar particular.

Sin embargo, en cualquier escenario de modelado, cuanto ms datos y menor es el rea de la

cuadrcula, mayor es la precisin de los modelos. Como resultado, el equipo de Christensen
quera ampliar su biblioteca de viento ms de diez veces para incluir una gama ms amplia de
datos meteorolgicos durante un perodo de tiempo ms largo. Adems, la compaa necesitaba
una plataforma de computacin ms potente para ejecutar pronsticos globales mucho ms
rpido. A menudo, los ejecutivos de la empresa tuvieron que esperar hasta tres semanas para
obtener comentarios sobre los sitios potenciales, una cantidad inaceptable de tiempo para
Vestas y sus clientes en esta industria competitiva. "En nuestra estrategia de desarrollo, vemos
el crecimiento de nuestra biblioteca en el rango de 18 a 24 petabytes de datos", dice Christensen.
"Y aunque es bastante fcil construir esa biblioteca, necesitbamos asegurarnos de que
pudiramos obtener conocimiento de esos datos".

Convertir el clima en capital

Trabajando con IBM, Vestas implementa hoy una solucin de Big Data que est cortando
semanas del tiempo de procesamiento de datos y ayudando al personal a predecir con mayor
rapidez y precisin los patrones meteorolgicos en sitios potenciales para aumentar la
produccin de energa de la turbina. Los datos actualmente almacenados en su biblioteca de
vientos abarcan casi 2,8 petabytes e incluyen ms de 178 parmetros, tales como temperatura,
presin baromtrica, humedad, precipitacin, direccin del viento y velocidad del viento desde
el nivel del suelo hasta 300 pies, informacin histrica. Las adiciones futuras para uso en
predicciones incluyen mtricas globales de deforestacin, imgenes satelitales, mtricas
histricas, datos geoespaciales y datos sobre fases de la luna y de las mareas. Christensen afirma:

Podramos plantear las preguntas antes, pero nuestros sistemas anteriores no fueron capaces
de entregar las respuestas, o entregar las respuestas en el marco de tiempo requerido. Ahora, si
usted me da las coordenadas para su patio trasero, podemos bucear en nuestras bibliotecas
modeladas del viento y proveer de usted los datos exactos sobre el tiempo durante los 11 aos
pasados, prediciendo as el tiempo futuro y entregando pronstico de la produccin de la
energa. Tenemos la capacidad de escanear reas ms grandes y de determinar ms
rpidamente nuestra cobertura actual de la turbina geogrficamente y de ver si hay puntos que
necesitamos cubrir con un tipo de turbina. Tambin podemos evaluar la informacin sobre cmo
funciona cada turbina y nuestro riesgo potencial en un sitio.

IBM InfoSphere BigInsights ejecuta en un IBM System x iDataPlex Servidores del sistema como
la infraestructura principal para ayudar a Vestas a administrar y analizar los datos
meteorolgicos y de ubicacin de manera que antes no era posible. Por ejemplo, la compaa
puede reducir la resolucin base de sus redes de datos de viento de un rea de 17 x 17 millas a
una zona de 1,8 x 1,8 millas (aproximadamente 3 x 3 kilmetros), una reduccin de casi 90% que
da a los ejecutivos una visin ms inmediata del potencial ubicaciones. Christensen estima que
esta capacidad puede eliminar un mes de tiempo de desarrollo para un sitio y eneble a los
clientes para lograr un ROI mucho antes de lo previsto. l contina:

IBM InfoSphere BigInsights nos ayuda a obtener acceso al conocimiento de una manera muy
eficiente y extremadamente rpida y nos permite usar este conocimiento para convertir el clima
en capital. Antes, nos tomara tres semanas para obtener una respuesta a algunas de nuestras
preguntas simplemente porque tenamos que procesar una gran cantidad de datos. Esperamos
que podamos obtener respuestas para las mismas preguntas en 15 minutos.

Para los clientes, los modelos detallados significan mayor seguridad en los casos de negocio,
resultados ms rpidos y mayor previsibilidad y fiabilidad en su inversin. Christensen afirma:

Nuestros clientes necesitan previsibilidad y confiabilidad y eso slo puede suceder utilizando
sistemas como InfoSphere BigInsights. Podemos darle a los clientes garantas financieras mucho
mejores de las que hemos podido en el pasado y podemos proporcionar un slido caso de
negocios que est a la altura de cualquier otra inversin que puedan tener.
Enfrentando grandes desafos de datos

Vestas e IBM trabajaron juntos para implementar el software IBM InfoSphere BigInsights,
diseado para permitir a las organizaciones obtener informacin de los flujos de informacin
que se caracterizan por su variedad, velocidad y volumen. La solucin combina el software
Apache Hadoop de cdigo abierto con tecnologas y capacidades nicas de IBM para permitir a
las organizaciones procesar conjuntos de datos muy grandes, dividiendo los datos en bloques y
coordinando el procesamiento en un entorno distribuido para anlisis y resultados rpidos y
eficientes. Christensen explica:

IBM nos dio la oportunidad de convertir nuestros planes en algo que era muy tangible desde el
principio. IBM tena expertos en minera de datos, Big Data y Apache Hadoop, y nos result claro
desde el principio si queramos mejorar nuestro negocio, no slo hoy, sino tambin prepararnos
para los desafos que enfrentaremos en tres a cinco aos, tuvimos que ir con IBM.

Mantenimiento de la eficiencia energtica en su centro de datos

Para una empresa comprometida a satisfacer las necesidades energticas del mundo, no es de
extraar que, como Vestas implement su solucin de Big Data, tambin busc un entorno
informtico de alto rendimiento y eficiencia energtica que reducira su huella de carbono. Hoy
en da, la plataforma que impulsa su pronstico y anlisis comprende una pila de hardware
basada en el superordenador IBM System x iDataPlex. Esta solucin de supercomputacin, una
de las ms grandes del mundo hasta la fecha, permite a la compaa consumir un 40% menos
de energa y aumentar la potencia computacional. Dos veces el nmero de servidores se puede
ejecutar en cada uno de los 12 racks del sistema - reduciendo la cantidad de espacio requerido
en su centro de datos.

"La supercomputadora proporciona la base para una forma totalmente nueva de hacer negocios
en Vestas y combinada con el software de IBM, ofrece un enfoque ms inteligente a la
informtica que optimiza la forma en que trabajamos", dice Christensen.

En general, el despliegue de procesamiento basado en Hadoop se ha convertido en un

cambiador de juego para Vestas y proporcion conocimientos crticos que diferencian sus
servicios y capacidades. Este tipo de arquitectura de solucin no es un enfoque obligatorio para
cada situacin u organizacin, pero el enfoque de arquitectura puede utilizarse para disear
plataformas escalables para problemas de Big Data que necesiten agilidad y flexibilidad.