Beruflich Dokumente
Kultur Dokumente
Grid Computig
Índice
Definición (I y II) GAF4J: modelo de
La “nueva” ola tecnológica funcionamiento
Tecnología Grid: concepto DRMAA
Tecnología Grid: alcance Domain Services
Una métrica del problema Evolución (I y II)
Una visión global Del mundo científico/académico
Entorno distribuido Al mundo empresarial
Arquitectura La realidad del sector (I a III)
El proyecto Globus HPC en el sector financiero (I y
El proyecto Condor (I y II) II)
Arquitectura OGSA Interés para el sector financiero
Grid Services: OGSA Interés para el banco (I a III)
Grid Services El mercado (I y II)
Infraestructura Grid: OGSI Casos de aplicación
GAF4J: definición GridSystems (I a III)
Pasos a seguir
Antoine’s Grid Computing
Definición (I)
El término Grid se acuñó a mediados de los años 1990, para designar una
infraestructura distribuida para la ejecución de aplicaciones científicas y de
ingeniería. Según se ha ido avanzando en la construcción de esa
infraestructura, el término ha ido ganando popularidad, a la vez que se
extendía abarcando desde el networking hasta la inteligencia artificial.
Definición (y II)
El concepto de Grid está por tanto muy unido al de organización virtual,
virtual también
muy ambigüo. En el mundo empresarial, con la difusión de los modelos orgánicos,
como sucesores de los antiguos modelos mecanicistas con origen en la primera
revolución industrial, se ha popularizado la idea del ecosistema de negocio como el
ámbito natural donde las empresas desarrollan su actividad; un entorno turbulento,
necesariamente abierto; donde las fronteras interorganizacionales se difuminan,
ante la alternativa de constituirse como obstáculos para la necesaria colaboración
entre los individuos que componen aquel ecosistema.
DM
DWh
Intranet
B2E BI (Empleados) KM B2E
Extranet Internet
(Proveedores Wfw Engine BPM System (Clientes)
B2B Partners)
Procesos de Negocio BPA
B2C
Aplicaciones con una relación c2d alta son candidatas a priori para la utilización de un servicio
Grid de procesamiento distribuido.
Frontier Platform Internet Pioneer Engine
Computing
Antoine’s Grid Computing
Entorno distribuido
Hoy, si se pretende representar el entorno en el que desarrolla su actividad una gran empresa,
tendríamos que visualizar un entorno distribuido, desde el punto de vista de los sistemas y de las
aplicaciones, en el cual observaríamos una separación clara entre las funciones que residen en los
servidores centrales de los ASP/SSP, y las que se asignan a los elementos perimetrales de la red.
Arquitectura
Application
Application
Collective
Resource
Transport
Connectivity
Network
Fabric Link
El proyecto Globus
Arquitectura OGSA
Grid Services
CreateService Enlace (Bind)
Grid Service Handle (GSH)
Destroy Invocación fiable
SetTerminationTime
(Autenticación)
Interfaces Estándar
… otras interfaces … Notificación
Acceso a los datos del sercio
Destrucción (explícita) GridService (opcional) Autorización
Vida del servicio Creación
Mantenimiento del estado (Soft- Registro
FindServiceData
state)
Estos elementos son
Datos Datos Datos Gestión
trozos de XML Del Del Del Concurrencia
encapsulados en un Servicio Servicio Servicio
formato estándar +
<name,type,TTL-info> Interfaces para
Incluyen información
interna, datos Implementación Aplicaciones específica
específicos de la =
interfaz y datos de perfil de WS (WSDL
aplicación
Entorno de desarrollo/ejecución
(C,C#, J2EE, .NET, …)
Grid Services = Interfaces + Datos del
Antoine’s Grid Computing
Application
Professional Services
System Grid Services
Capabilities
Autonomic
Management
OGSI
Web Services
GAF4J: definición
Grid Application Framework for Java
TaskDispatcher 4. Lanzamiento
de los trabajos
Task_2 sobre el Grid
2. Mostrar consola seleccionado
Console JobStarter
Task_3
7. Distribuir los
Componentes 5. Encontrar los recursos más adecuados
trabajos a los nodos
• Client Framework del Grid
TaskDispatcher
TaskExecutiveClient ResourceBroker Grid
Console 6. Comprobar los
registros de esos
• Server Framework recursos
TaskExecutiveServer
• Services Framework
ResourceInformationServices
ResourceInformationServices
Antoine’s Grid Computing
DRMAA
Distributed Resource
Management Application API
El alcance de la especificación DRMAA se limita al envío de trabajos, su
monitorización y control así como la recepción del estado de los trabajos
terminados. La reserva de recursos, la seguridad y demás aspectos del Grid
se especifican en otros grupos de trabajo del GGF. Es una iniciativa,
copresidida por Sun Microsystems e Intel, que pretende fomentar la
interoperabilidad de aplicaciones Grid desarrolladas por distintos ISVs. En el
desarrollo de la especificación, que ha entrado el pasado 28 de marzo en el
último periodo de recepción de comentarios sobre la versión 1.0, han
participado actores como Cadence Design Systems, HP, IBM, Platform
Computing, Robarts Research Institute o Veridian Systems.
Antoine’s Grid Computing
Service Domain
Una tecnología de la que vienen hablando los desarrolladores de IBM desde principios de
año. Se trata de permitir que un conjunto de Web Services (WS) o Grid Services (GS)
trabajen de forma cooperativa, ofreciendo mecanismos para garantizar un funcionamiento
coordinado y con ciertas garantías de servicio. Estos ‘service domains’ (SD) se constituyen
como una capa de servicios suplementarios para entornos WS, que permite crear, filtrar,
encontrar (descubrir), agregar, compartir, organizar, seleccionar, encaminar, restituir y
conmutar WS con cierta autonomía.
Estos dominios se estructuran a partir de una unidad básica, que se conoce como ‘service
desk’, que se pueden agrupar en un ‘service hub’. Estos bloques constructivos, que se
pueden ver como unidades autónomas para el procesamiento de servicios, forman
estructuras anidadas más complejas, que son los ‘service domains’.
Evolución (I)
Unidades de Negocio
De la visión estratificada por
niveles de la organización
empresarial “tradicional”, en
que se contemplan la
virtualización de los recursos
Colaboración Dinámica
a nivel físico, la distribución
de la carga de trabajo, Financiero Optimización de costes
basada en la delegación de
tareas a nivel operativo, la
automatización de los
procesos de negocio, la
optimización de los recursos
Lógica del negocio Procesos de negocio
financieros ... para llegar a
unas ‘ratio’ de eficiencia y
unos niveles de
productividad aceptables a
nivel de negocio, pasamos a
Operativa Actividades
ver a la organización
virtual como un contínuo
con diferentes grados de
colaboración entre Recursos Físicos y Lógicos
Antoine’s Grid Computing
Evolución (y II)
Integración
On Demand
Grid Services
Dynamic Sourcing
(pay as you use)
Clusters
Provisión
Recursos Dedicados
a
del
ic ga os da
tá
t
ca
r
a d
a n servicio
es de a ci m
i ón eo o ci de
nac an
c
eg aj
o
ig al N B
Antoine’s Grid Computing
IST Programme
Meteo GRID
Bio GRID
CAE GRID
Technology Development
HPC Research GRID
01/11/2000 – 31/10/2003
Antoine’s Grid Computing
Al mundo empresarial
Las primeras aplicaciones de la tecnología Grid nacen, como era de esperar, en
entornos académicos, de investigación científica; entornos que típicamente han
requerido gran capacidad de procesamiento, y donde también se originaron en su
momento las primeras ideas sobre procesamiento distribuido, “computación” en
paralelo (e.g. PVM) y virtualización de recursos computacionales: simuladores, entornos
de CAD/CAE, ingeniería concurrente... El paso al mundo empresarial se produce de
forma natural buscando entornos afines: el sector financiero, el de las
telecomunicaciones, la industria de los contenidos, la bioingeniería, las
administraciones públicas o la industria aeroespacial. Se trata de sectores industriales
donde se hace un uso intensivo de datos y capacidad de procesamiento.
Antoine’s Grid Computing
El resultado completo de la encuesta, así como información más completa sobre la inicativa de Platform se puede encontrar
Antoine’s Grid Computing
Modelo de mercado
capacidad de procesamiento
Valoración de activos
(HPC, High Performance
Computing) se pueden
encuadrar en alguna de las
cuatro actividades que
aparecen a la derecha. Es
decir la realización, a partir de
los precios de mercado, la
dinámica del mismo y los
precios teóricos, es habitual
realizar simulaciones de
cartera, valoraciones de
activos, o la simulación de
mercados a partir de un Simulación de mercados
modelo, que se ha diseñado y
Antoine’s Grid Computing
- El cálculo numérico intensivo (e.g.VaR por el método de Montecarlo) VaR: Value at Risk
- El tratamiento masivo de datos de tesorería DM: Data Minning
DWh: Data Warehouse
- Aplicaciones J2EE migrables BI: Business Intelligence
CRM: Customer Relationship Management
- Servicios de replicación de aplicaciones TCO: Total Cost of Ownership
J2EE: Java 2 Enterprise Edition
Antoine’s Grid Computing
El mercado (I)
El impulsor del resurgimiento de la “computación” distribuida, una idea nada nueva, ha sido un
actor bien conocido, IBM, con su proyecto Globus. Lo que sí ha sido realmente destacable, es la
convergencia con el desarrollo de la tecnología Web (Web Services). Juntando la virtualización con
la distribución han surgido nuevas oportunidades, a las que se han apuntado clásicos de los
sistemas como Intel, Sun, HP; que ya en sus tiempos habían hecho sus apuestas en el terreno del
procesamiento en paralelo y la supercomputación (un terreno tradicionalmente dominado por
Cray). Ahora, lo que ha sucedido, es que todos los grandes han resucitado viejas ideas del mundo
del HPC (High Performance Computing) asociándose con desarrolladores pioneros del sector como
DataSynapse y Platform en el universo anglosajón, o GridSystems en el viejo continente).
Obviamente, con el alcance que promete esta tecnología, se han apuntado actores que, viniendo
del mundo de los datos, han visto las posibilidades del DataGrid, como son Avaki o MountainView.
Tratándose de un sector emergente, estamos en plena consolidación del mismo, observándose
una actividad de partnership y adquisiciones estratégicas importante, buscando conformar una
cartera de productos apetecible, o una posición de salida ventajosa en una carrera por un mercado
muy jugoso, y que no ha hecho más que anunciarse.
Synergy 1.0
EnFuzion 7.2
InnerGrid 2.0
El mercado (y II)
Otro de los partners de IBM con peso específico en la tecnología Grid es Entropia,
especializada en la explotación de la capacidad de máquinas PC, con su solución
DCGRID. Dell también se ha apuntado, con su programa HPCC (High Performance
Cluster Computing), aliándose con Platform, y vendiendo soluciones para Windows
2000. Otro gigante, Silicon Graphics Inc. está potenciando su tecnología de
visualización remota (Visual Area Networking) y acceso a grandes volúmenes de datos
apoyándose en sus plataformas de alto rendimiento (también aliándose con líderes del
mercado como Platform). También surgen iniciativas como la de Parabon Computation,
que ofrece el servicio Grid en Internet (Frontier + Pioneer), y que sirve, por ejemplo,
para apoyar la investigación contra el cancer, en el sector biofarmacéutico,
asociándose con Celera genomics.
genomics En el mundo del OpenSource, cabe destacar
globusWorld,
globusWorld que surge del proyecto del mismo nombre orientado a la estandarización
(Open Standard ≠ Open Source).
DCGRID 5.1
Antoine’s Grid Computing
Casos de Aplicación
Charles Schwab
La reducción del tiempo de ejecución de una aplicación de gestión de patrimonios de 4 minutos a
15 segundos, le permitió utilizarla para dar servicio telefónico a sus clientes.
CapitalOne
Utilizan SAS para modelado de datos y estimación de características de cliente. Se consiguió
paralelizar el proceso, utilizando Grid para lanzar la ejecución sobre diferentes conjuntos de datos.
Royal Bank of Canada
Un proceso de valoración para pólizas de seguros (una aplicación APL) que se salía de la ventana
de ejecución (18 h); se ejecutaba sobre 4 nodos NT, y requería un operario (75%). Con su
ejecución sobre Grid se bajó a 34 minutos y se eliminó ese operario al 75%, que ya podía
dedicarse a hacer otras cositas más útiles.
JP Morgan Chase
Han trasladado sus cálculos de valoración de carteras a una infraestructura Grid de IBM.
SCH
Los cálculos a realizar consistían en la calibración de volatilidades, para con éstas valorar
‘swaptions’ bermudas. El objetivo de la calibración era parametrizar el árbol binomial con el
objetivo de reproducir las volatilidades implícitas correspondientes al mercado. Como datos de
entrada, se especificaban las volatilidades implícitas, tipos de interés, y ciertos parámetros que
describen los detalles del tipo de cálculo. Toda la información era introducida manualmente por el
usuario en una hoja Excel. El cálculo tardaba varias horas. Se sustituyó el cálculo local por
llamadas a un sistema InnerGrid (GridSystems) formado por varios PCs de sobremesa. El tiempo
de ejecución se rebajó a unos pocos minutos (hablamos de un orden de magnitud menos).
Deutsche Bank&JP Morgan Chase
Estos dos gigantes han llegado recientemente a un acuerdo con IBM, en el que le contratan
capacidad de procesamiento para satisfacer los picos de demanda que sobrepasen su propia
Antoine’s Grid Computing
GridSystems (I)
Un fabricante, español, de referencia a nivel europeo y mundial. Son partner
de IBM para la tecnología Grid. Su producto InnerGrid ya ha recibido un
premio de investigación en el marco del programa IST de la UE.
Han optado por abrir mercado en el área del Intra-Grid; en lugar de intentar
vender soluciones con todo el alcance de la tecnología Grid, han preferido
salvar las barreras culturales que impone la desconfianza en el entorno
empresarial (aun hoy a los CIOs les genera cierto rechazo pensar en ejecutar
sus aplicaciones de negocio fuera de sus instalaciones, con las implicaciones
que eso tiene sobre la seguridad de las comunicaciones). Han optado
también por el desarrollo ligero que, minimice la interferencia con las tareas
prioritarias de las máquinas que actuan como nodos del Grid; lo cual les ha
llevado a realizar desarrollos nativos para cada plataforma (AIX, Linux, Mac
OS X, HP-UX, Windows, Solaris, IRIX).
GridSystems (II)
Antoine’s Grid Computing
GridSystems (y III)
Estructura Maestro/Esclavo Distribuida de
InnerGrid
Pasos a seguir
Entendemos que, tras una primera fase, que concluye con la entrega de este documento a
modo de informe o presentación (Executive Briefing) para una primera toma de contacto con
la tecnología Grid, su alcance, sus posibilidades reales y su interés para el banco, lo más
recomendable sería realizar un inventario de las aplicaciones (Application Assesment*) que
sean susceptibles de distribuirse sobre una infraestructura Grid, y en las que ese cambio
aporte algún valor a la unidad de negocio que las explota, en cuanto a productividad o
eficiencia operativa.
Una vez se hayan identificado y evaluado sería conveniente elegir una para la realización de
un piloto que nos serviría, por un lado como prueba de concepto (Proof of concept), y por otro
como entrada para la elaboración de una propuesta de valor (Value Proposition), pensando
en un eventual paso a producción.
Ni que decir tiene que el peso específico del BBVA en el sector, hace que cobre aun mayor
importancia la decisión que se tome con respecto a la adopción de una tecnología con el
alcance
* IBM disponeque
de unatiene el Grid.
metodología propia, GVT (Grid Value Tool), que define el camino a seguir por cada empresa para la adopción de la tecnología Grid. Es una
metodología que se implanta vía los servicios profesionales de BCS (Business Consulting Services), unidad que surge con la incorporación de PwC a IBM.