El Supercómputo para el Manejo de Grandes Volúmenes

de Datos
Dr. Raúl Rivera Rodríguez
Responsable Técnico
CICESE

Agosto 2017
Contenido
• Red Mexicana de Supercómputo
• Supercómputo y el BigData
• Centros de Supercómputo en el País
• Oportunidades de Colaboración
• Conclusiones
Antecedentes
• La Red Mexicana de Supercómputo está formada por individuos de
instituciones académicas y de investigación, laboratorios nacionales,
iniciativa privada y gobierno que busca la colaboración continua, el
intercambio de conocimientos y recursos humanos en materia de
Cómputo de Alto Rendimiento.

• En 2014 se inician los trabajos para la conformación de la RedMexSu.

 ¿Quiénes conforman la RedMexSu?
Misión
• Somos una Red Temática de CONACYT que fomenta la formación de recursos
humanos de alto nivel, el desarrollo de infraestructura, redes avanzadas,
aplicaciones y servicios en materia de cómputo de alto rendimiento; para el
fortalecimiento de la investigación científica, la innovación tecnológica y la
industria.
Visión
• Consolidar la Red Temática como un referente nacional e internacional en el
uso y desarrollo del cómputo de alto rendimiento y su innovación tecnológica
atendiendo problemas prioritarios y de gran impacto en el país en un esquema
de auto-sustentabilidad.
 Objetivos de RedMexSu
Objetivo General
Establecer la Red Mexicana de Supercómputo (RedMexSu) soportada por una
infraestructura, conectividad avanzada, aplicaciones, servicios y formación de
recursos humanos de alto nivel.
Objetivos Específicos:
• Impulsar las actividades de colaboración entre los miembros de la red.
• Elaborar el estado del arte del Supercómputo en México.
• Realizar el diagnóstico nacional de Supercómputo, contando con el
inventario de la infraestructura, aplicaciones, recursos humanos, redes de
comunicación avanzadas, última milla, redes de colaboración.
• Promover el desarrollo de la e-infraestructura para los servicios de HPC
que el país requiere.
Propuesta de Distribución de Centros
de Supercómputo en el País.
A mediano-largo plazo

• TIER0: 3 Centros Nacionales de

Supercómputo con rendimientos
de 1.5 PF
• TIER1: 10 Centros Regionales
de Cómputo de Alto
Rendimiento de 200 – 300 TF.
• TIER2: 10 Centros Regionales
de Cómputo de Alto
Rendimiento de menos de 100
TF
 Participantes
Academia Industria

Gobierno
Municipal / Estatal / Federal
 Conformación de la RedMexSu
• Academia – todas la universidades y Centro del País, y la colaboración
de centros o universidades de excelencia internacionales.
• Industria - a las empresas que son usuarias del supercómputo o
potencialmente usuarias del mismo para posibilitar en la medida de lo
posible la sustentabilidad de los centros
• Gobierno – Apoyar en la posibilidad de la academia a las instituciones
gubernamentales para sus aplicaciones, en toma de decisiones y para la
mitigación de desastres naturales.
• Legislativo* – Necesitamos que el desarrollo de esta área de
aplicaciones que involucra el internet de las cosas, Big Data, HPC sea
llevado como una política pública a fin de disponer de los recursos
necesarios para su desarrollo y sea capaz de incidir en el PIB nacional.
 Organización de la REDMEXSU

Dr. Raúl Rivera Rodríguez

Director de Telemática, CICESE
Responsable Técnico y
Representante de la RedMexSu
Organización de la RedMexSu..

• Mesas de trabajo de acuerdo a los siguientes

temas:
• Aplicaciones
• Recursos Humanos
• Redes y Seguridad
• Infraestructura
• Gobierno
• Industria
Principales actividades de la
RedMexSu
• Reuniones de factibilidad
• Estado del arte del supercómputo en México
• Diagnóstico del supercómputo en México
• Organización de talleres para la formación de recursos humanos
• Participación en la discusión de políticas públicas sobre la estrategia de
supercómputo como factor que impulse la economía del País.
• Reuniones de trabajo de la RedMexSu
Temas de Investigación de la
RedMexSu
• Cyberinfraestructura: almacenamiento, procesamiento, redes avanzadas
de alto desempeño.
• Arquitecturas paralelas y de sistemas escalables, arquitecturas
petaescala, exaescala.
• Programación HPC (paralelo y distribuido).
• Cómputo distribuido (GRID, clúster, cloud)
• Optimización de recursos de cómputo
Temas de Investigación de la
RedMexSu(2)
• Minería de Datos (Data Analytics.
• Sistemas Operativos/Middleware (calendarización, optimización de
aplicaciones),
• Manejo de Grandes volúmenes de datos - Big Data.
• Aplicaciones científicas, industriales y gubernamentales.
• Visualización científica.
 Centros de
Supercómputo
en México
Sitios de Supercómputo en México
• Delta de Supercómputo – UNAM , UAM, CINVESTAV/IPN (*)
• CNS – Centro Nacional de Supercomputo – IPICYT *
• LNS – Laboratorio Nacional de Supercomputo de BUAP – Puebla *
• ABACUS – Centro de Supercomputo en Salazar del CINVESTAV *
• UdeG – Centro Nacional de Supercomputo de Occidente *
• Centro de Supercómputo de CICESE +
• Centro de Datos de UAEMEX +
• Centro de Supercómputo de Sonora +

* Ofrecen Capacidad de Cómputo a proyectos de otras instituciones

+ Solo usados por proyectos institucionales (en su mayoría)
Supercómputo + BigData
• El BigData o en términos científicos, la ciencia de los grándes datos, es
una tendencia que requiere de contar con altas capacidades de
procesamiento y almacenamiento para el análisis de grándes volúmenes
de datos.

http://www.csc.com/big_data
El BigData
• El BigData trata el análisis de datos provenientes de diversas fuentes, es
decir, de bases de datos heterogéneas.

Miembro de la RedMexSu:
• INFOTEC cuenta con un Laboratorio de Analítica (BigData)
• https://www.infotec.mx/es_es/infotec/Laboratorio_de_Analitica_Big_Data
Proyectos que involucran BigData
• Plataforma computacional de estandarización, manejo, distribución y
visualización de datos de la Red de Observación Oceanográfica para el
“Consorcio de investigación del Golfo de México” (CIGOM), participan las
siguientes instituciones: UNAM, CIDESI, CICESE, CINVESTAV-IPN,
INECC, UABC.

• Dentro del mega proyecto se tiene contemplado un hito denominado

“Plataforma de Observación Oceanográfica” que comprende:
Observaciones oceanográficas con información de diferente naturaleza y
estructura.
Proyectos que involucran BigData (2)
• Este tipo de proyecto requiere de:

• Proveedores de datos: Distintas estructuras y formatos

• Herramientas para estandarización: Metodología para la publicación de
datos, convenciones de metadatos internacionales, etc.
• Bases de datos: Conjuntos de datos virtuales, etc.

• Volumen y Variedad de Datos...

 Ejemplos
Seguimiento de huracanes Modelación de corrientes en aguas profundas

http://met-hwrf.cicese.mx/fcst/animacion_hwrf_p01m_d01.gif Fuente: https://cic-pem.cicese.mx/sisprogom_pub/

Modelo científico HWRF Dr. Julio Sheinbaum. CICESE
Dr. Luis M. Farfán. CICESE Unidad La Paz
Proyectos que involucran BigData

• Base robusta para el análisis de escenarios de derrames, con:

- Big data analytics
- Minería de datos
- Machine Learning
Supercómputo + BigData -
Capacitación
• Se requiere personal capacitado en el manejo de herramientas para
análisis de BigData enfocado a proyectos de investigación científica

• Como parte de las iniciativas de capacitación se apoyó en:

• Asistencia a curso "BigData Analytics-Data Science" que
se llevó a cabo los meses de junio y julio del 2017
en Telecom SudParis, Francia
• Se han impartido 9 talleres en diferentes temas del Supercómputo
• Uno en BigData
¿Cómo hacer uso de la
infraestrutura?
Convocatorias para el uso de
Recursos de Supercómputo en México

• Centro Nacional de Supercómputo (IPICYT)

• http://www.cns-ipicyt.mx/

• Laboratorio de Matemática Aplicada y Cómputo de Alto Rendimiento

(ABACUS):
• http://www.abacus.cinvestav.mx/convocatoriaNacional2017-2
• ddfdfdf
• Laboratorio Nacional de Supercómputo del Sureste de México
• http://www.lns.buap.mx/ (sección convocatorias)
Convocatorias para el uso de Recursos
de Supercómputo en México (cont...)
• Supercómputo UNAM
• http://www.super.unam.mx/

• Laboratorio Nacional de Cómputo de Alto Desempeño (LANCAD)

• http://www.lancad.mx/?page_id=1201
Contacto
• Página oficial de la RedMexSu
• http://www.redmexsu.mx

• Responsable técnico
• Dr. Raúl Rivera Rodríguez, rrivera@cicese.edu.mx
• Coordinador de Membresías
• M.C. Raúl Hazas Izquierdo, rhazas@difus.uson.mx