1.

Introdução ao Processamento Paralelo e de Alto Desempenho

1.1 MOTIVAÇÃO PARA O PROCESSAMENTO DE ALTO DESEMPENHO

- Aumento de desempenho de um modo geral: resolução de problemas em menos

tempo
Análise estrutural
Modelagem climática
Exploração petrolífera
Simulação aerodinâmica
Inteligência artificial
Sistemas especialistas
Outras aplicações científicas e de engenharia

- Limitação tecnológica para processadores mais rápidos

- Divisão de tarefas entre os diversos elementos do sistema
- Tolerância a falhas
- Escalabilidade: possibilidade de aumento de desempenho, previsão de expansão do
sistema

1.2 A CLASSIFICAÇÃO DE FLYNN PARA ARQUITETURAS PARALELAS DE COMPUTADORES

Organização de arquiteturas paralelas

Single instruction, Single instruction, Multiple instruction, Multiple instruction,

single data multiple data single data multiple data
(SISD) (SIMD) (MISD) (MIMD)

Uniprocessor Vector Array Shared Memory Distributed Memory

Processor Processor (tightly coupled) (loosely coupled)

Symmetric Nonuniform Clusters

Multiprocessor Memory Access
(SMP) (NUMA)

Single Instruction Single Data (SISD) stream: nesta classe, um único fluxo de instruções
opera sobre um único fluxo de dados. Isto corresponde ao processamento sequencial
característico da máquina de von Neumann e que compreende os computadores
pessoais e estações de trabalho. Apesar dos programas estarem organizados através
de instruções sequenciais, elas podem ser executadas de forma sobreposta em
diferentes estágios (pipelining). Arquiteturas SISD caracterizam-se por possuírem
uma única unidade de controle podendo possuir mais de uma unidade funcional.
Capítulo 1. Introdução ao Processamento Paralelo e de Alto Desempenho 2

Control Functional
unit unit Memory

Fig. 1 Classe SISD da classificação de Flynn

Single Instruction Multiple Data (SIMD) stream: esta classificação corresponde ao

processamento de vários dados sob o comando de apenas uma instrução. Em uma
arquitetura SIMD o programa ainda segue uma organização sequencial. Para
possibilitar o acesso a múltiplos dados é preciso uma organização de memória em
diversos módulos. A unidade de controle é única e existem diversas unidades
funcionais. Nesta classe estão os processadores vetoriais e matriciais.

Control Functional
unit M1
unit

Functional
M2
unit

Functional
Mn
unit

Fig. 2 Classe SIMD da classificação de Flynn

Multiple Instruction Single Data (MISD) stream: neste caso, múltiplas unidades de
controle executando instruções distintas operam sobre o mesmo dado. Esta classe,
na realidade, não representa nenhum paradigma de programação existente e é
impraticável tecnologicamente.

Control Functional
M1
unit unit

Control Functional
M2
unit unit

Control Functional
Mn
unit unit

Fig. 3 Classe MISD da classificação de Flynn

Capítulo 1. Introdução ao Processamento Paralelo e de Alto Desempenho 3

Multiple Instruction Multiple Data (MIMD) stream: esta classe é bastante genérica
envolvendo o processamento de múltiplos dados por parte de múltiplas instruções.
Neste caso, várias unidades de controle comandam suas unidades funcionais, as
quais tem acesso a vários módulos de memória. Qualquer grupo de máquinas
operando como uma unidade (deve haver um certo grau de interação entre as
máquinas) enquadra-se como MIMD. Alguns representantes desta categoria são os
servidores multiprocessados, as redes de estações e as arquiteturas massivamente
paralelas.

Control Functional
M1
unit unit

Control Functional
M2
unit unit

Control Functional
Mn
unit unit

Fig. 4 Classe MIMD da classificação de Flynn

1.3 NÍVEIS DE EXPLORAÇÃO DO PARALELISMO

- Hardware
- Microprogramação
- Convencional
- Sistema operacional
- Linguagem de programação

1.4 FORMAS DE DEPENDÊNCIA DE DADOS E DE CONTROLE

Dependência de dados: ocorre entre as instruções

Dependência de controle: ocorre em desvios na sequência do programa
Dependência estrutural: ocorre por falta de recursos

1.5 MEDIDAS DE DESEMPENHO DAS ARQUITETURAS PARALELAS

- Técnicas de avaliação
- Modelagem
- Ferramentas analíticas
- Benchmarks