Avaliação de desempenho com base em Benchmarks

Carla Angélica Sousa Morais Rebelo, número 20150273

E-Mail: carla.morais.geral@gmail.com

Resumo: Benchmarks em computação, pois existem vários tipos de Benchmarks a outros níveis, é o ato
de executar um programa 1 , com o objetivo de avaliar o desempenho de um sistema, o programa
normalmente executa uma série de testes ao mesmo.
[1]Existem Benchmarks de hardware e Software os de hardware são usados para avaliação das
características de performance do hardware do computador e os de software para avaliar as
características do computador faz-se referência a testes em compiladores, a base de dados etc.
O termo Benchmarks provêm de métodos de comparação de vários sistemas, como se comportam e
como atuam.
Palavras Chave: Benchmarks, Avaliação de desempenho, computacional, desempenho

Abstract: Benchmarks in computing, because there are several types of Benchmarks to other levels, is
the act of running a program that is installed on the computer, in order to evaluate the performance of
the system, the program usually performs a series of tests to it.
There are Hardware Benchmarks and Software the hardware are used to evaluate the performance
characteristics of the computer hardware and software to evaluate the characteristics of the computer is
referred to tests in compilers, database etc.
The term Benchmarks comes from methods of comparing various systems, how they behave and how
they act.
Keywords: Benchmarks, Performance evaluation, computational, performance

1
Um programa informático é um conjunto de instruções que descrevem uma ou mais tarefas a serem executadas num
computador
 2

Índice

1. Introdução ...................................................................................................................................... 4
2. Principais características ............................................................................................................... 4
3. Aplicabilidade ............................................................................................................................... 4
4. Benchmarks e as empresas ............................................................................................................ 5
5. Benchmarks e os utilizadores ........................................................................................................ 6
6. Alguns produtos de Benchmarks ................................................................................................... 7
6.1 PCMarck8 .................................................................................................................................. 7
6.2 Catzilla ....................................................................................................................................... 7
6.3 CPU-M ....................................................................................................................................... 8
6.4 Antutu Benchmark ..................................................................................................................... 8
6.5 Aida64........................................................................................................................................ 9
6.6 web.basemark.com .................................................................................................................... 9
6.7 Database Benchmark ............................................................................................................... 10
7 Conclusão .................................................................................................................................... 10
8 Referencias .................................................................................................................................. 10
 3

Índice de Figuras

Figura 1-Benchmark de plataforma de virtualização ............................................................................... 5

Figura 2 - Analise ao recurso CPU ........................................................................................................... 6
Figura 3 - Analise ao recurso I/O Disco ................................................................................................... 6
Figura 4-Análise de um smartphone ........................................................................................................ 9
 4

1. Introdução

Ao longo dos tempos com a evolução das arquiteturas computacionais tornou-se mais difícil para os
utilizadores compararem sistemas somente pelas suas especificações, assim os programadores criaram
testes para que estes sistemas fossem comparados mais detalhadamente entre as diferentes arquiteturas
de computadores, pode-se tomar como exemplo que um computador com melhores características não
quer dizer que seja melhor, um computador mais lento poderá ter um desempenho melhor nos testes de
benchmarks, dependendo de que área se está a testar.[2]

Os programas de benchmarks são usados para determinar um comportamento num Sistema

computacional, determinado componente, como o disco rígido ou mesmo, uma placa de rede ou de um
Sistema no geral.

Com estes testes pode-se obter determinadas pistas para caso haja um problema no Sistema este ter a
performance aumentada.

Já há muitos anos antes do ano 2000 os benchmarks eram usados, mas antigamente os testes eram muito
demorados e pesados, pois eram usados benchmarks de SPEC baseados em Unix.

2. Principais características

Normalmente, benchmarks é associado á avaliação de características de performance de um Hardware

de computador, como por exemplo a performance de um disco rígido, no entanto esta técnica também é
aplicada a software.

Benchmarks são utilizados por exemplo em compiladores, base de dados e sistemas.[3]

3. Aplicabilidade

Com a evolução das arquiteturas de computadores, ficou cada vez mais difícil comparar a performance
de diferentes sistemas de computação somente analisando as suas características, assim foram criados
testes para serem executados em diferentes sistemas, permitindo que esses resultados possam ser
comparados entre as diferentes arquiteturas computacionais.

Os benchmarks são criados para imitar um determinado tipo de comportamento num componente ou
Sistema.
 5

Existem benchmarks sintéticos que fazem os testes especificamente através de programas que impõem
o tipo de comportamento desejado no componente, são usados em testes de componentes individuais,
como o disco rígido ou uma placa de rede, podemos salientar alguns deste software de maior relevo
como por exemplo um doa que vamos mencionar mais detalhadamente á frente como o PCMark8

Benchmarks de aplicação executam programas do “mundo real” no Sistema, estes oferecem uma
melhor medida de performance para um dado Sistema, podemos salientar alguns deste software como
por exemplo database benchmark.[3]

4. Benchmarks e as empresas

Cada vez mais existe uma preocupação por parte das empresas em monitorizar, avaliar sistemas como
plataformas de virtualização (VMware, Microsoft Hyper-V), Backup e recuperação de dados,
desempenho de motores de base de dados. Só assim se consegue validar e projetar o crescimento
sustentável dos sistemas de informação.[4]

Figura 1-Benchmark de plataforma de virtualização

 6

Figura 2 - Analise ao recurso CPU

Figura 3 - Analise ao recurso I/O Disco

5. Benchmarks e os utilizadores

É possível que qualquer utilizador realize uma analise de benchmarks no seu computador, no entanto é
importante mencionar que alguns programas de benchmarks podem danificar a máquina, em virtude
destes testes que o benchmarks utiliza são para tirar o máximo partido dos componentes existentes na
máquina, é importante que quando fazemos esta análise não utilizar o computador durante este processo,
o próprio programa manda fechar todas as aplicações para que os testes sejam executados

Os processos de benchmarks no design de microprocessadores são muito importantes, pois os mesmos

fornecem aos engenheiros de processadores a habilidade de analisar e realizar determinadas
modificações microarquitecturas.
 7

Estas analises também são importantes para o consumidor ter algum tipo de referencia quando pretende
ver a qualidade ou o desempenho de um produto. Normalmente o resultado aparece em números como
é o caso de vários tipos de benchmarks.

Quando um fabricante de computadores lança um produto novo no Mercado, o mesmo necessita de

comprovar a qualidade do produto para justificar o preço cobrado ao cliente, então os benchmarks
servem para fazerem uma comparação tanto com outros modelos fabricados pela empresa quanto em
relação aos concorrentes.

6. Alguns produtos de Benchmarks

Conhecer bem a performance do nosso PC é um desafio, assim vamos analisar alguns softwares de
Benchmarks

Existem diversas ferramentas que podem efetuar variadas análises comparativas que ajudam na tarefa
de esclarecimento dessas questões.

6.1 PCMarck8

Pode ser instalado em todos os tipos de PC e normalmente é para Windows 8 e 7, é um produto mais
usado por gamers e profissionais de criação de conteúdos multimédia. O PCMarks8 existe em versão
free onde mostra um quadro abrangente do nosso PC nesta versão, como também versões pagas que
permitem acrescentar a capacidade de testes, como por exemplo testes a baterias de portáteis, discos
rígidos e aplicações, este acrescento também permite a configuração de testes individuais.

O PCMarck8 utiliza o MSOffice e o Adobe Creative Suite para a obtenção de resultados e para realizar
estes do “Mundo real”, é um software muito realista e de grande relevância o que o torna mais próximo
do utilizador comum, tem 5 testes de benchmarks separados mais testes de vida da bateria.

Um teste completo do PCMarks pode demorar um dia inteiro a executar os testes no computador.

Além de ser um software muito bom e fiável como vimos anteriormente também tem desvantagens,
uma delas é no enorme espaço que ocupa, quase 3 GB de espaço o que o torna muito pesado, logo
dependendo do tipo de internet o seu download poderá demorar muito tempo. [5][6]

6.2 Catzilla

O Catzilla trata-se de uma ferramenta com grande qualidade, pois é muito visual. Os cenários de testes
são de grande humor e entretenimento ao utilizador, o que torna que os testes sejam mais divertidos,
 8

também como o Marcks8 é mais destinado a gamers, a sua interface é muito simples e orientada para o
utilizador comum, nada de muito técnico, torna-se muito fácil a escolha dos testes, pois não se
necessita propriamente de ter conhecimentos técnicos e os resultados são imediatos.

Trata-se de um software adaptável, pois se tivermos uma máquina mais antiga e lenta o Catzilla
adapta-se e permite que os testes sejam feitos numa resolução mais baixa como 1024x576. O seu foco
de interesse como se trata de um software mais para gamers é o chipset gráfico.

Falando agora do aspeto comercial existem 3 opções sendo a mais baixa gratuita, no entanto é
necessário existir um registo, nesta versão free consta das opções importantes, somente trabalha em
resolução de 720p, agora falando das outras opções mais personalizadas podemos dizer que as mesmas
permitem um maior ajustamento para a qualidade a nível visual, numero de threads2, API3 e de áudio.
Existe a versão com maior custo versão profissional, que inclui serviços de script e suporte técnico, e é
composta por 6 módulos de testes mas com um custo muito elevado de aproximadamente
850.00€.[5][7]

6.3 CPU-M

Esta ferramenta faz testes de forma exaustiva, pois vai analisar todos os componentes e respetivas
partes desses componentes, para se poder obter o resultado do teste de forma rápida não é uma tarefa
fácil, no entanto é completamente free, sem custo para o utilizador, trata-se de uma ferramenta leve
para sistemas leves ou pesados, é de fácil entendimento, pois mostra separadores de fácil acesso e
entendimento.

Mesmo tratando-se de uma ferramenta com grande usabilidade, existem algumas falhas que poderemos
mencionar como por exemplo com a interface e documentação de ajuda e quando estamos a instalar o
programa existe a forte probabilidade de se instalar adware4, temos de estar bastante atentos para evitar
esta tentativa de intrusão.[5][8]

6.4 Antutu Benchmark

É uma ferramenta que permite testar o tempo de resposta dos vários componentes de hardware de um
telemóvel, como a CPU, RAM, I/O, GPU, cada item é testado individualmente é-lhe atribuído uma
cotação, que permite comparar com outras classificações que foram recolhidas na base de dados do
fabricante.

AnTuTu benchmark é a App de benchmark mais popular para smartphones e tabletes do sistema Android
no mundo. Em baixo imagens da analise de um smartphone.[9]

2
Threads-linha ou encadeamento de execução, forma de um processo dividir a si mesmo em duas ou mais tarefas que podem
ser executadas concorrencialmente, uma thread permite que um utilizador utilize uma funcionalidade do ambiente enquanto
outras linhas de execução realizam outos cálculos e operações
3
API-Interface de programação de aplicações, conjunto de rotinas e padrões estabelecidos por um software para a utilização
das suas funcionalidades por aplicativos que não pretendem envolver-se em detalhes da implementação de software mas
apenas usar os seus serviços
4
Adware- é qualquer programa de computador que executa automaticamente e exibe uma grande
quantidade de anúncios sem a permissão do utilizador. As funções do adware servem para analisar os locais de Internet que
o utilizador visita e lhe apresentar publicidade pertinente aos tipos de bens ou serviços apresentados lá.
 9

Foi analisado um smartphone da marca thl 5000 e foi

comparado com um samsung Galasy S7 Edge, podemos
verificar que o segundo em todos os aspetos é muito superior
ao thl.

Figura 4-Análise de um smartphone

6.5 Aida64

Trata-se de uma ferramenta que permite testar e diagnosticar o tempo de resposta da CPU, dimensões e
densidade em pixéis do ecrã, assim como motorização da temperatura e nível da bateria, utilização da
RAM e I/O, GPU. É compatível com todas as versões Microsoft desde o Windows 95 ás mais recentes,
exibe informações sobre todos os dispositivos de hardware, programas instalados e desempenho de
componentes. Executa uma analise extensa e detalhada do sistema, exibe essa análise numa estrutura de
arvore, inclui módulos de identificação de hardware, de diagnostico e conjunto muito completo de testes
de desempenho. [10]

6.6 web.basemark.com

É uma ferramenta de análise que consta de uma versão em HTML5, multiplataforma, sendo assim não
é necessário existir instalação no PC, testa a performance do browser face á interpretação do CSS,
HTML5, tempo de abertura de página, capacidade de alteração de tamanho de imagem.[11]
 10

6.7 Database Benchmark

A grande maioria de motores de base de dados pagos já tem ferramentas incluídas que permitem verificar
o consumo de recursos de hardware, quer sejam eles CPU, RAM, I/O, entre outros, estas ferramentas
permitem diagnosticar, mas não permitem comparar com outros sistemas relacionais, permite ainda
identificar se existe problemas com as tabelas de índice, coerência de informação e espaço das tabelas.

Existem ainda algumas ferramentas de benchmarks orientadas para base de dados que submetem o
sistema a uma carga de stress por forma a simular o sistema para uma determinada resposta.(SQL Server
Benchmark tools and stress testing tools).[12]

7 Conclusão

Pela informação recolhida na internet, ficamos com a sensibilidade de cada vez existe uma maior
preocupação em analisar se existe um pico de processamento ou de outro recurso que possa comprometer
a funcionalidade do sistema, seja ele de hardware ou de software.
Encontramos nalguns dos produtos mencionados anteriormente licenciamentos que vão desde um
computador pessoal a um licenciamento mais vasto dirigido para grandes empresas ou instituições
governamentais.
Assim concluímos que possuir um bom software de testes e análise é sem duvida algo fundamental.

8 Referencias

[1] Edson Pedro Ferlin (2012, Novembro). Os programas de testes de desempenho Benchmarks.
disponível em : http://professorferlin.blogspot.pt/2012/10/os-programas-de-teste-de-desempenho.html

[2][3] Wikipédia. A enciclopédia livre. (Novembro).Benchmark Computação.disponivel em:

https://pt.wikipedia.org/wiki/Benchmark_(computa%C3%A7%C3%A3o)

[4]Storage review.(Dezembro). VMware VMmark Virtualization Benchmark, disponível em:

http://www.storagereview.com/vmware_vmmark_virtualization_benchmark

[5]pplware no comments. (Novembro). Conheça as melhores ferramentas de Benchmarking. Disponível

em : https://pplware.sapo.pt/microsoft/windows/conheca-as-melhores-ferramentas-de-benchmarking
 11

[6]Futuremark.(Novembro).PCMark8.The complete benchmark for Windows.disponivel em:

http://www.futuremark.com/benchmarks/pcmark8

[7]Catzilla (Novembro)Catzilla. disponível em: http://www.catzilla.com/

[8]CPU-M Benchmark 1.4. (Novembro). disponível em: http://cpu-m-

benchmark.software.informer.com/1.4/

[9] Antutu Benchmark. (Dezembro). disponível em:

https://play.google.com/store/apps/details?id=com.antutu.ABenchMark&hl=pt_PT

[10]Ecured Conocimiento com todos y para todos. (Dezembro). disponível em:

https://www.ecured.cu/Aida64

[11]BaseMark. (Dezembro).disponivel em: https://web.basemark.com/

[12] The Open Source Database Benchmark. (Dezembro).disponivel em: http://osdb.sourceforge.net/