Por que testes de hardware mostram resultados diferentes?

Muitas pessoas procuram reviews e resultados nos mais variados sites especializados com o objetivo de conhecer, ou mesmo comparar, informações relativas a componentes (seja memória RAM, placa de vídeo ou outro) para computadores destinados a jogadores.

Da mesma forma, é bastante comum achar informações divergentes, mesmo em sites confiáveis, o que muitas vezes leva o leitor a ter mais dúvidas do que respostas para um dos aspectos mais importantes: a quantidade de FPS (frames por segundo).

Temas como a influência das memórias e do overclocking (aumento da frequência de operação), comparativos entre placas de vídeo ou mesmo o quanto um processador pode melhorar no desempenho são motivo de intermináveis discussões.

Hoje, vamos tentar mostrar a vocês, de uma forma genérica, alguns detalhes que podem estar passando despercebidos e, dessa forma, fornecer dados para uma melhor avaliação do leitor.

Por que isso acontece?

Primeiro, é importante esclarecer que muitas vezes são utilizados métodos diferentes de análise pelos autores de reviews, o que, consequentemente, acaba levando a resultados diferentes.

Testes podem mostrar diferenças em função do aumento da frequência das memórias ou do processador (aumento de FPS) ou mesmo pela troca da CPU ou da placa de vídeo. Algumas análises relatam que tais alterações causam impactos significativos, outras revelam o oposto.

Na verdade, muitos fatores podem levar a esta diferença nas conclusões. Vamos conferir alguns dos tantos aspectos que causam impacto nos benchmarks.

Resolução

A resolução utilizada tem peso determinante nos testes. Em resoluções mais baixas, há grande influência do processador e das memórias na execução dos procedimentos.

Ao aumentar a resolução, aumenta-se também o “peso” no processamento na placa de vídeo para obtenção dos desejados FPS, mas alguns sites apontam este fator como “quase desprezível”, quando, na verdade, a história não é bem assim.

Se utilizarmos uma alta resolução e colocarmos um arsenal para suportar esse sistema (ao exemplo de um sistema composto de múltiplas placas gráficas), a importância do processador passa a ser ainda maior, pois do contrário haverá o tal “gargalo”, e este não conseguirá “empurrar” o sistema, causando quedas bruscas e ineficiência para sustentação dos FPS.

É importante ressaltar que nem todos os testes são feitos na resolução Full HD (que acreditamos ser a mais utilizada, mas alguns dados provam o contrário). De qualquer forma, é de suma importância pensar que nem sempre resoluções elevadas têm relevância para todos os jogadores, justamente porque algumas pessoas utilizam resoluções mais baixas.

É raro, mas também não se pode desconsiderar que alguns mais afortunados podem querer jogar em resoluções como 4K (3840x2160 pixels) ou 5760x1080 pixels, e para esses também é necessário prover informações.

Procedimentos para realizar os testes

Para testes com overclocking, é importante que sejam realizados procedimentos habituais aos mais experientes. Alguns cuidados que podem ser tomados:

• Desabilitar os estados de economia de energia (inclusive a proteção de tela)
• Utilizar o modo de Alto Desempenho no Windows
• Limpar arquivos temporários
• Desabilitar antivírus e aplicativos que possam causar queda de eficiência
• Desligar o update automático
• Desativar a restauração do sistema
• Desabilitar tudo o que for dispensável para o sistema operacional
• Reiniciar antes de rodar cada teste

Esses são apenas alguns dos processos mais importantes que podem causar “diferenças”, mas ainda existem outros. De forma geral, esses são os mais recomendáveis e que podem ser executados por quaisquer usuários comuns.

Outro procedimento de extrema importância é repetir os testes. Quanto maior a amostra de testes, maior será a precisão. Se corrermos um teste por duas vezes, será muito provável que os resultados obtidos sejam diferentes.

Assim sendo, um número maior de testes realizados nos levará a um resultado mais preciso e confiável. Alguns formadores de opinião ou reviewers que não se utilizam deste modo podem estar publicando resultados irreais (no caso, ocasionais).

Sabemos que não é fácil discernir testes que realmente foram executados de falsas simulações, mas o que queremos dizer é que qualquer um pode copiar informações de muitos testes, recheando um vídeo ou artigo com tabelas, alterando ou não para sua conveniência.

O ideal seria poder acompanhar todo o procedimento e a realização desses testes, mas imaginem quão demorados seriam. Como isso não é possível, recomendamos a busca por autores de reconhecida confiabilidade.

Drivers, filtros, modos de jogo etc.

Os drivers de vídeo podem causar alterações nos resultados, pois neles estão inclusos objetivos relacionados à qualidade e desempenho dos jogos. Muitas configurações podem ser realizadas nos painéis de controle, isso tanto no da NVIDIA quanto no da AMD.

No caso de um comparativo de placas de vídeo de diferentes marcas, é preciso levar em consideração que cada componente tem diferentes capacidades. A AMD, por exemplo, oferece como opção o desligamento do Tessellation, o que resulta em mais frames por segundo, mas menor qualidade.

Portanto devemos estar atentos ao que foi utilizado, pois filtros como o anti-aliasing podem causar uma grande diferença nos frames por segundo no seu jogo. Os modos, da mesma forma, usualmente chamados de “Ultra”, “Low”, “High” e “Medium”, devem ser comparados em situações similares.

Estando os modos e drivers ajustados de maneira adequada, os resultados passam a ser mais confiáveis. Um detalhe é que, às vezes, o driver de uma ou outra fabricante é mais “maduro” (melhor otimizado), trazendo benefícios para as placas. Em um comparativo de uma placa da NVIDIA e outra da AMD, a fabricante que estiver na frente nesse sentido será favorecida.

Jogos diferentes têm comportamento diferente

Talvez os motivos mais latentes de discussões sejam provenientes do desempenho de certos jogos, considerados verdadeiras “estrelas” por seu lançamento. Watch Dogs, Battlefield 4, Titanfall e outros caracterizam uma febre e fomentam a busca dos consumidores para componentes que possam executá-los em excelentes condições.

Os fabricantes, da mesma forma, para alimentá-los, trabalham incessantemente no desenvolvimento de drivers para atendê-los. Dessa forma, as fabricantes fazem acordos com os desenvolvedores, trazendo à tona uma competição paralela. De certo, alguns drivers e modelos de placas de uma fabricante favorecem sua aplicação com um jogo X, enquanto o de sua concorrente, de mesma forma, o fará com o jogo Y.

É bastante comum no comparativo entre placas de vídeo das marcas concorrentes verificar que uma placa pode vencer em determinados jogos e perder em outros, dando maior clareza para esse fato.

Outro fato muito relevante é que existem jogos que são mais — ou menos — dependentes do processador, fazendo com que certos testes tenham influências diferentes para análises relativas a ele. Por exemplo, em jogos como Starcraft 2 ou GTA IV, cuja influência é alta, a CPU terá um peso muito maior sobre o resultado, podendo causar divergências de informações, intencionalmente ou não.

Mundo Real x Benchmarks

Os benchmarks são ótimas ferramentas, que podem e devem ser levados em consideração para avaliação de dados. Testes como Sandra, Aida64, Cinebench, ATTO e outros conseguem fornecer informações sobre o desempenho dos componentes e do sistema.

Podemos dizer que, para testes de processamento (CPU), memória e armazenamento, esses programas são bastante eficientes. Agora, e quanto aos testes gráficos? Será que podemos confiar nos benchmarks 3D?

É claro que o mundo real (dos games) representa a situação absoluta do jogo, a qual o jogador vivencia no dia a dia, mas de maneira alguma devemos desconsiderar os benchmarks 3D como uma ferramenta auxiliar, e valiosa, para análise de desempenho.

Testes como o 3DMark e Unigine Heaven, por exemplo, possuem alta complexidade e gráficos detalhados em tempo real, mostrando valiosas informações. O último benchmark da Futuremark (Fire Strike) apresenta requisitos de jogos modernos e, desta forma, poupa o jogador de testar seu equipamento em vários games diferentes.

Geometria, tesselação, processamento de imagens e diferentes aplicações são executados, sem influência proveniente de otimizações de drivers ou parcerias. Também neste teste do 3DMark temos “de quebra” os resultados de processamento (CPU) e combinado (CPU + gráfico).

O que não se deve é mostrar isso de maneira errada. Não existe sentido em um comparativo sobre a influência do overclock em processador ou nas memórias considerar um resultado geral do 3DMark 11 ou do Fire Strike.

Obviamente ele será beneficiado pelos testes de processamento (CPU e combinado — misto CPU + GPU). O aumento na pontuação da parcela relativa à CPU terá muita influência, trazendo uma percepção irreal da realidade gráfica.

Isso pode trazer o “descrédito” do usuário no benchmark, por este não representar a sua realidade. Se feito de maneira correta, com objetivo de mostrar apenas a relação gráfica do overclock com os frames por segundo,deve ser avaliado apenas o “Graphics Score”, e não o resultado geral, e desta forma obter uma conclusão muito mais real.

Da mesma forma, determinar se existe ou não o aumento de frames modificando a frequência do processador não é tão simples. Os resultados se diferem conforme o modelo. Assim, um chip AMD FX6300 vai apresentar diferenças se comparado a um Intel Core-i7 4790k na hora de  empurrar uma poderosa placa de vídeo.

Logo, os benchmarks são ótimas ferramentas para simulação e análise de games que não devem ser consideradas como completas, tampouco perfeitas, mas sem dúvida elas têm importante peso nas análises.

Conclusões importantes

É certo que nada se compara, em termos de avaliação, às aplicações do próprio dono da máquina, o qual pode determinar, em função de sua utilização e de seu sistema, o caminho de sua busca.

Há uma série de variáveis na hora de dimensionar um sistema ou medir o desempenho, já que sua máquina pode ser bem diferente das que são testadas. Você pode estar montando um computador poderoso com três monitores ou estar cogitando investir em um computador com apenas uma tela. Tudo isso faz diferença e vai de acordo com as possibilidades (disponibilidade, ou melhor, bolso) do jogador.

Poderíamos imaginar um teste completo, realizado com inúmeros games, muitas resoluções em dezenas de componentes e situações diferentes para atender a todos, mas seria motivo para uma análise interminável.

Desta forma, nossa recomendação é que você fique atento aos detalhes que mostramos para buscar as informações da melhor maneira possível e filtrá-las, evitando confiar em resultados irreais. Existem muitos artigos confiáveis que trazem informações valiosas, mas, por outro lado, há muitos “pseudo” formadores de opinião espalhando “bobagem” por aí.

Texto por Ronaldo Buassali