Polemica do benchmarking da Qualcomm: entenda o que está acontecendo

DR

• A Qualcomm está enfrentando polêmica sobre suas afirmações de benchmarking para a nova série de processadores Snapdragon X.
• Um artigo afirma que a Qualcomm está “trapaceando” ao basicamente falsificar os resultados para fazer parecer que os chips são mais poderosos do que realmente são para os consumidores.
• A Qualcomm não tem sido totalmente transparente com seus métodos de teste, deixando poucas respostas definitivas sobre o que é preciso e o que não é.

Ontem, a Qualcomm revelou oficialmente o novo chipset Snapdragon X Plus.  Projetado para laptops Windows on Arm, o Snapdragon X Plus (e seu irmão mais poderoso, o Snapdragon X Elite) foi projetado para trazer aos usuários do Windows o que os usuários do macOS têm desfrutado desde o lançamento original dos chips da série M da Apple: poderosos, fan- menos laptops com bateria de longa duração.

Se você está apenas atualizando isso, recomendo fortemente assistir ao vídeo incorporado acima.  Dou muito contexto à série Snapdragon X e como ela pode mudar o cenário dos laptops Windows.

Infelizmente, nem todo mundo está tão entusiasmado com esses novos chips Snapdragon X quanto a Qualcomm.  Charlie Demerjian em Semipreciso escreveu recentemente um longo artigo de opinião afirmando que a Qualcomm está “trapaceando” quando se trata dos benchmarks promovidos do X Elite e X Plus.  Isso começou a se espalhar nas redes sociais e gerou uma conversa mais ampla sobre a Qualcomm, o Windows on Arm e a integridade desses chips.

Autoridade Android participou de vários eventos da Qualcomm que apresentavam acesso prático a máquinas Snapdragon X, então pensamos em entrar na conversa.  Aqui, quero discutir o que está acontecendo e o que podemos esperar quando as máquinas de varejo com chips Snapdragon X estiverem disponíveis.

Controvérsia sobre benchmarking da Qualcomm: alguns antecedentes

A maioria das pessoas que lêem isto está familiarizada com benchmarking, que envolve submeter o hardware a uma série objetiva de testes para determinar como ele se compara em várias métricas a outro hardware.  Se você conhece benchmarking, sabe que ele também pode ser manipulado para aumentar ou diminuir a pontuação.  Por exemplo, executar um benchmark de smartphone enquanto o telefone está sobre uma mesa quente sob luz solar direta provavelmente proporcionará um resultado ruim em comparação com executar o mesmo benchmark em uma geladeira.

Em outras palavras, apenas ter um número de referência não é tudo, especialmente se a pessoa que conduziu o benchmark deixou de fora detalhes cruciais sobre como ele foi obtido.

Durante todos os eventos do Snapdragon X Autoridade Android participa desde outubro de 2023, a Qualcomm teve muitos benchmarks para nos mostrar.  Como seria de esperar, todos eles mostram o Snapdragon X Elite e o X Plus circulando em torno de chipsets concorrentes, incluindo o M3 da Apple e os mais recentes chips Core Ultra da Intel.  Em todos os casos, a Qualcomm afirma que os processadores da série X são mais poderosos, mais eficientes em termos de bateria e melhores na condução de tarefas baseadas em IA.  No caso da Apple, em particular, isso é incrível quando você considera que a Apple já lançou três gerações de chips Arm prontos para o varejo, e a Qualcomm ainda não lançou nenhuma série X para o varejo.

A Qualcomm tem fornecido muitos benchmarks para a série X, mas não muitas respostas.

O problema, porém, é que a Qualcomm evitou repetidamente perguntas sobre como obteve esses benchmarks.  Em um evento que participei antes do lançamento do Snapdragon X Plus, a Qualcomm mostrou o quanto o chip é muito mais poderoso que o silício M3 da Apple.  Levantei a mão e perguntei ao apresentador qual era o poder de design térmico do chip (TDP) para ambas as máquinas usadas para este benchmark, já que a informação não estava no slide.  O apresentador não conseguiu responder e disse que entraria em contato comigo (o que não aconteceu).

Que eu saiba, o TDP do chip dos benchmarks Snapdragon X Elite/Plus nunca foi divulgado a ninguém (lembre-se que o TDP do dispositivo e o TDP do chip são duas coisas diferentes).  Isto é um enorme problema porque uma disparidade significativa do TDP alteraria dramaticamente o pedigree do índice de referência.  Em outras palavras, se o laptop Apple M3 estiver rodando com seu TDP padrão de 20 W, mas o processador Snapdragon X estiver rodando a 80 W, os benchmarks não serão mais comparáveis.

Quando você combina isso com o fato de que a Qualcomm não permitiu nenhum teste totalmente independente da série X, você tem muito ceticismo sobre suas afirmações.  Mesmo quando comparamos o Snapdragon X Elite, foi um assunto muito tranquilo.  Só pudemos observar os benchmarks escolhidos pela Qualcomm acontecerem e não pudemos instalar outros aplicativos ou verificar detalhes sobre o dispositivo de benchmarking.

Resumindo, a Qualcomm tem uma atitude muito “confie em nós, mano” em relação às suas reivindicações para a série Snapdragon X.

Novas alegações de 'trapaça'

No mencionado anteriormente Semipreciso artigo, Charlie Demerjian afirma ter falado com fontes anônimas com inteligência direta sobre negócios internos da Qualcomm e OEM parceiros.  Entre muitas coisas afirmadas no artigo, aqui estão algumas citações notáveis:

• “Semipreciso está 100% confiante em dizer que alguns dos números que a Qualcomm estava exibindo [to press] não pode ser reproduzido com as configurações reivindicadas.”
• “Depois que os OEMs obtiveram amostras iniciais e fizeram algo próximo aos projetos finais, Semipreciso recebi relatos de mau desempenho.  Por ruim, queremos dizer muito abaixo de 50% dos números que a Qualcomm lhes dizia nos documentos técnicos e nas apresentações.”
• “Mais tarde, com mais amostras do Snapdragon X Elite disponíveis e muito mais revisões de [Windows on Arm], recebemos relatórios semelhantes de OEMs e outro nível 1. Ambos relataram números que não estavam nem perto do que a Qualcomm prometeu.  Como não fechar?  Acima de 50% desta vez, mas foi usado o termo “Celeron” para descrever o desempenho.”

Essencialmente, Demerjian afirma que a Qualcomm está usando benchmarks aprimorados para vender a série Snapdragon X não apenas para jornalistas, mas também para as empresas que fabricarão os laptops nos quais esses chips realmente aparecerão.

Infelizmente, Demerjian não tem nenhuma evidência concreta para mostrar essas afirmações.  A razão para isso é que Semipreciso “facilitou algumas questões entre OEMs e engenheiros da Qualcomm, que podem apontar para uma fonte se não tomarmos cuidado.”  Demerjian acrescenta: “o anonimato de nossas fontes sempre estará em primeiro lugar”.  Está tudo muito bem, mas Semipreciso está basicamente fazendo exatamente a mesma coisa que está criticando a Qualcomm: “confie em nós, mano”.

Nossa opinião e as declarações da Qualcomm

Para esta história, entramos em contato com a Qualcomm.  Quando questionado sobre Semipreciso artigo, a Qualcomm disse o seguinte:

Apoiamos nossas reivindicações de desempenho e estamos entusiasmados com o fato de os consumidores colocarem as mãos nos dispositivos Snapdragon X Elite e X Plus em breve.

Quando questionado sobre sua metodologia de teste, disse:

Nossos benchmarks são medidos no modo AC (carregador de parede conectado) e no modo Balanceado (padrão em dispositivos de varejo).

Notavelmente, quando perguntamos sobre o chip TDP, ele nos indicou uma coleção de materiais de imprensa que não continham essa informação.  Essa parece ser a única coisa que a empresa não conta a ninguém por qualquer motivo.  Com esta falta de informações oficiais, só podemos assumir que o TDP do chip deve ser alto – pelo menos superior aos 20W da Apple.  Afinal, se fosse 20 W ou menos, a Qualcomm provavelmente contaria abertamente a qualquer pessoa que desejasse essa informação.

Embora não possamos responder definitivamente à questão do TDP no momento, podemos dar uma prévia do que esperar dos chips da Qualcomm nesta área.  Graças a freqüentes Autoridade Android colaboradora Kamila Wojciechowska, temos alguns benchmarks vazados de várias máquinas Snapdragon X, sobre os quais você pode ler no link.  A coisa toda é realmente interessante, mas a essência é que a máquina Snapdragon X Elite topo de linha tem um TDP bastante alto à medida que aumenta o clock.  Os outros modelos Elite e Plus estão mais próximos do M3 Pro e M2 da Apple, embora talvez ainda sejam um pouco mais altos no consumo de energia.

Voltando às nossas perguntas sobre a Qualcomm, também perguntamos à empresa quando poderíamos testar laptops prontos para varejo com processadores Snapdragon X, mas ela disse que não poderia compartilhar informações sobre os planos de seus parceiros OEM.  Em seguida, disse: “produtos com Snapdragon X Elite e nosso novo Snapdragon X Plus serão anunciados em meados de 2024”, informação que já tínhamos.

Pessoalmente, estou muito entusiasmado com a série Snapdragon X.  Mesmo que as afirmações de benchmarking da Qualcomm acabem sendo falsificadas - ou mesmo mentiras descaradas - a possibilidade de usar um poderoso laptop Windows que consome bateria é muito atraente para eu rejeitar completamente.  Mesmo que um MacBook supere em todas as métricas, se eu puder usar um laptop Snapdragon X para escrever um artigo, editar um vídeo e jogar Baldur's Gate 3 em uma viagem de avião com bateria o tempo todo, comprarei um instantaneamente.  Os números em uma página não importam tanto para mim quanto a experiência do mundo real.

Descobriremos toda a verdade em apenas algumas semanas, pois esperamos que a Microsoft revele um laptop Surface rodando um chip Snapdragon X em maio para lançamento em junho.  Assim que o laptop estiver disponível, os primeiros benchmarks promovidos pela Qualcomm resistirão ao escrutínio mais rigoroso.  Se os benchmarks coincidirem, então Charlie Demerjian e outros precisarão comer o que querem.  Se faltarem benchmarks, bem… A Qualcomm terá que lidar com uma montanha de críticas negativas, colocando o sucesso futuro da série Snapdragon X (e, consequentemente, do Windows on Arm) em sério risco.

Comentários