DR
- A Qualcomm está enfrentando polêmica sobre suas afirmações de benchmarking para a nova série de processadores Snapdragon X.
- Um artigo afirma que a Qualcomm está “trapaceando” ao basicamente falsificar os resultados para fazer parecer que os chips são mais poderosos do que realmente são para os consumidores.
- A Qualcomm não tem sido totalmente transparente com seus métodos de teste, deixando poucas respostas definitivas sobre o que é preciso e o que não é.
Ontem, a Qualcomm revelou oficialmente o novo chipset Snapdragon X Plus. Projetado para laptops Windows on Arm, o Snapdragon X Plus (e seu irmão mais poderoso, o Snapdragon X Elite) foi projetado para trazer aos usuários do Windows o que os usuários do macOS têm desfrutado desde o lançamento original dos chips da série M da Apple: poderosos, fan- menos laptops com bateria de longa duração.
Se você está apenas atualizando isso, recomendo fortemente assistir ao vídeo incorporado acima. Dou muito contexto à série Snapdragon X e como ela pode mudar o cenário dos laptops Windows.
Infelizmente, nem todo mundo está tão entusiasmado com esses novos chips Snapdragon X quanto a Qualcomm. Charlie Demerjian em Semipreciso escreveu recentemente um longo artigo de opinião afirmando que a Qualcomm está “trapaceando” quando se trata dos benchmarks promovidos do X Elite e X Plus. Isso começou a se espalhar nas redes sociais e gerou uma conversa mais ampla sobre a Qualcomm, o Windows on Arm e a integridade desses chips.
Autoridade Android participou de vários eventos da Qualcomm que apresentavam acesso prático a máquinas Snapdragon X, então pensamos em entrar na conversa. Aqui, quero discutir o que está acontecendo e o que podemos esperar quando as máquinas de varejo com chips Snapdragon X estiverem disponíveis.
Controvérsia sobre benchmarking da Qualcomm: alguns antecedentes
Robert Triggs / Autoridade Android
A maioria das pessoas que lêem isto está familiarizada com benchmarking, que envolve submeter o hardware a uma série objetiva de testes para determinar como ele se compara em várias métricas a outro hardware. Se você conhece benchmarking, sabe que ele também pode ser manipulado para aumentar ou diminuir a pontuação. Por exemplo, executar um benchmark de smartphone enquanto o telefone está sobre uma mesa quente sob luz solar direta provavelmente proporcionará um resultado ruim em comparação com executar o mesmo benchmark em uma geladeira.
Em outras palavras, apenas ter um número de referência não é tudo, especialmente se a pessoa que conduziu o benchmark deixou de fora detalhes cruciais sobre como ele foi obtido.
Durante todos os eventos do Snapdragon X Autoridade Android participa desde outubro de 2023, a Qualcomm teve muitos benchmarks para nos mostrar. Como seria de esperar, todos eles mostram o Snapdragon X Elite e o X Plus circulando em torno de chipsets concorrentes, incluindo o M3 da Apple e os mais recentes chips Core Ultra da Intel. Em todos os casos, a Qualcomm afirma que os processadores da série X são mais poderosos, mais eficientes em termos de bateria e melhores na condução de tarefas baseadas em IA. No caso da Apple, em particular, isso é incrível quando você considera que a Apple já lançou três gerações de chips Arm prontos para o varejo, e a Qualcomm ainda não lançou nenhuma série X para o varejo.
A Qualcomm tem fornecido muitos benchmarks para a série X, mas não muitas respostas.
O problema, porém, é que a Qualcomm evitou repetidamente perguntas sobre como obteve esses benchmarks. Em um evento que participei antes do lançamento do Snapdragon X Plus, a Qualcomm mostrou o quanto o chip é muito mais poderoso que o silício M3 da Apple. Levantei a mão e perguntei ao apresentador qual era o poder de design térmico do chip (TDP) para ambas as máquinas usadas para este benchmark, já que a informação não estava no slide. O apresentador não conseguiu responder e disse que entraria em contato comigo (o que não aconteceu).
Que eu saiba, o TDP do chip dos benchmarks Snapdragon X Elite/Plus nunca foi divulgado a ninguém (lembre-se que o TDP do dispositivo e o TDP do chip são duas coisas diferentes). Isto é um enorme problema porque uma disparidade significativa do TDP alteraria dramaticamente o pedigree do índice de referência. Em outras palavras, se o laptop Apple M3 estiver rodando com seu TDP padrão de 20 W, mas o processador Snapdragon X estiver rodando a 80 W, os benchmarks não serão mais comparáveis.
Quando você combina isso com o fato de que a Qualcomm não permitiu nenhum teste totalmente independente da série X, você tem muito ceticismo sobre suas afirmações. Mesmo quando comparamos o Snapdragon X Elite, foi um assunto muito tranquilo. Só pudemos observar os benchmarks escolhidos pela Qualcomm acontecerem e não pudemos instalar outros aplicativos ou verificar detalhes sobre o dispositivo de benchmarking.
Resumindo, a Qualcomm tem uma atitude muito “confie em nós, mano” em relação às suas reivindicações para a série Snapdragon X.
Novas alegações de ‘trapaça’
No mencionado anteriormente Semipreciso artigo, Charlie Demerjian afirma ter falado com fontes anônimas com inteligência direta sobre negócios internos da Qualcomm e OEM parceiros. Entre muitas coisas afirmadas no artigo, aqui estão algumas citações notáveis:
- “Semipreciso está 100% confiante em dizer que alguns dos números que a Qualcomm estava exibindo [to press] não pode ser reproduzido com as configurações reivindicadas.”
- “Depois que os OEMs obtiveram amostras iniciais e fizeram algo próximo aos projetos finais, Semipreciso recebi relatos de mau desempenho. Por ruim, queremos dizer muito abaixo de 50% dos números que a Qualcomm lhes dizia nos documentos técnicos e nas apresentações.”
- “Mais tarde, com mais amostras do Snapdragon X Elite disponíveis e muito mais revisões de [Windows on Arm], recebemos relatórios semelhantes de OEMs e outro nível 1. Ambos relataram números que não estavam nem perto do que a Qualcomm prometeu. Como não fechar? Acima de 50% desta vez, mas foi usado o termo “Celeron” para descrever o desempenho.”
Essencialmente, Demerjian afirma que a Qualcomm está usando benchmarks aprimorados para vender a série Snapdragon X não apenas para jornalistas, mas também para as empresas que fabricarão os laptops nos quais esses chips realmente aparecerão.
Infelizmente, Demerjian não tem nenhuma evidência concreta para mostrar essas afirmações. A razão para isso é que Semipreciso “facilitou algumas questões entre OEMs e engenheiros da Qualcomm, que podem apontar para uma fonte se não tomarmos cuidado.” Demerjian acrescenta: “o anonimato de nossas fontes sempre estará em primeiro lugar”. Está tudo muito bem, mas Semipreciso está basicamente fazendo exatamente a mesma coisa que está criticando a Qualcomm: “confie em nós, mano”.
Nossa opinião e as declarações da Qualcomm
Para esta história, entramos em contato com a Qualcomm. Quando questionado sobre Semipreciso artigo, a Qualcomm disse o seguinte:
Apoiamos nossas reivindicações de desempenho e estamos entusiasmados com o fato de os consumidores colocarem as mãos nos dispositivos Snapdragon X Elite e X Plus em breve.
Quando questionado sobre sua metodologia de teste, disse:
Nossos benchmarks são medidos no modo AC (carregador de parede conectado) e no modo Balanceado (padrão em dispositivos de varejo).
Notavelmente, quando perguntamos sobre o chip TDP, ele nos indicou uma coleção de materiais de imprensa que não continham essa informação. Essa parece ser a única coisa que a empresa não conta a ninguém por qualquer motivo. Com esta falta de informações oficiais, só podemos assumir que o TDP do chip deve ser alto – pelo menos superior aos 20W da Apple. Afinal, se fosse 20 W ou menos, a Qualcomm provavelmente contaria abertamente a qualquer pessoa que desejasse essa informação.
Embora não possamos responder definitivamente à questão do TDP no momento, podemos dar uma prévia do que esperar dos chips da Qualcomm nesta área. Graças a freqüentes Autoridade Android colaboradora Kamila Wojciechowska, temos alguns benchmarks vazados de várias máquinas Snapdragon X, sobre os quais você pode ler no link. A coisa toda é realmente interessante, mas a essência é que a máquina Snapdragon X Elite topo de linha tem um TDP bastante alto à medida que aumenta o clock. Os outros modelos Elite e Plus estão mais próximos do M3 Pro e M2 da Apple, embora talvez ainda sejam um pouco mais altos no consumo de energia.
Voltando às nossas perguntas sobre a Qualcomm, também perguntamos à empresa quando poderíamos testar laptops prontos para varejo com processadores Snapdragon X, mas ela disse que não poderia compartilhar informações sobre os planos de seus parceiros OEM. Em seguida, disse: “produtos com Snapdragon X Elite e nosso novo Snapdragon X Plus serão anunciados em meados de 2024”, informação que já tínhamos.
Pessoalmente, estou muito entusiasmado com a série Snapdragon X. Mesmo que as afirmações de benchmarking da Qualcomm acabem sendo falsificadas – ou mesmo mentiras descaradas – a possibilidade de usar um poderoso laptop Windows que consome bateria é muito atraente para eu rejeitar completamente. Mesmo que um MacBook supere em todas as métricas, se eu puder usar um laptop Snapdragon X para escrever um artigo, editar um vídeo e jogar Baldur’s Gate 3 em uma viagem de avião com bateria o tempo todo, comprarei um instantaneamente. Os números em uma página não importam tanto para mim quanto a experiência do mundo real.
Descobriremos toda a verdade em apenas algumas semanas, pois esperamos que a Microsoft revele um laptop Surface rodando um chip Snapdragon X em maio para lançamento em junho. Assim que o laptop estiver disponível, os primeiros benchmarks promovidos pela Qualcomm resistirão ao escrutínio mais rigoroso. Se os benchmarks coincidirem, então Charlie Demerjian e outros precisarão comer o que querem. Se faltarem benchmarks, bem… A Qualcomm terá que lidar com uma montanha de críticas negativas, colocando o sucesso futuro da série Snapdragon X (e, consequentemente, do Windows on Arm) em sério risco.