Manipoliamo il benchmark Antutu con un frigo e un po’ di motivazione
18.12.2018
Traduzione: Leandra Amato
Lo standard del benchmark Antutu è completamente inutile. È pieno di bug e contraddizioni. In questo articolo, ti faccio un esempio e ti mostro un’analisi del problema utilizzando un frigorifero.
L'applicazione Antutu Benchmark e la sua sorella Antutu 3D Bench sono considerate lo strumento di benchmarking standard per testare le prestazioni degli smartphone. Antutu testa il tuo smartphone sotto tutti gli aspetti, comprese le prestazioni grafiche, la velocità di scorrimento e l'intelligenza dell’analisi delle immagini. Il risultato viene espresso in un numero a sei cifre, ad esempio: «Il tuo smartphone ha ottenuto un punteggio di 265 852».
Il problema è che questi punteggi sono manipolabili con estrema semplicità.
Ecco perché ho deciso di mettere Antutu alla prova e mostrarti come puoi manipolare i dati in modo che l'app ti dia numeri significativamente più alti. Ho confrontato il telefono da gaming Phone Xiaomi Black Shark con se stesso. Aggiungerò anche alcuni numeri di riferimento del Huawei Mate 20 Pro, perché le differenze la dicono lunga.
Il set-up: i due telefoni testati
Il telefono deve eseguire molte applicazioni? Il WiFi è acceso o spento? Questi fattori, tra gli altri, influiscono sul punteggio finale. In sostanza: più cose deve elaborare il telefono in background, peggiore sarà il punteggio nel benchmark Antutu. Oppure no. Perché c'è un altro problema. Il sito ufficiale Antutu non fornisce alcuna informazione sui fattori che possono influenzare i risultati del test. Si limita ad affermare che Antutu è «the most professional benchmark» e noi dobbiamo fidarci sulla parola.
Ecco perché abbiamo testato i nostri due telefoni in circostanze molto diverse.
Xiaomi Black Shark
Iniziamo con lo Xiaomi Black Shark, che è stato appena formattato. È lo smartphone su cui manipolerò i punteggi del test, e lo farò nel modo più semplice possibile. Nella lista dei punteggi più alti di Antutu, il Black Shark è attualmente al 7° posto con un punteggio globale di 291 099, perché Antutu registra i risultati ottenuti da tutti gli utenti e poi calcola – sempre senza fornire i dettagli o la metodologia – un punteggio totale come riferimento globale.
Huawei Mate 20 Pro
Secondo Antutu, il Mate 20 Pro di Huawei è attualmente il primo in classifica con un punteggio globale di 305 437. I primi tre posti sono occupati dal Mate 20 Pro, dal Mate 20 e dal Mate 20 X, tutti smartphone dotati del System-on-a-Chip (SoC) Kirin 980. La cosa è interessante, considerato che il SoC viene fornito con due unità di elaborazione neurale (NPU). Queste due NPU non fanno altro che consumare più risorse di sistema per applicazioni di cui spesso hai bisogno. In teoria, più spesso avvio Antutu, più alto sarà il punteggio. Tuttavia, l’esperienza ci dimostra che questa strategia funziona solo su un periodo di tempo più esteso e non dopo tre test fatti in modo abbastanza casuale un venerdì mattina.
Veniamo al telefono. Il Mate 20 Pro è già in uso. Applicazioni come Instagram, e-mail o WhatsApp si sincronizzano in background. Il WiFi è disattivato, i dati mobili sono attivi.
Via al test
Prima di iniziare a manipolare il test, devo sapere di che pasta è fatto il Black Shark. Avvio Antutu tre volte di fila mentre sono alla mia postazione di lavoro e in una sala riunioni. I punteggi:
- 227 410
- 224 099
- 220 689
Nel grafico vedo una diminuzione lineare. Attenzione, il grafico è nello stile del partito nazionalista-conservatore svizzero UDC: ho oscurato l'intervallo da 0 a 220 000, in modo che le fluttuazioni siano visivamente il più marcate possibile. Questo vale anche per gli altri elementi grafici di questo articolo. Alla fine, ne è risultato un quadro in cui il Mate 20 Pro perde con grande e imbarazzante distanza.
Il test è rallentato dalla temperatura del dispositivo, perché più si scalda il tuo smartphone, più girano i sistemi di raffreddamento. Il tuo compito è quello di assicurarti che il telefono non vada in fiamme mentre lo spremi per il test. Poiché la potenza porta a un aumento della temperatura, viene strozzata fino a quando il dispositivo ha raggiunto di nuovo una temperatura accettabile.
La temperatura
La manipolazione più semplice da eseguire è quella della temperatura. Quando raffreddo uno smartphone, poi posso stressarlo più a lungo prima che il sistema di raffreddamento ne riduca la potenza. Così metto il Black Shark in un sacchettino di stoffa e poi lo infilo in un frigorifero. Dopo 30 minuti riavvio Antutu.
Il punteggio: 284 089
Grazie al trucco del raffreddamento esterno con il frigo, secondo Antutu, il telefono è diventato il 24 per cento più veloce o più efficiente.
Vediamo se riesco a portarlo all’estremo. Rimetto il Black Shark nel sacchettino, poi nel vano freezer. Il punteggio 30 minuti dopo: 285 853. Sembra quindi che le prestazioni del sistema si mantengano allo stesso livello se sono al di sopra di una certa temperatura, oppure che le prestazioni dell'hardware raggiungano l’apice a metà dei 280 000.
Naturalmente, il raffreddamento estremo influisce sulla durata della batteria del Black Shark, ma Antutu non tiene conto del fatto che consumo il 60% della batteria in un'ora.
Con l'aumento della temperatura, cioè dopo aver effettuato tre test subito dopo il vano freezer a temperatura ambiente, il punteggio torna alla normalità.
I valori in dettaglio:
- 227 410
- 224 099
- 220 689
- 284 089
- 285 853
- 283 702
- 250 820
- 230 541
Il Mate 20 Pro scende sotto i 200 000
Per il Huawei Mate 20 Pro non è facile. Lo testo solo a temperatura ambiente. Premo «Test Again» appena è terminato il test precedente. Il Huawei si scalda sempre di più e cinque test più tardi il punteggio scende al di sotto dei 220 000.
Il punteggio: 199 911.
I risultati del test in dettaglio:
- 260 886
- 247 398
- 242 193
- 221 842
- 199 911
Le domande aperte
A questo punto è ovvio che Antutu sia poco utile come strumento benchmark. Il problema più grave dell'applicazione è che la metodologia di determinazione del punteggio globale non è trasparente. Se si tratta di un valore medio, allora devono essere effettuati test con valori astronomici. Per esempio, dopo aver terminato il test, il Mate 20 Pro ha inviato il punteggio di 199 911 ottenuto ad Antutu. È una condizione che accetti quando scarichi l’app sul telefono. Il punteggio globale è 305 437, il che significa che almeno un test ha dovuto dare un punteggio di 410 963. O un milione di test da circa 306 000. Antutu elimina i punteggi bassi o normalizza in qualche modo la temperatura del sistema matematicamente? Lo sviluppatore dell’app non lo comunica.
Manipolare i risultati è troppo facile. Se riesco a tirare fuori il 24 per cento di potenza in più mentre vado alla macchina del caffè, allora c'è qualcosa che non va nel benchmark. Se posso abbassare artificialmente un punteggio semplicemente ripetendo un test, allora il test non vale molto.
E, per finire, creare grafici distorti è facilissimo. Non solo ho qui ritagliato delle aree nella parte superiore dei grafici, ma ho anche usato colori che possono far sottintendere messaggi specifici. Il rosso, soprattutto, è associato ad avvertenze e pericoli. La mia scusa per scegliere i colori: sono compatibili con i colori digitec. Proprio come il partito politico, posso dire: «Se ci vedi qualcosa sotto, è un problema tuo».
Poi c'è la faccenda dei punteggi globali. Anche con la mia metodologia del frigorifero, che già considero eccessiva, non ho raggiunto un valore superiore o vicino al punteggio globale di 291 099. Come l’ha calcolato quindi Antutu? In quali circostanze potrebbero essere stati prodotti quei punteggi, se i miei test riescono a farne a malapena 284 000?
Il test mi porta alla sobria consapevolezza che i parametri di riferimento non sono così semplici come pretendono di essere e che un numero facilmente leggibile non deve necessariamente essere significativo. Ma al momento non abbiamo un'alternativa migliore.
Perciò questo è quanto. Stai attento e prendi tutto con le pinze.
Giornalista. Autore. Hacker. Sono un contastorie e mi piace scovare segreti, tabù, limiti e documentare il mondo, scrivendo nero su bianco. Non perché sappia farlo, ma perché non so fare altro.
Smartphone
Segui gli argomenti e ricevi gli aggiornamenti settimanali relativi ai tuoi interessi.
13 commenti
later