3DMark, un logiciel de benchmark a supprimé de ses résultats quelques-uns des smartphones de Huawei. La raison ? L’entreprise chinoise les aurait programmés pour détecter l’utilisation d’un benchmark et ainsi tromper les véritables capacités des téléphones. Comme cela a été le cas avec les appareils d'autres fabricants, les Huawei P20, P20 Pro, Nova 3 et Honor Play ont augmenté leurs performances lorsque les logiciels de benchmarking étaient en cours d'exécution. Fait intéressant, Huawei n’a pas nié les accusations portées contre lui.
La tricherie a été mise au jour plus tôt cette semaine par AnandTech. Le site a noté des irrégularités dans les résultats de benchmarking :
« Dans le cadre de notre analyse de comparaison de téléphone, nous utilisons souvent des tests de puissance et de performance supplémentaires sur nos benchmarks. En testant les nouveaux téléphones, Honor Play a eu des résultats étranges. Par rapport aux appareils Huawei P20 testés plus tôt dans l’année, qui ont le même SoC, les résultats étaient également un peu moins bons et tout aussi étranges.
« Dans notre revue P20, nous avions noté que les performances du P20 avaient régressé par rapport au Mate 10. Comme nous avions rencontré des problèmes similaires sur le Mate 10 qui avaient été résolus avec une mise à jour du micrologiciel, nous ne nous sommes pas trop étendus sur le sujet et nous avons décidé de nous concentrer sur d'autres parties de la revue.
« Après quelques tests, ce que Huawei et Honor semblaient faire est devenu évident : les nouveaux appareils sont dotés d'un mécanisme de détection de benchmarking qui permet une limite de puissance beaucoup plus élevée pour le SoC avec un système thermique beaucoup plus généreux. En fin de compte, sur certaines applications en liste blanche, le périphérique est très performant par rapport à ce que l’utilisateur peut attendre d’autres titres similaires qui ne sont pas dans la liste blanche. Cela consomme de l'énergie, réduit l'efficacité de l'unité et réduit la durée de vie de la batterie ».
« Cela semble assez flagrant quant à ce que Huawei et, apparemment, Honor avait fait: les nouveaux appareils sont dotés d’un mécanisme de détection de référence En fin de compte, sur certaines applications figurant sur la liste blanche, l’appareil est très performant par rapport à ce que les utilisateurs peuvent attendre d’autres titres similaires, ce qui consomme de l’énergie, réduit l’efficacité de l’unité et réduit l’autonomie de la batterie ».
UL, la société derrière le logiciel de benchmarking 3DMark, a étudié les choses et a constaté que l'utilisation d'une version « privée » de 3DMark donnait des résultats très différents de ceux de la version de l'application trouvée dans Google Play. La société a déclaré :
« Nous avons constaté que les scores de l'application publique 3DMark étaient jusqu'à 47% supérieurs aux scores de l'application privée, même si les tests sont identiques. Avec l'application publique 3DMark, ces appareils semblent utiliser un “mode de performance” masqué qui remplace le profil d'alimentation habituel des périphériques. La différence dans les scores nous indique que les appareils reconnaissent simplement l’application 3DMark par le nom plutôt que de s’adapter au type de travail dans le test ».
Comme ce type d'activité est contraire aux règles d'UL, la société a déclaré « Nous avons décidé de supprimer les noms des modèles concernés et de les retirer de notre classement des performances ».
Sur la base de ses propres tests, UL a supprimé les modèles suivants :
- Huawei P20 Pro
- Huawei Nova 3
- Honor Play.
Sur la base des tests de AnandTech, UL a supprimé également le Huawei P20.
Huawei a publié la déclaration suivante :
« Huawei privilégie toujours l'expérience utilisateur plutôt que de rechercher des scores de benchmark élevés, d'autant plus qu'il n'y a pas de lien direct entre les tests effectués sur les smartphones et les expériences utilisateur. Les smartphones Huawei utilisent des technologies avancées telles que l'IA pour optimiser les performances du matériel, notamment du processeur, du GPU et de la NPU.
« Lorsque quelqu'un lance une application de photographie ou joue à un jeu graphique, le logiciel intelligent de Huawei crée une expérience utilisateur fluide et stable en appliquant toutes les fonctionnalités du matériel tout en gérant simultanément la température et l'efficacité énergétique de l'appareil. Pour les applications moins gourmandes en énergie que la navigation sur le Web, elles n'alloueront que les ressources nécessaires pour fournir les performances requises.
« Dans les scénarios de benchmarking normaux, une fois que le logiciel de Huawei reconnaît une application de benchmarking, il s’adapte intelligemment au “mode performance” et fournit des performances optimales. Huawei prévoit de fournir aux utilisateurs un accès au "Mode Performance" afin qu'ils puissent utiliser la puissance maximale de leur appareil quand ils en ont besoin.
« Huawei, en tant que leader du secteur, est prêt à travailler avec des partenaires pour trouver les meilleures normes d'évaluation qui puissent évaluer avec précision l'expérience utilisateur ».
Sources : AnandTech, UL
Et vous ?
Qu'en pensez-vous ? Ce « mode performance » peut-il s'apparenter au mode utilisé par Volkswagen pour contourner les tests d'émission de gaz ? Dès lors qu'il est disponible au public, peut-on encore parler de tricherie ? Pourquoi ?Voir aussi :
Huawei réussit également à s'imposer comme second vendeur de smartphones au 2T18 en Europe, malgré un essoufflement dans la région EMEA IDC : les ventes de tablettes sont toujours en baisse en Europe au second trimestre, mais Apple et Huawei affichent de la croissance IDC : Huawei détrône Apple en livrant plus de smartphones au second trimestre, et devient la deuxième marque de smartphones la plus populaire au monde VideoLAN bloque le téléchargement de VLC sur les derniers smartphones Huawei, car ils empêchent les apps tierces de fonctionner en arrière-plan 
