Nous utilisons des cookies sur nos sites web. Des informations sur les cookies et sur la manière dont vous pouvez vous opposer à leur utilisation à tout moment ou mettre fin à leur utilisation sont disponibles dans notre Déclaration de protection des données.

3 min de lecture 27 Commentaires

La belle affaire, Huawei triche sur les benchmarks... et alors ?!

La triche est quelque chose que l'on peut voir à l'école... et dans les entreprises technologiques. Voilà déjà un moment que le problème est connu : certaines entreprises optimisent leurs appareils pour obtenir de meilleurs scores sur les tests benchmarks. Cette fois, c'est Huawei qui a été démasqué. Et maintenant ?

Les experts d'Anadtech sont de véritables pro pour tout ce qui est puces, processeurs et tests en laboratoire. Ils ont récemment découvert que Huawei et Honor trafiquent leurs smartphones, améliorant les performances et accélérant les smartphones lorsqu'une application de benchmark est détectée. Anandtech a confronté Huawei à ces résultats et le fabricant ne décline pas les accusations, bien au contraire.

L'explication, ou plutôt l'excuse, qu'a livré Huawei, est la suivante : tout le monde le fait, surtout les concurrents de Chine. En restant honnête, il n'est donc pas possible d'arriver à gagner l'attention des clients. 

C'est peut-être vrai, mais au moins il faut éviter de se faire prendre, ce n'est pas Volkswagen qui dira le contraire. Mais dans une perspective purement pragmatique, Huawei a raison : tricher sur les benchmarks est une pratique courante dans le milieu et la plupart le font sans se faire prendre.

Tout le monde triche... mais tout le monde perd

Cette situation me rappelle quelque peu le sport à haut niveau. Prenons comme exemple le Tour de France : énormément de sportifs prennent des produits dopants, ce qui détruit non seulement la conception que l'on a du sport mais aussi rend la compétition injuste car, dans l'absolu, toutes les équipes n'ont pas les moyens de faire la même chose.

Je parle ici du Tour de France mais nous pourrions prendre énormément d'autres exemples. Ce genre de situation nuit à l'image du sport, voire même le redéfinisse. En revanche, au niveau des benchmarks cela m'est égal puisqu'aucun fabricant n'essaye de se distinguer. En bref, Huawei est tout sauf seul.

wikipit benchmarks2
La valeur des benchmarks est relative. © AndroidPIT

Sans standards et sans contrôle, que valent les tests ?

Ces tests donnent bien évidemment un aperçu du potentiel du smartphone et permettent de comparer les différents appareils. Ceci dit, tant que ces tests ne sont pas standardisés et, d'une manière ou d'une autre, contrôlés, ils ne représentent que l'un des nombreux indicateurs sur la qualité d'un smartphone et de ces performances. La valeur des scores est donc à prendre avec des pincettes, puis après tout, une centaine de points de plus ou de moins ne font pas une grosse différence.

D'ailleurs, peu importe la valeur des benchmarks si au quotidien le smartphone montre des signes de faiblesse car les clients et les testeurs sauront vite les trouver. C'est la réalité qui compte et sur ce point aucun record sur les benchmarks n'est susceptible de faire une différence. Ils ont beau tous tricher, nous découvrirons si le smartphone est rapide ou non.

Que pensez-vous des benchmarks ? Prenez-vous leurs valeurs en compte avant d'acheter un smartphone ?

27 Commentaires

Ecrire un nouveau commentaire :
Tous les changements seront sauvegardés. Aucun brouillon n'est enregistré pendant l'édition

  • cdf depuis 3 mois Lien du commentaire

    Ce qui serait anormal dans cette société ça serait plutôt qu il ne triche pas..


    • J'ai envie de dire " toi, le Samsung fanboy tout sauf impartial... "...
      Bon, tu as compris, on accorde aucun crédit à tes lamentables commentaires...


      • Amusant, moi c'est en lisant ton commentaire que tu perds tout crédit.
        C'est comme pour la triche dans les benchmarks, tout le monde y perd...


  • Le "... ET ALORS" dans le titre mérite plus d'être approfondi, sinon ça donne l'impression que vous défendez cette triche.


    • C'est aussi ce qui m'avais frappé, d'après le site Nextinpact, 3Dmark a décidé de blacklister et supprimer les téléphones en question en se basant sur l'article de Anantech et après leur propre tests (Voir plus bas).
      Comme quoi il est tout de même important de mettre en lumière les tricheries volontaires et que , je trouve, la réponse 'et alors?' est une attitude assez surprenante de la part d'un site orienté mobile. (que mode et travaux s'en cogne je comprendrais). Pour déjà avoir eu un honor entre les mains je sais pertinemment qu'ils n'ont pas besoin de ce genre de triche pour nous vendre leur produit.

      Extrait de 'benchmarks.ul.com/news/ul-delists-huawei-phones-with-suspect-benchmark-scores' :
      Which models have been delisted?

      Based on our own testing, we have delisted the following models:

      Huawei P20 Pro
      Huawei Nova 3
      Honor Play

      Based on AnandTech's testing and reporting, we have also delisted:

      Huawei P20

      Delisted devices appear unranked, and without scores, at the bottom of our popular list of the best smartphones. 3DMark scores from delisted devices should not be used to compare models.


  • Pourquoi citer, ou rappeler le scandale de Volkswagen ?
    D'une part, ça commence à dater. D'autre part, le scandale a éclaté aux USA, qui jaloux de la position de numéro mondial de l'automobile du groupe, se devait de détruire cette notoriété. Cela n'excuse pas la tricherie bien sûr.
    Et enfin, d'autres scandales similaires ont depuis éclaté chez bon nombre de constructeurs automobiles, qu'ils soient américains, français, et j'en passe...


    • Tu ne serais pas fan de VW, toi ? Ça expliquerait ton pseudo :)


      • Pas un fan, non. Je ne suis fan de rien ni de personne d'ailleurs. Je crois que c'est pareil pour toi.
        J'aime bien mais sans plus.
        Pour mon pseudo, tu as trouvé ! Je suis (agréablement) surpris et impressionné. Peu de gens connaissent cette voiture.
        Respect, Emmanuel.


      • Je m'intéresse beaucoup aussi à l'automobile (même si perso je n'en ai pas :) et c'était le premier très haut de gamme de VW (pas hyper réussi d'ailleurs) avec le Touareg, alors... c'était plus un véhicule image pour démontrer leur maîtrise technique et le succès n'a pas eté au rendez-vous (trop grosse, trop lourde... et face aux Mercedes Classe, BMW Séries 7 et Audi A8 la concurrence est rude...)
        Une succession est dans les cartons (même si elle sera plus réservée à l'Allemagne et la Chine, plus friands de grosses limousines...) , si je ne m'abuse...


      • Tu as tout à fait raison. La Phaeton n'a pas rencontré un vif succès chez nous (Il paraît qu'il s'en vend 4 ou 5 par an). Le français qui a les moyens de mettre 90000 / 100000 € dans une voiture, veut que ça se voie, et que ça se sache. Donc il achètera Mercedes/Audi/BMW/...
        Mais en Allemagne, en Belgique, on en trouve beaucoup plus. Les mentalités sont différentes.


  • C'est plutôt l'aspect moral qui est triste. Sinon il y a longtemps que je suis déniaisé avec la mauvaise foi ambiante de la presse spécialisée


  • Je suis assez d'accord sur le principe du 'en s'en fout des benchmarks', mais je comprends aussi l'article d'Anantech.
    pour ma part le 'Et alors?' est assez important dans votre titre et nécessiterait d'être un peu plus approfondit (...dans un article plus complet).
    - plusieurs choses notables, l'effet négatif de l'annonce sur la marque, à l'époque du galaxy S4, Samsung a été décrié pour désactiver les réductions de fréquences durant les tests de benchmark (de mémoire), ils ont compris la leçon et ont arrêtés de jouer avec les chiffres.
    Mais c'est avant tout une affaire d'honneur et de mentalité et là un monde sépare la mentalité coréenne de la mentalité chinoise.
    Je ne suis pas d'accord sur la réponse de Huawey consistant à dire : "d'autres trichent aussi alors il faut bien que l'on réponde", à cet argument il faut leur dire que certains ne trichent pas et que c'est ce comportement qu'il faut suivre. De plus cette 'triche' a été mise en place depuis le P20 (et tous les nouveaux téléphones huawey) plus palier à ses mauvais résultats en benchmark 3D (même face à son prédécesseur le Mate 10), Alors qu'auparavant il n'y en avait pas. Donc ce n'est pas parce que d'autres trichent mais bien pour palier une faiblesse.

    Autre point notable, huawey conçoit des processeurs (via sa filiale) et veut percer dans le milieu du microprocesseur pour vendre son kirin sur le marché, entre les Mediatech les Exynos et les snapdragon, difficile de pousser un nouveau processeur s'il n'apporte rien d'un point de vue prix, performance ou image de marque. Je vous laisse imaginer combien le service marketing interne de Huawey a du pousser les ingénieurs et les codeurs pour faire booster leur kirin face à la concurrence.
    même si vous même, en fin connaisseur, n'êtes pas dupes des chiffres des appareils et savez que des optimisations sont appliquées pour gonfler les chiffres, il n'en demeure pas moins que l'acheteur lambda regardera les résultats publiés sur les articles de tests sans réfléchir, dans ce cas c'est à la profession de mettre des gardes fou ou de modifier ses tests pour mesurer en conditions réelles (comme pour l'industrie des cartes graphiques par ex).
    - Autre point qui me semble assez crucial a noter, les mesures effectuées par Anantech et les conséquences non anodins de la modification effectuée par Huawey sur le téléphone, Je pense qu'on a ici passé un cap dans la tricherie (comme pour volkswagen et son diesel)
    on parle tout de même d'un bond de 50 à presque 100% de performance selon que la détection de benchmark soit activée ou non (selon le téléphone testé).
    www.anandtech.com/show/13318/huawei-benchmark-cheating-headache/2
    on ne parle pas ici de gagner 5 ou 10 fps mais de passer de 82 à 126 FPS !!!!!!
    et malheureusement pour nous, cela ne se fait pas sans incidence sur la durée de vie du portable ainsi testé. pour pouvoir booster ainsi les performance, non seulement le téléphone est poussé à ses derniers retranchements, il est également ôté de ses protections contre la surchauffe et bénéficie d'un boost de consommation énergétique qui , selon anantech , n'est pas sans incidence sur la durée de vie du proc et surtout de la batterie, passant de 4W à 8W de consommation énergétique le temps du test :
    Honor Play (Kirin 970) BM Detection Off 66.54FPS 4.39W 15.17 fps/W
    Honor Play (Kirin 970) BM Detection On 127.36FPS 8.57W 14.86 fps/W
    J'ai envie de dire que, fort heureusement, le P20 Pro est moins boosté que l'entrée de gamme ou le P20 'normal' mais c'est peut être simplement que bénéficiant d'une fréquence de base plus élevée, l'enveloppe thermique restreint ce genre de manipulation.
    En regardant les scores mesurés par Anantech sur des versions de benchmarks non détectés par les firmware de huawey on aperçoit le positionnement du kirin sur la partie 3D :
    www.anandtech.com/show/13318/huawei-benchmark-cheating-headache/3
    Mais cela n'enlève pas les qualité intrinsèques du processeur en condition normale (lecteur vidéo, enregistrement, cacluls IA pour la photographie, efficacité énergétique etc...), pserso je me fout bien que le jeu soit à 60 ou 120fps tant qu'il est fuide.

    En conclusion, je ne pense pas que l'on doit s'en foutre, ce serait comme de dire, Volkswagen triche, et alors?
    C'est aux sites de dénoncer ces pratiques, pour éviter justement que cela devienne une norme , quand bien même on ne se fierait pas aux scores des benchmarks, moi le premier. Et surtout pour éviter que cela soit effectué comme ici, au détriment de l'appareil et donc de son acheteur.
    Et vous trouvez-vous normal la réaction de Huawey ?


  • Huawei triche ?! Mais c'est pas nouveau !
    Et ce ne sont pas les seuls non plus !


  • toti depuis 3 mois Lien du commentaire

    Triche ou pas je me bat j'aime Huawei p20 pro 😍 point barre.


  • Bonjour,
    Triche ou pas, vu mon utilisation quand je sais déjà que j'ai le dernier soc à la mode, le reste n'est pas très important, par contre je voudrais dire à cette bande de charlatans, y compris les grands testeurs, de faire un petit effort en indiquant les fréquences disponibles sur ces petites merveilles qui sortent à la cadence de 5 à la semaine et on fini par se faire entuber...


    • Ce n'est pas avoir le denier SoC " à la mode " qui est important, mais celui qui est adapté à tes besoins et usages, jeune padawan :)
      Retiens bien cette leçon...
      En ce qui concerne les infos sur les SoC, les smartphones, tu trouves tout sur Internet, il faut juste se donner un peu de mal (le jeu en vaut la chandelle ; mieux tu seras informé, moins tu te feras arnaquer)
      Ah, ces jeunes ! :(


  • Entre ça (et, franchement, oui, il y a beaucoup de fabricants qui trichent avec les benchmarks, ce n'est pas nouveau, on le sait déjà, même si ce n'est pas une raison, et à ce propos là, je leur donne tort à 100 %n, la raison que Huawei fournit est lamentable, même si au fonds je m'en fous car je ne me fie jamais aux benchmarks pour acheter un smartphone, un bon SoC de milieu de gamme suffit largement, j'en ai eu la preuve avec ma tablette au Snapdragon 625) et la fuite qui vient dé dévoiler que le futur Samsung Galaxy S10 ne sera compatible 5G uniquement qu'avec une version spéciale du S10 + (quitte à acheter un smartphone en 2019, autant en choisir un compatible 5 G pour ne pas avoir à le renouveler en 2020...), donc encore plus cher, moi j'ai vitre choisi qui est l'escroc :)
    Et je ne dédouane ni n'excuse Huawei en rien, que les choses soient claires ! (inutile de m'attaquer à ce propos, je le sens déjà venir...)


  • Luna depuis 3 mois Lien du commentaire

    Je ne les regarde surtout pas, je vomis cette dictature du :

    Plus performant= Plus meilleur= Plus cher = iPhone X
    = aïe, aïe, aïe, tu es toujours un aussi bon pigeon !!

Montrer tous les commentaires

Articles recommandés