Warum Benchmarks irrelevant sind

Um die Ergebnisse von Benchmarks in die Höhe zu treiben, optimieren viele Hersteller ihre Geräte auf jene Leistungstests. Das verzerrt die reale Leistung der Geräte.

» Von Luca Diggelmann , 07.10.2013 18:50.

Benchmarks sind nicht die beste Methode, um als durchschnittlicher Nutzer eine Kaufentscheidung darauf aufbauend zu treffen. Diese Vermutung erhärtete sich in den letzten Wochen, nachdem bekannt wurde, dass die Mehrheit der Smartphone-Hersteller bei den Tests betrügen.

Der Trick dahinter ist simpel: Wird auf einem Android-Gerät eine Benchmark-App gestartet, entfernt das Gerät die Limitierung von CPU und GPU und erreicht so mehr Leistung als sonst. Der Nutzer merkt von dieser Leistung kaum etwas und tuckert auf einem gedrosselten Motor, deutlich unter den Benchmark-Werten weiter.

Samsung machte den Anfang

Erstmals flogen die gezinkten Karten der Hersteller bei Samsung auf. Bei Benchmarks des Galaxy S4 fiel auf, dass die Testwerte nicht mit der effektiven Leistung übereinstimmten. Gelernt haben die Koreaner daraus wohl nichts. Beim neuen Galaxy Note 3 wurde erneut für Benchmarks optimiert, wie ein Redaktor von Ars Technica schnell herausfand.

Leider ist Samsung damit bei Weitem nicht alleine. Ein ausführlicher Bericht von AnandTech zeigt, dass LG, HTC und Asus exakt dasselbe tun. Lediglich Motorola steht auf dem Android-Markt noch mit einer weissen Weste da. Ein eher peinliches Fazit. Die Ironie dabei: Mogeln alle Hersteller im selben Ausmass, bringt es ihnen überhaupt nichts. Wie bei einer Gruppe von fünf gedopten Velorennfahrern setzt sich am Ende der Beste durch, denn gedopt sind alle gleich. Ohne Doping wäre das Rennen genauso spannend und hätte keinen bitteren Beigeschmack.

Für den Konsumenten ist es einfach, etwas aus der Geschichte mitzunehmen. Benchmarks waren nie relevant und bleiben irrelevant bei einer Kaufentscheidung. Die Leistung eines Geräts ist in den jeweiligen Preisklassen meist etwa ähnlich. Die Unterschiede bewegen sich in Grössen, die im Alltagsgebrauch kaum auffallen. Wenn also Hersteller XY das nächste Mal von überragenden Benchmark-Zahlen schwärmt – einfach ignorieren und auf das schauen, was man wirklich braucht.

Werbung

KOMMENTARE

Keine Kommentare

KOMMENTAR SCHREIBEN

*
*
*
*

Alles Pflichfelder, E-Mail-Adresse wird nicht angezeigt.

Die Redaktion hält sich vor, unangebrachte, rassistische oder ehrverletzende Kommentare zu löschen.
Die Verfasser von Leserkommentaren gewähren der NMGZ AG das unentgeltliche, zeitlich und räumlich unbegrenzte Recht, ihre Leserkommentare ganz oder teilweise auf dem Portal zu verwenden. Eingeschlossen ist zusätzlich das Recht, die Texte in andere Publikationsorgane, Medien oder Bücher zu übernehmen und zur Archivierung abzuspeichern.