Warum Benchmarks irrelevant sind

Benchmarks sind nicht die beste Methode, um als durchschnittlicher Nutzer eine Kaufentscheidung darauf aufbauend zu treffen. Diese Vermutung erhärtete sich in den letzten Wochen, nachdem bekannt wurde, dass die Mehrheit der Smartphone-Hersteller bei den Tests betrügen. Der Trick dahinter ist simpel: Wird auf einem Android-Gerät eine Benchmark-App gestartet, entfernt das Gerät die Limitierung von CPU und GPU und erreicht so mehr Leistung als sonst. Der Nutzer merkt von dieser Leistung kaum etwas und tuckert auf einem gedrosselten Motor, deutlich unter den Benchmark-Werten weiter.

Erstmals flogen die gezinkten Karten der Hersteller bei Samsung auf. Bei Benchmarks des Galaxy S4 fiel auf, dass die Testwerte nicht mit der effektiven Leistung übereinstimmten. Gelernt haben die Koreaner daraus wohl nichts. Beim neuen Galaxy Note 3 wurde erneut für Benchmarks optimiert, wie ein Redaktor von Ars Technica schnell herausfand. Leider ist Samsung damit bei Weitem nicht alleine. Ein ausführlicher Bericht von AnandTech zeigt, dass LG, HTC und Asus exakt dasselbe tun. Lediglich Motorola steht auf dem Android-Markt noch mit einer weissen Weste da. Ein eher peinliches Fazit. Die Ironie dabei: Mogeln alle Hersteller im selben Ausmass, bringt es ihnen überhaupt nichts. Wie bei einer Gruppe von fünf gedopten Velorennfahrern setzt sich am Ende der Beste durch, denn gedopt sind alle gleich. Ohne Doping wäre das Rennen genauso spannend und hätte keinen bitteren Beigeschmack. Für den Konsumenten ist es einfach, etwas aus der Geschichte mitzunehmen. Benchmarks waren nie relevant und bleiben irrelevant bei einer Kaufentscheidung. Die Leistung eines Geräts ist in den jeweiligen Preisklassen meist etwa ähnlich. Die Unterschiede bewegen sich in Grössen, die im Alltagsgebrauch kaum auffallen. Wenn also Hersteller XY das nächste Mal von überragenden Benchmark-Zahlen schwärmt – einfach ignorieren und auf das schauen, was man wirklich braucht.