”さいちょう”さんというガジェット系Youtuberの方がベンチマーク詐欺を取り扱った動画を投稿したことがきっかけとなり、今ベンチマークの是非が問われる事態となっています。
私もスマホレビューをしている身として、この件について触れておきます。
パッケージ名偽装の重要性
発端はREDMAGIC 11 Proという最新機種にてベンチマークアプリを動作させる際に、ユーザーが意図していないにも関わらずパフォーマンスをブースティングしているという挙動が発覚したことです。
そのベンチマークは定番の3DMarkアプリにあるWild Life Extreme Stress Testでした。当サイトでも利用している、仮想で4K解像度の3Dグラフィックゲームを動かす20分間の耐久ベンチマークで、スコアの維持率や発熱、バッテリーの減少を測定するものです。
この3DMarkアプリのパッケージ名を隠すという特殊な手法でOS側に3DMarkであることを認知させずに動作させた際に、通常よりもパフォーマンスが落ちてしまうという挙動も指摘されていました。3DMarkに限らず大手ベンチマークアプリ全般に対しても似たような挙動が行われているというのが現状で、またREDMAGICに限らずこのようなベンチマーク提供会社の規約に反する不正なブースティング行為を行っているスマホは数多くあるとされています。
パッケージ名変更に関してはAndroPlusというサイト様でかなり詳細に解説されていますので、ご一読を。
かつては有名メーカーでも
それでも「パッケージ名を変更したベンチマーク測定」だけですべてが対処できるわけではなく、OSアップデートにてCPU性能を下げるなど、メーカーのより複雑化したユーザーが感知しにくい取り組みも指摘しておきます。このOSアップデートによる性能操作の手法は、過去にAppleが何度も行っており大々的に批判されるだけでなく、訴訟問題にも発展した過去があります。
ベンチマーク測定などが盛んに行われる製品発売当初は高クロックで動作する設定にしておき、ほとぼりが冷めてから動作クロックを下げるアップデートを行う、という結果的には大掛かりなベンチマークブースティングということになりますが、これはレビュワーですらも感知しずらい狡猾な手法です。
日常動作を見ることの重要性
話を戻します。
当サイトでは実際の動作感を見るという意味で、ブラウザ上で利用できるベンチマークをよく調べることにしています。これはある種のベンチマーク詐欺を見抜く方法の一つで、Chromeなど日常的に利用するアプリにおいても、CPUが高いクロック周波数を維持して性能を出しているかを確認しています。
不思議なことに、同じSoCであっても、ブラウザ上のベンチマーク結果は安定しないことが多いのです。ハイエンドスマホであってもミドルレンジと変わらないスコアしか出ない場合もしばしば。
件のREDMAGIC 11 Proは当サイトではレビューできていないので、海外サイトより測定結果を引用しますが、REDMAGIC 11 Proのスコアは次の通りです。
| Google Octane 2.0 | 94524 |
| JetStream2 | 137.426 |
| WebXPRT4 | 114 |
引用サイト：Notebookcheck.net
いずれもEdge 141で計測されたデータですが、一般論としてChromeでのスコアと乖離することはないです。ですが、REDMAGIC 11 Proでのスコアは特にJetStream2・WebXPRT4でかなり低めに出ています。
これはSnapdragon 6 Gen 3を搭載するXPERIA 10 VIIでのスコアに近いです。
本来のSnapdragon 8 Elite Gen 5であれば、この倍以上のスコアが出るはずです。
同様にNotebookcheckが公表しているデータでは、REDMAGIC Astra（Snapdragon 8 Elite搭載のタブレット）などでも平均的データよりかなり低めのスコアを記録していることからも、REDMAGICというブランドではChromeやEdgeなどブラウザアプリでは動作クロック周波数を大幅に下げていることが疑われます。
このようにブラウザベンチマークで高いスコアが全く出ないという問題を抱えた機種は少なくありませんが、スマホが十分高速化した現在ではこれらのベンチマークスコアの高さが実感に結びつき難いという声があるのも事実で、それならバッテリー持ちや発熱対策のためにクロック制御されている方がユーザーに優しかったりもする、という見方もできます。
しかし本質的な問題点はパフォーマンス設定の変更などでも性能を引き出せないということにあると考えています。CPUを意図的に妥協して組む格安ゲーミングPCならまだしも、スマホのプロセッサーはSoCとしてGPUとCPUはセットで最先端なモノが用意されており、そのパフォーマンスが発揮できないのは残念な事だと思います。
今後の対応について
この手のパッケージ名で感知して行われるベンチマークブースティングが指摘されるメーカーは、必然的に多くのAndroidスマホメーカーが存在する中国のスマホブランドに偏っています。以前からパッケージ名偽装については知っていたものの、特に中国のスマホを輸入してレビューするということはほとんどなかったので、当サイトではパッケージ名の変更までは行っていません。
しかし今後しばらくは疑念を抱く人も多いと思うので、パッケージ偽装版を実行してそのデータに差異があると判断した場合は公表するようにしたいと思います。やはりベンチマークは指標であり、製品の良し悪しを判断する基準には変わりはないと思うので、今後もデータはどんどん公開していきます。
これからも当サイトをよろしくお願いいたします。（管理人）
コメント