约200家报纸联手起诉谷歌和Facebook操纵广告市场
06-21
现在的手机跑分成绩真是让人难以置信。
手机厂商和芯片厂商越来越追求芯片的基准分数，Benchmark（基准性能测试）逐渐成为衡量设备性能的重要标准。
然而，在一味追求分数的同时，厂商也逐渐陷入了“分数监狱”。
最近联发科就是这样的情况。
联发科芯片基准造假从OPPO Reno3开始。
外媒Anandtech发现，搭载P95 CPU的欧版OPPO Reno3 Pro跑分比搭载性能更强大的最新天玑L CPU的国版Reno3更高，这引发了Anandtech的质疑。
结果，Anandtech 使用了匿名版本（可以帮助作弊评分）和普通版本的 PCMark 来运行联发科 P95 CPU。
雷锋网注：图片来源 Anandtech 结果显示，P95 CPU 的真实总分??比匿名版本的分数低 30%；在写入负载方面，两者分数的差距甚至达到了75%。
同时，Anandtech 指出，通过对 OPPO Reno3 Pro 进行测试，结果显示，跑分成绩的差异并不是 OPPO Reno3 Pro 造成的。
也就是说，跑分差异的根本原因在于联发科芯片。
为了证明这一结论，Anandtech 对 Reno3 搭载的联发科芯片进行了进一步调查。
发现手机的固件（/vendor/etc文件夹）包含一个“power_whitelist_cfg.xml”文件。
文件中存在涵盖各种基准测试的列表，包括 GeekBench、AnTuTu、3dbench、PCMark、Master Lu、AndroBench2 等。
不仅如此，人工智能基准测试也被添加到列表中，包括鲁大师AIBench和ZTH AI。
雷锋网注：Reno3 Pro“运动模式”基准白名单截图（图片来源：Anandtech）。
Anandtech找到了PCMark的APK ID，发现该ID中配置了一些电源管理提示。
常见的提示之一是“运动”。
该模式纠正了 SoC 芯片的一些 DVFS（动态电压频率缩放）特性，例如始终以其最大频率运行内存控制器。
此外，在负载跟踪方面，调度程序已进行更改，以便 CPU 核心频率更快地提升并在工作负载期间保持更长时间。
不仅如此，它的APK ID还包含企业版GFXBench，并且虽然清单中没有配置“运动模式”提示，但在使用应用程序时会更改为默认的DVFS、热量和调度程序设置。
值得注意的是，“power_whitelist_cfg.xml”文件不仅存在于 OPPO 设备上，Anandtech 在其他设备（搭载联发科芯片的设备）上也发现了类似的文件和几乎相同的基准列表条目。
如表所示：雷锋网注：该表缺乏AI测试，并非完整的基准测试列表（来源Anandtech）无独有偶，Anandtech解压文件后，OPPO向手机推送了固件更新，文件中原来的基准测试名单消失了。
Anandtech认为，文件列表只是被移动了，因为在基准测试中仍然可以触发“运动模式”，从而导致性能的显着提升。
联发科回应了Anandtech提出的问题，联发科也给出了积极回应。
以下是回应声明：联发科遵循公认的行业标准，并有信心基准测试准确地代表了我们芯片组的功能。
在对由我们的芯片组提供支持的设备进行测试和基准测试时，我们与全球设备制造商密切合作，但最终品牌可以灵活地根据自己的需要配置其设备。
许多公司将其设备设计为在基准测试时以峰值性能运行，以揭示芯片组的全部功能。
这揭示了任何给定芯片组的最高性能。
当然，在现实世界中，有很多因素会决定芯片组的性能。
联发科技的芯片组旨在优化功耗和性能，以提供最佳的用户体验，同时最大限度地延长电池寿命。
如果运行计算密集型程序（例如要求较高的游戏），芯片组将智能地适应计算模式以提供持续的性能。
这意味着用户将看到不同应用程序的不同性能水平，因为芯片组会根据出色的用户体验所需的功能和性能动态管理 CPU、GPU 和内存资源。
此外，某些品牌在不同地区有不同类型的型号，因此设备性能可能会根据地区市场需求而有所不同。
我们相信，在基准测试中展示芯片组的全部功能与其他公司正在做的事情是一致的，并为消费者提供有关设备性能的准确信息。
联发科认为，其发布的Benchmarks分数代表了芯片组驱动设备时的最高分数，代表了芯片组性能的最高端，因此基准测试中不存在作弊行为。
同时，联发科指出，这种做法与其他公司的做法是一致的，也就是说业内厂商都是这样做的。
但这一回应遭到 Anandtech 的反驳。
Anandtech认为，联发科尚未对问题的本质做出回应。
其欺骗性Benchmarks不仅针对SoC相关的基准测试软件（如GeekBench、GFXBench），还针对与用户体验相关的基准测试软件，也就是前面提到的PCMark。
Anandtech 解释说，PCMark 是一个系统基准测试，其分数代表了芯片的工作负载和设备响应能力。
PCMark虽然体现了芯片的性能，但会受到DVFS、调度器等软件和机制的影响；这也证实了上面提到的“运动模式”会修改SoC芯片的DVFS特性，从而影响Benchmarks分数。
此外，Anandtech指出，PCmark分数反映的是用户体验，而不仅仅是芯片组的性能。
换句话说，Anandtech认为联发科对PCmark分数的干扰已经超出了芯片基准测试的范围。
让您的产品大声说话。
事实上，在联发科之前，三星和华为都曾因欺骗Benchmark而陷入舆论中心。
2017 年，测试人员发现三星在基准测试中作弊，添加了源代码，该源代码能够检测基准测试应用程序是否在手机上运行，??一旦检测到，就会以更快的速度（MHz，通常是 MHz）运行手机。
结果，三星遭遇了长达四年的集体诉讼。
2019 年 9 月 30 日，三星败诉，承认在基准测试中作弊，并同意向 Galaxy S4 买家支付 10 美元的赔偿。
同样的事情也发生在华为身上。
Anandtech 发现，华为将为新设备配备基准检测机制，为 SoC 提供更高的功率限制。
最终，该设备将在某些白名单应用程序中表现更好。
然而，这种做法会带来一些负面影响，包括消耗电力、降低机组效率、缩短电池寿命等。
对此，华为表示，仅靠单一基准数字并不能展现完整的体验。
但对于某些项目来说，基准测试是整个行业公认的方法，每个公司都在努力获得更好的客观结果。
与此同时，华为消费者BG软件工程部总裁王成录表示，其他厂商也在进行同样的测试并获得高分，华为不能保持沉默。
不难看出，高Benchmark分数正在成为芯片厂商追求的目标，并逐渐成为行业的营销工具。
虽然Benchmark分数可以反映设备的性能，但出于营销和数值比较的目的而伪造Benchmark分数不应成为行业常态。
且不论“你做我做的”追求高Benchmark分数的盲目性，就欺诈标杆的做法而言，其分数只能在短时间内获得用户体验好感度，但从长期来看——从术语角度来看，追求高分会带来设备性能的损失，这并不是与用户建立良好关系的正确方式。
正如 AnandTech 在文章中提到的，更好地连接用户体验的唯一方法是让每个常规游戏都在标准功率范围内运行。
换句话说，表现最有说服力的表达不是分数，而是产品本身。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-17
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态