La Standard Performance Evaluation Corporation (SPEC) ha descubierto que Intel manipuló el compilador de 'software' oneAPI DPC++/CC+ para inflar los resultados de sus pruebas de redimiento en procesadores de la familia Xeon y ajustarse a su punto de referencia.
SPEC es un consorcio sin fines de lucro que incluye fabricantes de dispositivos y sistema, así como consultores y grupos de investigación, que crea puntos de referencia('benchmark') y controla el rendimiento de 'hardware' y 'software' de los dispositivos, publicando después los resultados de estas pruebas.
Fabricantes de procesadores, como AMD o Intel, suelen utilizarlos para promocionar el número de instrucciones por ciclo (IPC, por sus siglas en inglés) de sus productos, esto es, la cantidad de operaciones que un procesador puede desarrollar por cada ciclo.
Una de las pruebas más populares de SPEC es CPU 2017, un punto de referencia utilizado para servidores, centros de datos y estaciones de trabajo, que prueba el rendimiento en varias cargas de trabajo de forma estandarizada, a fin de que se puedan comparar diferentes ordenadores entre sí.
Los resultados óptimos de SPEC CPU 2017 dependen tanto del 'hardware' como del 'software' y uno de los factores clave en la optimización de este último reside en el trabajo que hace el compilador, tal y como menciona Tom's Hardware.
El compilador de un equipo es un programa informático que traduce el código fuente de un 'software' a un código escrito antes de utilizarlo, a fin de que el procesador pueda leerlo y ejecutarlo correctamente.
En base a los resultados obtenidos por SPEC, Intel habría manipulado los resultados obtenidos en las pruebas de rendimiento del compilador para ajustarse al 'benchmark', "realizando una compilación que mejoraba específicamente el rendimiento" de dos puntos de referencia, '523.xalancbmk_r' y '623.xalanbmk_S', según un documento de este consorcio.
En este escrito también asegura que el fabricante utilizó "el conocimiento a priori del código SPEC y el conjunto de datos para realizar una transformación que tiene una aplicabilidad limitada", concretamente, del compilador Intel oneAPI DPC++/ C++.
Debido a que Intel habría inflado los resultados de sus procesadores Xeon Platinum 8480+ al modificar dicho compilador, SPEC ha determinado que "ya no publicará resultados" utilizando esta optimización, aunque ha decidido no eliminarlos de su base de datos y mantenerlos como "referencia histórica".
Si bien SPEC no ha especificado en qué medida Intel infló los resultados de sus pruebas, con el compilador manipulado estos mejoraron en un 9 por ciento, según han podido saber desde por Phoronix Este medio especializado apunta también que este consorcio ha descartado más de 2.600 resultados analizados que se han visto comprometidos.
