Todavía estamos siguiendo el anuncio oficial de AMD de su acelerador de centro de datos AI, el MI300X. Sin duda, es una potencia de procesamiento a tener en cuenta, una que AMD tiene la intención de usar como un club para tratar de desalojar a Nvidia de su posición como jugador dominante en el mundo de la aceleración de IA. Pero el aumento del rendimiento a veces se traduce en un mayor consumo de energía, aunque cada nueva arquitectura generalmente mejora la eficiencia energética (consumiendo menos energía para la misma unidad de trabajo). Y el módulo acelerador OCP basado en OAM de AMD, el MI300X, es sin duda un gran consumidor de energía: con 750 W, en realidad es el producto TDP más alto en su factor de forma. Pero no se preocupe: las especificaciones para las soluciones OAM aumentan hasta 1000 W de potencia disponible, por lo que todavía hay espacio para escalar el rendimiento aún más.
Oculto en las notas al pie de AMD hay una medida del consumo de energía del MI300X. (Crédito de la imagen: AMD a través de Videocardz)
Si bien 750 W es una cantidad enorme de energía para ser consumida por cualquier pieza individual de hardware de PC (al menos desde la perspectiva de un individuo), debemos tener en cuenta que esos vatios están alimentando hardware mucho más rápido y más especializado que incluso el más potentes tarjetas gráficas de AMD. Para esta potencia, AMD ofrece lo que afirma es el acelerador de mejor rendimiento para las cargas de trabajo relacionadas con la IA (tanto en la IA generativa como en el modelo de lenguaje grande). [LLM] Procesando).
Teniendo en cuenta cómo AMD logró meter 12 chipsets construidos en dos procesos de fabricación (8x 5nm [GPU] y 4x 6nm nodos [I/O die] para un total de 153 mil millones de transistores, esta afirmación puede tener algún apoyo. Por supuesto, también está el problema de que AMD logró ejecutar un modelo LLM de 40 mil millones de parámetros (Falcon 40-B) sobre un solo MI300X. Ahora eso es impresionante, especialmente considerando que AMD pretende que el MI300X escale hasta ocho aceleradores en un solo paquete.
Deslizar para desplazarse horizontalmenteAMD MI300X… y otros Fila 0 – Celda 0 AMD MI300XAMD MI300AAMD MI250XAMD RX 7900 XTXCPU cores03x CCD de 8 núcleos (24 núcleos) [Zen 4]–GPU cores8x GCD (304 CU) [CDNA 3]6x GCD (228 UC) [CDNA 3](220 UC) [CDNA 2](RDNA 3) Memoria direccionable 192 GB (8x 24 GB HBM3) 128 GB (8x 16 GB HBM3) 128 GB (8x 16 GB HBM2e) 24 GB GDDR6 Ancho de banda de memoria 5,2 TB/s5,2 TB/s~3,28 TB/s960 GB/ sInfinity Fabric Ancho de banda 896 GB/s896 GB/s800 Cantidad de transistores GB/s153 mil millones146 mil millones~ 58,2 mil millones~ 57 mil millonesTDP750 W?560 W355 W
Como podemos ver en la tabla anterior, el enfoque de AMD en aumentar la eficiencia energética no ha sido suficiente para compensar los crecientes requisitos de cómputo para los escenarios de computación de alto rendimiento (HPC), que ahora incluyen el procesamiento de modelos LLM que parecen estar surgiendo. . Los mayores requisitos de rendimiento significaron que incluso con las últimas tecnologías y técnicas de ahorro de energía de AMD, y la última tecnología de fabricación de TSMC, todavía era necesario un aumento de 190 W en la envolvente de energía.
Pero ese aumento de TDP de 190 W (alrededor de un 33 % más de consumo de energía) se traduce en aproximadamente el triple de transistores alimentados en comparación con el MI250X, una demostración impresionante de ganancias en eficiencia, incluso sin considerar el soporte mejorado del MI300X para algoritmos dispersos (increíblemente importante para LLM y procesamiento de IA). Eso sin mencionar la diferencia entre los aceleradores de cómputo de AMD y la GPU para juegos insignia de la compañía, la comparativamente insignificante RX 7900 XTX.
