Tarjeta aceleradora de inferencia de IA de alto rendimiento Huawei Atlas 300I A2

La tarjeta de inferencia Atlas 300I A2 ofrece potentes capacidades de inferencia de IA, con ventajas como una potente potencia informática y análisis de vídeo. Se puede aplicar ampliamente en escenarios como la inferencia generativa de modelos grandes y la moderación de contenido, admitiendo hasta 560 TOPS INT8 y 280 TFLOPS FP16, acelerando la inferencia industrial profunda de modelos grandes.

1. Especificaciones técnicas clave

• Computación AI: 560 TOPS (INT8) y 280 TFLOPS (FP16)
• Factor de forma: Tarjeta PCIe 5.0 de altura y longitud completa con doble ranura
• Opciones de memoria: memoria en chip de 32 GB o 64 GB con soporte ECC (hasta 1,6 TB/s de ancho de banda)
• CPU: CPU integrada de 8 núcleos que funciona a 2,0 GHz
• Energía y refrigeración: consumo máximo de energía de 350 W con refrigeración por aire pasiva

2. Caso de uso

• Factor de forma: tarjeta aceleradora PCIe.
• Opciones de memoria: Disponible con memoria HBM2e de 24 GB, 32 GB y 64 GB.
• Soporte de precisión: FP16, BF16 e INT8.
• Componentes principales: integra un procesador de uso general, AI Core y una unidad de códec de hardware.
• Ecosistema de software: comparte la misma base de Ascend 910B que servidores más grandes como el Atlas 800I A2, lo que permite la compatibilidad con tiempos de ejecución en contenedores y marcos, como las discusiones sobre vLLM-Ascend GitHub Issue #5651.

3.  Técnica  Reglas del método  Red