Servidor de inferencia AI Atlas 800I A2 4U

El servidor de inferencia Atlas 800I A2 adopta un enfoque de inferencia eficiente de 8 módulos, lo que proporciona sólidas capacidades de inferencia de IA. Tiene ventajas en cuanto a potencia informática, ancho de banda de memoria y conectividad, y puede aplicarse ampliamente a la inferencia generativa de modelos grandes, como el servicio al cliente inteligente, la generación de redacción publicitaria, la acumulación de conocimientos y otros escenarios de generación de contenido. Admite la interconexión de NPU para mejorar la eficiencia de la inferencia de modelos grandes.

1. Características

1.1 Configuración del hardware principal

• Procesadores y Tarjetas de Aceleración:
• CPU: Equipado con 4 procesadores Kunpeng 920 (que admiten 48/64 núcleos, con velocidades de reloj de 2,6/3,0 GHz). 
• NPU (procesador AI): Basado en el procesador AI Ascend 910 de Huawei, con un módulo NPU HCCS integrado. 
• Capacidad de memoria: 64 GB por acelerador, totalizando 512 GB de memoria del acelerador (tipo HBM); La memoria del sistema admite hasta 32 ranuras DIMM DDR4.
• Ancho de Banda y Bus:
• Ancho de banda de memoria del acelerador: 800 GB/s (por NPU). 
• Ancho de banda de interconexión del acelerador: hasta 392 GB/s (o 512 GB/s a través de la interconexión PCIe 4.0 x16 NPU-CPU).
• Tipos de datos admitidos: FP32, FP16 e INT8.

1.2 Sistema y refrigeración

• Factor de forma y peso: unidad montada en bastidor de profundidad total de 4U; dimensiones: 175 × 447 × 790 mm (alto x ancho x fondo); peso: aproximadamente 90 kg.
• Diseño de refrigeración: refrigeración por aire de adelante hacia atrás, con 8 módulos de ventilador intercambiables en caliente con redundancia N+1.
• Consumo máximo de energía del sistema: 10,4 kW.

1.3 Ecosistema de software

• Pila de software: Totalmente compatible con Huawei CANN, MindSpore, MindIE, AscendCL y el adaptador PyTorch para Ascend; admite marcos de inferencia convencionales como vLLM, vLLM-Ascend y MindIE Turbo.
• Capacidades de virtualización: admite la partición de recursos informáticos vNPU de Huawei, la transferencia de dispositivos y la implementación en contenedores a través de la pila de software Ascend. Escenarios de aplicación típicos

• Inferencia de modelo de lenguaje grande (LLM) de nivel empresarial, servicios de IA generativa, generación aumentada de recuperación (RAG), servicio al cliente inteligente, generación de contenido, procesamiento de conocimientos y servicios de inferencia de IA de alto rendimiento.

2. Especificaciones técnicas