Serveur d'inférence IA Atlas 800I A2 4U

Le serveur d'inférence Atlas 800I A2 adopte une approche d'inférence efficace à 8 modules, offrant de solides capacités d'inférence d'IA. Il présente des avantages en termes de puissance de calcul, de bande passante mémoire et de connectivité, et peut être largement appliqué à l'inférence générative de grands modèles, tels que le service client intelligent, la génération de rédaction, l'accumulation de connaissances et d'autres scénarios de génération de contenu. Il prend en charge l'interconnexion NPU pour améliorer l'efficacité de l'inférence de grands modèles.

1. Caractéristiques

1.1 Configuration matérielle de base

• Processeurs et cartes d'accélération :
• CPU : équipé de 4 processeurs Kunpeng 920 (prenant en charge 48/64 cœurs, avec des vitesses d'horloge de 2,6/3,0 GHz). 
• NPU (processeur AI) : basé sur le processeur Huawei Ascend 910 AI, doté d'un module HCCS NPU intégré. 
• Capacité mémoire : 64 Go par accélérateur, totalisant 512 Go de mémoire d'accélérateur (type HBM) ; la mémoire système prend en charge jusqu'à 32 emplacements DIMM DDR4.
• Bande passante et bus :
• Bande passante de la mémoire de l'accélérateur : 800 Go/s (par NPU). 
• Bande passante d'interconnexion de l'accélérateur : jusqu'à 392 Go/s (ou 512 Go/s via l'interconnexion PCIe 4.0 x16 NPU-CPU).
• Types de données pris en charge : FP32, FP16 et INT8.

1.2 Système et refroidissement

• Facteur de forme et poids : unité montée en rack 4U pleine profondeur ; dimensions : 175 × 447 × 790 mm (H x L x P) ; poids : environ 90 kg.
• Conception de refroidissement : refroidissement par air de l'avant vers l'arrière, doté de 8 modules de ventilateurs remplaçables à chaud avec redondance N+1.
• Consommation électrique maximale du système : 10,4 kW.

1.3 Écosystème logiciel

• Pile logicielle : entièrement compatible avec Huawei CANN, MindSpore, MindIE, AscendCL et l'adaptateur PyTorch pour Ascend ; prend en charge les frameworks d'inférence traditionnels tels que vLLM, vLLM-Ascend et MindIE Turbo.
• Capacités de virtualisation : prend en charge le partitionnement des ressources de calcul Huawei vNPU, le relais des appareils et le déploiement conteneurisé via la pile logicielle Ascend. Scénarios d'application typiques

• Inférence LLM (Large Language Model) de niveau entreprise, services d'IA générative, génération augmentée par récupération (RAG), service client intelligent, génération de contenu, traitement des connaissances et services d'inférence d'IA à haut débit.

2. Spécifications techniques