Carte d'accélérateur d'inférence AI haute performance Huawei Atlas 300I A2

La carte d'inférence Atlas 300I A2 offre de puissantes capacités d'inférence d'IA, avec des avantages tels qu'une puissante puissance de calcul et une analyse vidéo. Il peut être largement appliqué dans des scénarios tels que l'inférence générative de grands modèles et la modération de contenu, prenant en charge jusqu'à 560 TOPS INT8 et 280 TFLOPS FP16 de puissance de calcul, accélérant ainsi l'inférence industrielle approfondie des grands modèles.

1. Principales spécifications techniques

• Calcul IA : 560 TOPS (INT8) et 280 TFLOPS (FP16)
• Facteur de forme : carte PCIe 5.0 à double emplacement pleine hauteur et pleine longueur
• Options de mémoire : 32 Go ou 64 Go de mémoire sur puce avec prise en charge ECC (jusqu'à 1,6 To/s de bande passante)
• Processeur : processeur intégré à 8 cœurs fonctionnant à 2,0 GHz
• Alimentation et refroidissement : consommation électrique maximale de 350 W avec refroidissement par air passif

2. Cas d'utilisation

• Facteur de forme : carte accélératrice PCIe.
• Options de mémoire : disponible avec 24 Go, 32 Go et 64 Go de mémoire HBM2e.
• Prise en charge de précision : FP16, BF16 et INT8.
• Composants de base : intègre un processeur à usage général, un AI Core et une unité de codec matériel.
• Écosystème logiciel : partage la même base Ascend 910B que des serveurs plus grands comme l'Atlas 800I A2, permettant la compatibilité avec les environnements d'exécution conteneurisés et framework tels que les discussions vLLM-Ascend GitHub Issue #5651.

3.  Technique  Règles de méthode  Grille