Huawei Atlas 300I A2 Hochleistungs-KI-Inferenzbeschleunigerkarte

Die Inferenzkarte Atlas 300I A2 bietet leistungsstarke KI-Inferenzfunktionen mit Vorteilen wie leistungsstarker Rechenleistung und Videoanalyse. Es kann umfassend in Szenarien wie der generativen Inferenz großer Modelle und der Inhaltsmoderation eingesetzt werden und unterstützt bis zu 560 TOPS INT8 und 280 TFLOPS FP16 Rechenleistung, wodurch die tiefgreifende Brancheninferenz großer Modelle beschleunigt wird.

1. Wichtige technische Spezifikationen

• AI Compute: 560 TOPS (INT8) und 280 TFLOPS (FP16)
• Formfaktor: PCIe 5.0-Karte mit voller Höhe und voller Länge und zwei Steckplätzen
• Speicheroptionen: 32 GB oder 64 GB On-Chip-Speicher mit ECC-Unterstützung (bis zu 1,6 TB/s Bandbreite)
• CPU: Integrierte 8-Kern-CPU mit 2,0 GHz
• Leistung und Kühlung: Maximaler Stromverbrauch von 350 W mit passiver Luftkühlung

2. Anwendungsfall

• Formfaktor: PCIe-Beschleunigerkarte.
• Speicheroptionen: Verfügbar mit 24 GB, 32 GB und 64 GB HBM2e-Speicher.
• Präzisionsunterstützung: FP16, BF16 und INT8.
• Kernkomponenten: Integriert einen Allzweckprozessor, einen KI-Kern und eine Hardware-Codec-Einheit.
• Software-Ökosystem: Nutzt die gleiche Ascend 910B-Grundlage wie größere Server wie der Atlas 800I A2 und ermöglicht so die Kompatibilität mit Container- und Framework-Laufzeiten wie vLLM-Ascend GitHub Issue #5651-Diskussionen.

3.  Technik  Methodenregeln  Netz