Server di inferenza AI Atlas 800I A2 4U

Il server di inferenza Atlas 800I A2 adotta un efficiente approccio di inferenza a 8 moduli, fornendo potenti capacità di inferenza AI. Presenta vantaggi in termini di potenza di calcolo, larghezza di banda della memoria e connettività e può essere ampiamente applicato all'inferenza generativa di modelli di grandi dimensioni, come il servizio clienti intelligente, la generazione di copywriting, l'accumulo di conoscenze e altri scenari di generazione di contenuti. Supporta l'interconnessione NPU per migliorare l'efficienza dell'inferenza di modelli di grandi dimensioni.

1. Caratteristiche

1.1 Configurazione hardware principale

• Processori e schede di accelerazione:
• CPU: dotato di 4 processori Kunpeng 920 (che supportano 48/64 core, con velocità di clock di 2,6/3,0 GHz). 
• NPU (processore AI): basato sul processore AI Huawei Ascend 910, dotato di un modulo NPU HCCS integrato. 
• Capacità di memoria: 64 GB per acceleratore, per un totale di 512 GB di memoria dell'acceleratore (tipo HBM); la memoria di sistema supporta fino a 32 slot DIMM DDR4.
• Larghezza di banda e bus:
• Larghezza di banda della memoria dell'acceleratore: 800 GB/s (per NPU). 
• Larghezza di banda di interconnessione dell'acceleratore: fino a 392 GB/s (o 512 GB/s tramite interconnessione PCIe 4.0 x16 NPU-CPU).
• Tipi di dati supportati: FP32, FP16 e INT8.

1.2 Sistema e raffreddamento

• Fattore di forma e peso: unità montata su rack a profondità completa 4U; dimensioni: 175 × 447 × 790 mm (A x L x P); peso: circa 90 kg.
• Design di raffreddamento: raffreddamento ad aria dalla parte anteriore a quella posteriore, con 8 moduli ventola sostituibili a caldo con ridondanza N+1.
• Consumo energetico massimo del sistema: 10,4 kW.

1.3 Ecosistema software

• Stack software: completamente compatibile con Huawei CANN, MindSpore, MindIE, AscendCL e l'adattatore PyTorch per Ascend; supporta i principali framework di inferenza come vLLM, vLLM-Ascend e MindIE Turbo.
• Funzionalità di virtualizzazione: supporta il partizionamento delle risorse di calcolo Huawei vNPU, il passthrough dei dispositivi e l'implementazione containerizzata tramite lo stack software Ascend. Scenari applicativi tipici

• Inferenza LLM (Large Language Model) di livello aziendale, servizi di intelligenza artificiale generativa, RAG (Retrieval-Augmented Generation), servizio clienti intelligente, generazione di contenuti, elaborazione della conoscenza e servizi di inferenza di intelligenza artificiale ad alto throughput.

2. Specifiche tecniche