Сервер вывода AI Atlas 800I A2 4U

Сервер вывода Atlas 800I A2 использует эффективный 8-модульный подход, обеспечивающий широкие возможности вывода AI. Он имеет преимущества в вычислительной мощности, пропускной способности памяти и возможности подключения и может широко применяться для вывода больших моделей, таких как интеллектуальное обслуживание клиентов, создание копирайтинга, накопление знаний и другие сценарии создания контента. Он поддерживает соединение NPU для повышения эффективности вывода больших моделей.

1. Особенности

1.1 Конфигурация основного оборудования

• Процессоры и карты ускорения:
• ЦП: оснащен четырьмя процессорами Kunpeng 920 (с поддержкой 48/64 ядер и тактовой частотой 2,6/3,0 ГГц). 
• NPU (процессор искусственного интеллекта): на базе процессора искусственного интеллекта Huawei Ascend 910 со встроенным модулем NPU HCCS. 
• Объем памяти: 64 ГБ на каждый ускоритель, всего 512 ГБ памяти ускорителя (типа HBM); системная память поддерживает до 32 слотов DDR4 DIMM.
• Пропускная способность и шина:
• Пропускная способность памяти ускорителя: 800 ГБ/с (на NPU). 
• Пропускная способность межсоединения ускорителя: до 392 ГБ/с (или 512 ГБ/с через соединение PCIe 4.0 x16 NPU-CPU).
• Поддерживаемые типы данных: FP32, FP16 и INT8.

1.2 Система и охлаждение

• Форм-фактор и вес: блок высотой 4U, монтируемый в стойку полной глубины; размеры: 175×447×790 мм (В х Ш х Г); вес: примерно 90 кг.
• Конструкция охлаждения: воздушное охлаждение спереди назад с 8 модулями вентиляторов с возможностью горячей замены и резервированием N+1.
• Максимальная потребляемая мощность системы: 10,4 кВт.

1.3 Экосистема программного обеспечения

• Программный стек: полностью совместим с Huawei CANN, MindSpore, MindIE, AscendCL и адаптером PyTorch для Ascend; поддерживает основные платформы вывода, такие как vLLM, vLLM-Ascend и MindIE Turbo.
• Возможности виртуализации: поддержка разделения вычислительных ресурсов Huawei vNPU, сквозной доступ к устройствам и контейнерное развертывание с помощью программного стека Ascend. Типичные сценарии применения

• Вывод модели большого языка (LLM) корпоративного уровня, генеративные услуги искусственного интеллекта, расширенная генерация данных (RAG), интеллектуальное обслуживание клиентов, генерация контента, обработка знаний и высокопроизводительные услуги вывода искусственного интеллекта.

2. Технические характеристики