Высокопроизводительная карта ускорителя вывода искусственного интеллекта Huawei Atlas 300I A2

Карта вывода Atlas 300I A2 предлагает мощные возможности вывода AI с такими преимуществами, как мощная вычислительная мощность и видеоанализ. Он может широко применяться в таких сценариях, как генеративный вывод больших моделей и модерация контента, поддерживая вычислительную мощность до 560 TOPS INT8 и 280 TFLOPS FP16, ускоряя глубокий отраслевой вывод больших моделей.

1. Основные технические характеристики

• Вычисления искусственного интеллекта: 560 терафлопс (INT8) и 280 терафлопс (FP16).
• Форм-фактор: полноразмерная двухслотовая карта PCIe 5.0 полной высоты.
• Варианты памяти: встроенная память 32 ГБ или 64 ГБ с поддержкой ECC (пропускная способность до 1,6 ТБ/с).
• ЦП: встроенный 8-ядерный ЦП, работающий на частоте 2,0 ГГц.
• Питание и охлаждение: максимальная потребляемая мощность 350 Вт с пассивным воздушным охлаждением.

2. Вариант использования

• Форм-фактор: карта-ускоритель PCIe.
• Варианты памяти: доступны модели HBM2e объемом 24, 32 и 64 ГБ.
• Прецизионная поддержка: FP16, BF16 и INT8.
• Основные компоненты: объединяет процессор общего назначения, AI Core и аппаратный кодек.
• Экосистема программного обеспечения: использует ту же основу Ascend 910B, что и более крупные серверы, такие как Atlas 800I A2, что обеспечивает совместимость с контейнерными средами и средами выполнения фреймворков, такими как обсуждения vLLM-Ascend GitHub Issue #5651.

3.  Техника  Правила метода  Сетка