Двухчиповый ускоритель вывода AI Huawei Atlas 300I Duo

Карта вывода Atlas 300I Duo объединяет «процессор общего назначения, ядро ​​AI и кодек» в одно целое, обеспечивая логический вывод Al, анализ видео и другие функции. Он может похвастаться мощной вычислительной мощностью, сверхвысокой энергоэффективностью и высокопроизводительным видеоанализом, что делает его широко применимым в таких сценариях, как Интернет, умные города и умный транспорт. Он поддерживает несколько приложений, включая поисковую кластеризацию, модерацию контента, распознавание OCR, анализ речи и анализ видео.

1. Основные характеристики

• Процессоры: 2 процессора AI Ascend 310P (16 ядер AI Da Vinci и 16 ядер ЦП Huawei на чип).
• Вычислительная мощность: 280 TOPS INT8 и 140 TFLOPS FP16 (в сумме для обоих чипов; 140 TOPS и 70 TFLOPS на чип).
• Память: 48 ГБ или 96 ГБ LPDDR4X с ECC, обеспечивающая общую пропускную способность 408 ГБ/с (примерно 204 ГБ/с на чип, поскольку память не объединена в пул).
• Форм-фактор и мощность: однослотовая карта PCIe Gen 4 x16 с пассивным охлаждением мощностью 150 Вт.
• Media Engine: встроенное аппаратное декодирование 256 каналов 1080p30 или 32 каналов 4K60.

2. Ограничения производительности и экосистемы

• Программный стек: он основан на собственной архитектуре CANN Huawei, а не на CUDA. Основные инструменты, такие как Ollama или стандартные рабочие процессы GGUF, сталкиваются с серьезной нестабильностью, требующей специальных серверных частей или обходных решений (таких как GPUStack или специальные сборки llama.cpp).
• Аппаратная совместимость: большинство стандартных материнских плат для настольных ПК и потребительских систем не могут легко загрузить или включить карту должным образом; он официально разработан и проверен для конкретных корпоративных серверов, таких как Huawei Atlas 800.
• Мнение сообщества: Большинство пользователей на форумах TechPowerUp и r/LocalLLaMA сходятся во мнении, что, хотя соотношение цены и видеопамяти не имеет себе равных для бюджетных экспериментов с локальной моделью большого языка (LLM), головная боль от драйверов, отсутствие поддержки Plug-and-Play и ограничения памяти разделенного чипа делают его картой проекта, а не просто заменой оборудования NVIDIA.

3. Технические характеристики