Acelerador de inferencia de IA de doble chip con tarjeta de razonamiento Huawei Atlas 300I Duo

La tarjeta de inferencia Atlas 300I Duo integra "procesador de uso general, AI Core y códec" en uno, ofreciendo inferencia de AI, análisis de video y otras funciones. Cuenta con una potente potencia informática, una eficiencia energética ultraalta y un análisis de vídeo de alto rendimiento, lo que lo hace ampliamente aplicable en escenarios como Internet, ciudades inteligentes y transporte inteligente. Admite múltiples aplicaciones que incluyen agrupación de búsqueda, moderación de contenido, reconocimiento OCR, análisis de voz y análisis de video.

1. Especificaciones clave

• Procesadores: 2 procesadores Ascend 310P AI (16 núcleos Da Vinci AI y 16 núcleos de CPU Huawei por chip).
• Potencia informática: 280 TOPS INT8 y 140 TFLOPS FP16 (combinados en ambos chips; 140 TOPS y 70 TFLOPS por chip).
• Memoria: LPDDR4X de 48 GB o 96 GB con ECC, que proporciona un ancho de banda combinado total de 408 GB/s (aproximadamente 204 GB/s por chip ya que la memoria no está agrupada).
• Factor de forma y potencia: Tarjeta PCIe Gen 4 x16 de una sola ranura con un diseño de refrigeración pasiva de 150 W.
• Media Engine: Decodificación de hardware incorporada para 256 canales de 1080p30 o 32 canales de 4K60.

2. Limitaciones del rendimiento y del ecosistema

• Pila de software: se basa en la arquitectura CANN patentada de Huawei en lugar de CUDA. Las herramientas convencionales como Ollama o los flujos de trabajo estándar de GGUF enfrentan una gran inestabilidad, lo que requiere backends o soluciones alternativas específicas (como GPUStack o compilaciones personalizadas de llama.cpp).
• Compatibilidad de hardware: la mayoría de las placas base de escritorio estándar y los sistemas de consumo no pueden arrancar o alimentar la tarjeta correctamente; está diseñado y validado oficialmente para servidores empresariales específicos como el Huawei Atlas 800.
• Consenso de la comunidad: la mayoría de los usuarios en los foros TechPowerUp y r/LocalLLaMA están de acuerdo en que si bien la relación precio-VRAM no tiene comparación para la experimentación con modelos de lenguaje grande (LLM) locales y económicos, los dolores de cabeza de los controladores, la falta de soporte plug-and-play y las limitaciones de memoria de chip dividido la convierten en una tarjeta de proyecto en lugar de un reemplazo directo para el hardware NVIDIA.

3. Especificaciones técnicas