Huawei Atlas 300I Duo Reasoning Card デュアルチップ AI 推論アクセラレータ
Atlas 300I Duo 推論カードは、「汎用プロセッサ、AI コア、コーデック」を 1 つに統合し、AI 推論、ビデオ分析などの機能を提供します。強力なコンピューティング能力、超高エネルギー効率、高性能ビデオ分析を誇り、インターネット、スマートシティ、スマート交通などのシナリオに広く適用できます。検索クラスタリング、コンテンツモデレーション、OCR 認識、音声分析、ビデオ分析などの複数のアプリケーションをサポートします。
1. 主な仕様
- プロセッサ: Ascend 310P AI プロセッサ x 2 (チップごとに Da Vinci AI コア 16 個と Huawei CPU コア 16 個)。
- 計算能力: 280 TOPS INT8 および 140 TFLOPS FP16 (両方のチップの合計、チップあたり 140 TOPS および 70 TFLOPS)。
- メモリ: ECC 付き 48GB または 96GB LPDDR4X、合計 408 GB/秒の合計帯域幅を提供します (メモリがプールされていないため、チップあたり約 204 GB/秒)。
- フォームファクターと電力: 150W パッシブ冷却設計を備えたシングルスロット PCIe Gen 4 x16 カード。
- メディア エンジン: 1080p30 の 256 チャンネルまたは 4K60 の 32 チャンネルのハードウェア デコードを内蔵。
2. パフォーマンスとエコシステムの制限
- ソフトウェアスタック: CUDAではなく、Huawei独自のCANNアーキテクチャに依存しています。 Ollama や標準の GGUF ワークフローなどのメインストリーム ツールは非常に不安定な状態に直面しており、特定のバックエンドや回避策 (GPUStack やカスタム llama.cpp ビルドなど) が必要です。
- ハードウェアの互換性: ほとんどの標準的なデスクトップ マザーボードとコンシューマー システムでは、カードを適切に起動したり電力を供給したりすることができません。 Huawei Atlas 800 などの特定のエンタープライズ サーバー向けに正式に設計され、検証されています。
- コミュニティのコンセンサス: TechPowerUp フォーラムと r/LocalLLaMA のほとんどのユーザーは、VRAM に対する価格の比率は低予算のローカル大規模言語モデル (LLM) の実験としては比類のないものであるものの、ドライバーの問題、プラグ アンド プレイ サポートの欠如、スプリット チップ メモリの制約により、NVIDIA ハードウェアのドロップイン代替品ではなく、プロジェクト カードになることに同意しています。
3. 技術仕様
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
鬼ごっこ:
- その他の製品
