Huawei Atlas 300I A2 高性能 AI 推論アクセラレータ カード
Atlas 300I A2 推論カードは、強力なコンピューティング能力やビデオ分析などの利点を備えた強力な AI 推論機能を提供します。生成的な大規模モデル推論やコンテンツモデレーションなどのシナリオに広く適用でき、最大 560 TOPS INT8 および 280 TFLOPS FP16 のコンピューティング能力をサポートし、大規模モデルの深い業界推論を加速します。
1. 主要な技術仕様
• AI コンピューティング: 560 TOPS (INT8) および 280 TFLOPS (FP16)
• フォームファクター: フルハイト、フルレングスのダブルスロット PCIe 5.0 カード
• メモリ オプション: ECC サポート付き 32GB または 64GB オンチップ メモリ (最大 1.6 TB/秒の帯域幅)
• CPU: 2.0 GHz で動作する統合 8 コア CPU
• 電源と冷却: パッシブ空冷による最大 350W の消費電力
2. ユースケース
- フォームファクタ: PCIe アクセラレータカード。
- メモリ オプション: 24GB、32GB、および 64GB HBM2e メモリが利用可能です。
- 精度サポート: FP16、BF16、および INT8。
- コア コンポーネント: 汎用プロセッサ、AI コア、ハードウェア コーデック ユニットを統合します。
- ソフトウェア エコシステム: Atlas 800I A2 などの大型サーバーと同じ Ascend 910B 基盤を共有し、vLLM-Ascend GitHub Issue #5651 のディスカッションなど、コンテナ化されたフレームワーク ランタイムとの互換性を実現します。
3. 技術 メソッドのルール グリッド
|
|
鬼ごっこ:
- その他の製品
