DeepSeek 在 H800 上使用 NVCC 12.8 测试了 DeepSeek-V3/R1 推理中可能使用的所有形状（包括预填充和解码，但不包括张量并行），最高可以实现 2.7 倍加速。所有加速指标均基于内部精心优化的 CUTLASS 3.6 实现。
但根据项目介绍，DeepGEMM 在某些形状上表现不佳。
快速启动
首先需要这些配置
- Hopper 架构的 GPU，必须支持 sm_90a；
- Python 3.8 或更高版本；
- CUDA 12.3 或更高版本，但为了获得最佳性能，DeepSeek 强烈推荐使用 12.8 或更高版本；
- PyTorch 2.1 或更高版本；
- CUTLASS 3.6 或更高版本（可通过 Git 子模块克隆）。
配置完成后，就是部署：
# Submodule must be cloned
git clone --recursive git@github.com:deepseek-ai/DeepGEMM.git
# Make symbolic links for third-party (CUTLASS and CuTe) include directories
python setup.py develop
# Test JIT compilation
python tests/test_jit.py
# Test all GEMM implements (normal, contiguous-grouped and masked-grouped)
python tests/test_core.py
