DeepSeek R1模型权重原生为FP8类型，仅能被英伟达新型GPU支持。美团技术团队进行了INT8精度量化的尝试，量化后模型精度基本无损，可部署到A100等其他型号GPU，从而解锁了芯片限制；相比BF16实现了50%的吞吐提升，降低了推理成本。相关技术已在Hugging Face上开源。
这是一个从 https://tech.meituan.com/2025/03/07/meituan-int8-deepseek-r1.html 下的原始话题分离的讨论话题
这是一个从 https://tech.meituan.com/2025/03/07/meituan-int8-deepseek-r1.html 下的原始话题分离的讨论话题