拓朴流星的头像 ID: 67862846007

拓朴流星

HelloWorld 社区成员

3138319756

文章1
个人网站0
加入社区2025

模型量化与量化在LLM中的应用 | 得物技术

一、模型推理优化随着模型在各种场景中的落地实践,模型的推理加速早已成为AI工程化的重要内容。而近年基于Transformer架构的大模型继而成为主流,在各项任务中取得SoTA成绩,它们在训练和推理中的昂贵成本使得其在合理的成本下的部署实践显得愈加重要。大模型推理所面临的挑战主要