全球机器学习技术大会-张君-大模型推理加速的优化实践

在当前全球机器学习技术的发展中，大模型推理加速已经成为一个重要的研究方向。张君，作为昇腾生态的技术专家，通过参与昇思AI框架开发和大模型推理加速相关工作，致力于优化推理框架、模型算法和算子加速库等多个层面，旨在提升大模型推理性能。 张君指出大模型推理面临的三大技术挑战。首先是计算和内存需求的急剧增长。随着模型参数的扩大和序列的加长，推理过程中所需的计算和内存资源大幅增加。例如，2000亿参数量的模型在推理时需要6张RTX 3090Ti GPU或2张NVIDIA A100 GPU。而硬件带宽的限制、模型参数增长速度超过硬件内存容量提升速度以及算力与访存带宽提升速度的差距，使得推理超大模型变得越来越困难。 第二个挑战是推理延迟和吞吐量问题。推理过程包含两阶段，即Prefill阶段和Decode阶段。两阶段推理差异大，导致算力利用率低，并且难以充分使用算力资源。此外，不同请求的输入和输出长度不同，导致处理不同请求的计算量和延迟各异，进而影响用户体验和系统成本。 第三个挑战涉及从单模态到多模态再到更复杂的推理模型，如OpenAI o1的推理成本增加。随着应用场景的多元化，例如音视频推理，不仅计算量和显存需求增加，推理成本也相应提高。复杂的模型结构，如OpenAI o1内部的长思维链路，要求更高的计算量和推理时间。 针对这些挑战，张君介绍了昇腾硬件上的推理加速实践。通过优化推理框架、模型算法和算子加速库，能够有效提升大模型推理性能。例如，昇腾大模型推理框架MindIE-LLM和Transformer领域加速库ATB的开发，都是在这一方向上的重要工作。 张君的工作内容涵盖了从理论研究到实践应用的多方面。在理论研究方面，他发表了多篇论文，并参与了昇思AI框架的开发。在实践应用方面，他通过动态图的自动微分技术以及动静结合模块的优化，实现了推理加速的技术创新。 通过这些实践，张君展现了优化实践的路径，包括模型结构的优化、算子库的加速、硬件平台的优化以及分布式推理的创新。他的工作为大模型推理加速提供了重要的技术参考和实践案例，为昇腾硬件生态的建立和人工智能应用的发展做出了积极贡献。 展望未来，张君认为大模型的参数和序列将会继续增长，多模态和跨模态的应用将会变得越来越广泛。因此，推理加速技术的发展需要不断地进行，以适应更加复杂的模型和更广泛的应用场景。最终，张君希望通过不懈的努力，实现大模型推理加速的技术突破，推动人工智能技术的发展与应用。