随着深度学习模型在自然语言处理等领域的广泛应用，模型推理速度和性能成为关键问题。近日，由快手主导的研究成果《SAMP：基于自适应混合精度的训练后量化模型推理库》成功入选该领域顶级会议EMNLP 2023，并于新加坡现场展示和分享。

该研究提出了一种名为SAMP的推理加速工具，通过自适应混合精度技术，在保持模型性能的同时，显著提高推理速度。其中包含自适应混合精度编码器和一系列先进的融合策略。自适应混合精度编码器可以在大量的通用矩阵乘法（GEMM）运算和Transformer层中找到最佳浮点定点混合精度组合方式，使模型推理的性能最贴近用户需求（计算精度或推理效率）。最终，混合精度计算取得了比全定点计算更好的计算精度。融合策略对embedding算子和量化相关计算操作进行融合改进，使得 CUDA 内核调用减少一半。同时，SAMP是由C++编程语言实现的端到端工具包，具有出色的推理速度，也降低了训练后量化推理的工业应用门槛。

表1：SAMP与同类系统相比的创新点

SAMP具有以下几项主要亮点：

1.自适应。SAMP 在训练后量化推理方法中平衡计算精度和延迟性能。用户可以针对不同的任务选择合适精度和推理延迟的混合精度配置。SAMP还可通过自适应分配方法推荐给用户最佳的量化组合模式。

2.推理效率。在较宽的精度范围（浮点到定点）中，SAMP 显示出比其他推理工具包更好的推理加速。在中文语言理解测评基准（CLUE）分类任务数据集中，与FasterTransformer相比，SAMP实现了高达1.05-1.15倍的加速。

3.灵活性。SAMP 涵盖众多下游任务，如分类、序列标记、文本匹配等。 Target 模块是可扩展的并且可以灵活定制。它对用户友好且对平台依赖性较低。 SAMP 支持 C++ 和 Python API，仅需要 CUDA 11.0 或更高版本即可。 另外，SAMP也提供了许多模型转换工具，支持不同格式模型之间相互转换。

图1：该论文在EMNLP2023现场展示和分享

主要研究者来自快手的田荣表示，能在模型推理这样的场景下取得佳绩是整个团队共同努力的结果，SAMP的贡献主要在三个方面，首先是解决了现有后量化（PTQ）推理工具在工业应用中精度损失大的问题；第二是推动了后量化（PTQ）技术在 NLP 多个下游任务中大规模使用；同时，该推理库还有轻量、灵活，对用户友好的特点并支持用户自定义任务目标。

据悉，EMNLP（Empirical Methods in Natural Language Processing）是自然语言处理和人工智能领域的顶级国际会议之一，聚焦于自然语言处理技术在各个应用场景的学术研究，尤其重视自然语言处理的实证研究。该会议曾推动了预训练语言模型、文本挖掘、对话系统、机器翻译等自然语言处理领域的核心创新，在学术和工业界都有巨大的影响力，此次入选也意味着快手在该领域的研究成果获得了国际学者的认可。