LACInfer 算子支持情况

版权声明

本文档版权归龙芯中科技术股份有限公司所有，并保留一切权利。未经书面许可，任何公司和个人不得将此文档中的任何部分公开、转载或以其他方式散发给第三方。否则，必将追究其法律责任。

免责声明

本文档仅提供阶段性信息，所含内容可根据产品的实际情况随时更新，恕不另行通知。如因文档使用不当造成的直接或间接损失，本公司不承担任何责任。

读者对象

本文档主要适用于以下人员：

• 技术支持工程师
• 软件开发工程师

1. 关于本文档

1.1 编写目的

本文档列出 LACInfer 对 ONNX 标准算子、已废弃实验性算子以及 ONNX Runtime 扩展算子的支持情况，旨在帮助用户：

• 在模型转换或部署前，快速确认某个算子是否被 LACInfer 支持；
• 了解算子在受支持时的具体限制条件（如动态形状、量化类型、填充方式等）；
• 为定位算子不支持所导致的转换或运行问题提供参考。

1.2 适用范围

本文档适用于 LACInfer V0.1.0 版本，算子支持情况以该版本的实际实现为准。后续版本如有变化，将在修订历史中说明。

1.3 术语说明

1.4 参考资料

• ONNX 标准算子：https://github.com/onnx/onnx/blob/main/docs/Operators.md
• ONNX 已废弃实验性算子：https://github.com/onnx/onnx/blob/main/docs/ManagingExperimentalOps.md
• ONNX Runtime 扩展算子：https://github.com/microsoft/onnxruntime/blob/main/docs/ContribOperators.md

2. 修订历史

3. 算子支持

本章节列出 LACInfer 对 ONNX 标准算子、已废弃实验性算子以及 ONNX Runtime 扩展算子的支持情况。其中，ONNX 标准算子共支持 165 个，已废弃实验性算子共支持 4 个，ONNX Runtime 扩展算子共支持 14 个，详细支持情况参考本章各节。

3.1. ONNX 标准算子

LACInfer 支持最高 ONNX OpSet 19 版本的 ONNX 标准算子，以及 OpSet 23 开始引入的 Attention 标准算子，支持情况如表 1 所示。最新的 ONNX 标准算子信息详见 ONNX Github 仓库。

表1. LACInfer 对 ONNX 标准算子的支持情况

3.2. ONNX 已废弃实验性算子

为了最大化兼容性，尤其是支持使用较早版本 ONNX 导出的模型，LACInfer 保留了部分已被 ONNX 官方废弃的“实验性”算子（请参考 ONNX Github 仓库）。这些算子主要服务于特定历史模型的推理需求，建议用户在新项目中避免使用这些算子，并参考 ONNX 文档中的替代方案更新模型。

• ATen
• ConstantFill
• DynamicScale
• ImageScaler

3.3. ONNX Runtime 扩展算子

LACInfer 支持部分 ONNX Runtime 扩展算子，支持的算子如下所示。最新的 ONNX Runtime 扩展算子信息详见 ONNX Runtime Github 仓库。

• Attention
• BiasAdd
• BiasSplitGelu
• GroupNorm
• GroupQueryAttention
• MatMulIntegerToFloat
• MatMulNBits
• MultiHeadAttention
• NhwcConv
• QuickGelu
• RotaryEmbedding
• SimplifiedLayerNormalization
• SkipLayerNormalization
• SkipSimplifiedLayerNormalization