英特尔AutoRound算法正式落地 支持多硬件平台并提升低比特量化大模型性能

　　英特尔宣布将AutoRound算法集成到LLM Compressor，以提升低比特量化大模型的性能与效率。该算法可在保持模型准确度的前提下，实现更快、更轻量的推理，同时兼容包括英特尔自家GPU与英伟达CUDA在内的多硬件平台。

　　英特尔未来推出的“Crescent Island”系列数据中心GPU将原生支持FP8/MXFP8/MXFP4等格式，使量化模型能够直接利用这些数据类型带来的硬件加速优势。AutoRound是面向大语言模型（LLM）与视觉语言模型（VLM）的先进后训练量化（PTQ）算法，通过为每个量化张量引入三个可训练参数（v、α、β），配合逐层处理和符号梯度下降方法，实现更精准的舍入和裁剪优化。

　　AutoRound的主要优势包括：在低比特量化条件下维持较高准确度；支持多种数据类型；可进行混合比特与按层精度搜索；零额外推理开销；适用于LLM与VLM的量化场景。该算法生成的量化模型可在多个英特尔硬件平台上加速推理，包括Xeon处理器、Gaudi加速器、英特尔数据中心GPU、Arc B系列显卡，以及CUDA生态的GPU。

　　当前AutoRound已支持Llama、Qwen等主流密集LLM，并提供轻量的调优流程。英特尔表示，未来将继续扩展更多量化方案、自动混合比特搜索、更多模型族，并加强与LLM Compressor其他压缩算法的协同。